전체 글 (23) 썸네일형 리스트형 중국은 미국의 10배 더 투자하고 있다(scale AI, 알렉산드르 왕) 대통령 각하,미합중국 제47대 대통령으로서 역사적인 취임을 진심으로 축하드립니다. 아시다시피, 지금은 미국의 인공지능(AI)에 대한 글로벌 리더십이 위협받고 있는 중대한 시기입니다. 우리는 새로운 형태의 기술 패권 경쟁을 치르고 있습니다. 중국 정부는 전례 없는 속도로 AI에 투자하고 있습니다. 2023년에는 중국의 AI 모델이 1년 이상 뒤처져 있었지만, 더 이상 그렇지 않습니다. 지난 한 달 만에, 우리 정부 대비 중국의 AI 역량에서 매우 강력한 진전이 있었습니다. 만약 미국이 현재의 궤도를 유지한다면, 우리는 뒤처지고 그 상태로 머물 위험이 있습니다.귀하의 첫 번째 행정부 시절, 귀하께서 취하신 조치들은 미국 AI 기업의 성장을 가능케 했고, 현재 우리가 목격하고 있는 메인스트림 AI 붐의 토대를.. 트럼프, OpenAI를 위한 데이터센터 Stargate 본격 시동 트럼프 - 이 기념비적인 사업은 새로운 대통령 아래에서 미국이 가진 잠재력에 대한 강력한 신뢰 표명입니다. 제게는 5,000억 달러 규모의 ‘스타게이트(Stargate)’ 프로젝트가 매우 큰 일로 보입니다. 아주 특별한 결과물을 가져올 것이고, 어쩌면 역대 가장 큰 일이 될 수도 있다고 생각합니다. 앵커 - 조금 전 백악관에서 트럼프 대통령이 미국 내 인프라 구축, 특히 인공지능 분야를 위해 이 새로운 프로젝트를 발표했는데, 이 공공-민간 파트너십에 합류하는 세 사람은 오픈AI(OpenAI) CEO인 샘 올트먼(Sam Altman), 오라클(Oracle)의 창업자이자 이사회 의장 겸 최고기술책임자(CTO)인 래리 엘리슨(Larry Ellison), 그리고 소프트뱅크(SoftBank)의 회장 겸 CEO인.. 자본가와 능력가, AI 시대엔 누가 더 이득을 볼 것인가? 좋은 에세이가 하나 나와서 소개해드리려고 한다. https://www.fortressofdoors.com/will-capital-havers-or-capability-havers-gain-the-most-from-ai/ Will capital-havers or capability-havers gain the most from AI?Imagine, if you will, a world in which pretty much anybody can own a magic lamp, complete with magic genie, for an operating cost on the order of $100/year. The genie isn't all-powerful, but it's perfectly obedie.. Epoch AI, 현재 AI 인프라 한계와 그 돌파에 대한 분석을 내놓아 - 1편 1. 먼저 AI의 병목 중에 전력을 분석합니다. 우선 GPT-4, 라마3를 훈련시키는데 든 에너지는 15-30 메가와트(MW). 30MW는 3만 가구에 공급할 수 있는 전력. 하지만 지금부터 스케일링이 계속된다면 컴퓨트가 1만배 증가하게 될 것이고, 전력도 그에 따라 증가할 것. 하지만 하드웨어 성능이 좋아지면서 그대로 1만 배 더 큰 전력이 필요하진 않을 것이고 모델 훈련기간을 '더 늘리면' 전력 '피크' 자체는 그렇게 높게 필요하지 않을 수 있다. 이 모든 것들을 단순 외삽하고 계산해보면 사전학습에 필요한 전력은 200-250배 정도. 대략 5-15GW 가량이 필요하게 된다. 이는 원전 하나가 한 자릿수 GW를 생산하는 것에 고려하면, 그것을 뛰어넘는 전력이기 때문에 꽤 높은 전력규모다. 지구상에서 .. 샘 알트먼 TED Rethinking 라디오 인터뷰 (25.01.07) Adam Grant: 여러분 안녕하세요, 저는 애덤 그랜트입니다. TED Audio Collective와 함께하는 팟캐스트 “ReThinking”에 돌아오신 것을 환영합니다.저는 조직심리학자로서, 매력적인 사람들의 머릿속으로 여러분을 초대하여 새로운 생각과 새로운 사고방식을 탐색하고 있습니다. 오늘의 게스트는 OpenAI의 CEO이자 공동 창업자인 샘 알트먼입니다. 샘과 그의 동료들이 ChatGPT를 처음 구상했던 때 이후로 많은 것들이 달라졌습니다. Sam Altman: 지금 저와 여러분은, 인간이 지구상에서 가장 똑똑한 존재에서 더 이상 가장 똑똑한 존재가 아닌 쪽으로 바뀌는, 인류 역사상 단 한 번 있는 전환점을 함께 살고 있습니다. Adam Grant: AI의 기하급수적인 발전은, 무엇이 인간만의.. 제프리 힌튼 인터뷰 (25.01.19) 커트(진행자) - 세계에서 가장 뛰어난 지성 중 한 사람이 자신이 만든 창조물이 인류 전체에 존재론적 위협을 가한다고 믿게 된다면 과연 무슨 일이 벌어질까요? 2024년 노벨 물리학상 수상자이자 구글의 전 부사장 겸 엔지니어링 펠로였던 제프리 힌튼 교수는, 오늘날 AI 시스템의 기반이 되는 알고리즘을 수십 년간 개발해왔습니다. 실제로 그는 1981년에 주목할 만한 ‘어텐션(attention) 메커니즘’을 예견하는 논문을 발표하기도 했습니다.그러나 지금 힌튼 교수는 거의 아무도 귀 기울이려 하지 않는 경고를 내놓고 있습니다. ‘인간이 의식을 가진다는 점이 우리를 특별하고 AI 지배로부터 안전하게 만든다’는 가정이 명백히 틀렸다는 것입니다. 제 이름은 커트 J. 망갈(Kurt J. Mangal)이고, 이번 .. Misha Laskin "3년이면 폭넓고 깊은 AGI가 나올 것이다" 딥마인드 출신의 Reflection AI founder Misha Laskin가 아주 중요한 내용을 몇가지 언급했다.그가 구글-딥마인드에서 나온 이유는 뭘까. 그의 흥미로운 이야기를 들어보자. 우선 Misha Laskin이 어떤 사람인지에 대해 파악해보면 2019년 이후, 특히 2023, 2024년의 인용수가 각각 1613, 2097로 최근 AI 업계에서 연구를 선도하고 있는 유망한 과학자다. Reflection AI의 공동창립자 Ioannis 는 알파고를 만들어낸 주축이자 Gemini의 RLHF 팀을 이끈 사람이기도 하다. 구글-딥마인드의 상당한 인력들이 '왜' 나온 것일까. 인터뷰를 들어보자. Misha Laskin - 저는 물리학을 전공했고 박사학위까지 땄습니다. 하지만 알파고의 37수(move .. 벤치마크에 집착할수록 데이터 오염은 심화된다 Cohere에서 흥미로운 논문을 하나 발표했다. 현재 LLM의 성능 평가 한 축을 담당하는 코드 부분에서 쓰는 주요 벤치마크들이 오염이 심해지고 있다는 것을 제시한 것이다. 여기서 오염이란 모델을 훈련할 때 쓰는 데이터세트에 직, 간접적으로 평가용으로 쓰이는 데이터들이 섞여들어가는 것을 말한다. 시험으로 예를 들면, 학생이 미리 답안지를 직, 간접적으로 훑게 했다고 보면 된다. 그렇게 공부한 학생은 테스트에서 높은 성적이 나오겠지만 실제 성적은 그렇지 않은 것처럼 말이다. Cohere는 오염이 세 가지로 진행된다고 말했다.직접적인 데이터 누출(직접적으로 훈련 데이터에 들어간 것)합성데이터를 통한 간접 누출모델이 학습 자체를 평가세트에 너무 과적합하게 훈련된 것3번째의 경우는 AI 모델 개발자들이 벤치마크.. 이전 1 2 3 다음
