AI 논문 및 깊은 생각 (3) 썸네일형 리스트형 GPT-4.5, 25년 1분기. GPT-5 25년 12월 예상 레딧에서 AI 관련해 여러번 옳은 예측을 하고, 일명 '현자'로 일컬어지는 유저가 쓴 블로그 포스팅입니다. 상당히 깊이 있고, 논리적으로 외삽하고 있으니 한번 읽어봅시다. https://ldjai.substack.com/p/addressing-doubts-of-progress Addressing doubts of AI progressAddressing misconceptions about the big picture of AI progress. Why GPT-5 isn't late, why synthetic data is viable, and why the next 18 months of progress is likely to be greater than the last.ldjai.substack.com.. 자본가와 능력가, AI 시대엔 누가 더 이득을 볼 것인가? 좋은 에세이가 하나 나와서 소개해드리려고 한다. https://www.fortressofdoors.com/will-capital-havers-or-capability-havers-gain-the-most-from-ai/ Will capital-havers or capability-havers gain the most from AI?Imagine, if you will, a world in which pretty much anybody can own a magic lamp, complete with magic genie, for an operating cost on the order of $100/year. The genie isn't all-powerful, but it's perfectly obedie.. 벤치마크에 집착할수록 데이터 오염은 심화된다 Cohere에서 흥미로운 논문을 하나 발표했다. 현재 LLM의 성능 평가 한 축을 담당하는 코드 부분에서 쓰는 주요 벤치마크들이 오염이 심해지고 있다는 것을 제시한 것이다. 여기서 오염이란 모델을 훈련할 때 쓰는 데이터세트에 직, 간접적으로 평가용으로 쓰이는 데이터들이 섞여들어가는 것을 말한다. 시험으로 예를 들면, 학생이 미리 답안지를 직, 간접적으로 훑게 했다고 보면 된다. 그렇게 공부한 학생은 테스트에서 높은 성적이 나오겠지만 실제 성적은 그렇지 않은 것처럼 말이다. Cohere는 오염이 세 가지로 진행된다고 말했다.직접적인 데이터 누출(직접적으로 훈련 데이터에 들어간 것)합성데이터를 통한 간접 누출모델이 학습 자체를 평가세트에 너무 과적합하게 훈련된 것3번째의 경우는 AI 모델 개발자들이 벤치마크.. 이전 1 다음
