AI판, 확장의 시대는 정말 끝났는가
학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 의미 전달이 애매한 문장은 삭제했습니다. 이번에는 Rohit Kumar Thakur가 미디엄에 공유한 글입니다.
지난 10년간 인공지능을 지켜봐왔다면, 그 누구보다도 더 큰 존경과 어쩌면 조금은 두려움까지 불러일으키는 이름이 하나 있다. 일리아 수츠케버다.
그는 오픈AI의 공동 창립자고 GPT-3와 GPT-4 개발 수석 과학자였다. '확장의 법칙'을 누구보다 먼저 깨달은 인물이다. 컴퓨터에 더 많은 데이터와 전력을 공급하기만 하면, 그들이 깨어날 것이라는 사실을. 그러다 그는 침묵했다. 그는 수수께끼 같은 분위기(그리고 약간의 드라마) 속에 오픈AI를 떠났고,SSI(Safe Superintelligence) 새 회사를 설립한 뒤, 보이지 않는 곳에서 일하는데 전념하고 있다. 지금까지 말이다.
일리아가 드와르케시 파텔(Dwarkesh Patel )과 함께 드문 심층 인터뷰를 진행했다. 그리고 말해두건대... 그가 한 말들은? 앞으로 몇 년간 연구자들을 밤잠 못 이루게 할 것이다.
핵심은? “확장(Scaling)의 시대”는 끝났다. 우리는 “리서치(Research)의 시대”로 진입하고 있다.
AI의 미래를 안다고 생각한다면, 이 이야기를 들으려면 앉아서 들어야 할지도 모른다. 우리가 여기까지 오게 한 방식이 결승선까지 데려다줄 방식이 아니기 때문이다. 일리아가한말이 진짜로 의미하는 바와 그것이 모든 것을 바꾸는 이유에 대한 심층 분석을 소개한다.
“들쭉날쭉함”의 역설(The Jaggedness Paradox)
모든 AI 사용자를 미치게 만드는 것부터 시작해 보자. Gemini나 Claude 같은 모델을 사용한다고 가정하자. 대회에서 나온 복잡한 코딩 문제를 해결해 달라고 요청한다. 펑. 해결해낸다. 인간 코더 상위 1%만이 할 수 있는 일을 해낸다. 그런 다음, 방금 작성한 코드의 간단한 버그를 수정해 달라고 요청한다. 그럼 모델이 이렇게 말한다. “아이고, 맞아요! 버그가 있네요. 고쳐 드릴게요.” 새로운 코드를 작성한다. 그런데 두 번째 버그를 만들어낸다. 당신이 지적하면, 다시 사과한다. 그리고 첫 번째 버그를 되살린다.
하하. 진짜? 일리아는 이를 jaggedness(들쭉날쭉함)이라 부른다. 이 모델들이 한 순간에는 초인적인 천재가 되다가, 다음 순간에는 완전한 바보가 되는 기묘한 현상이다.
일리아는 이를 훌륭한 비유로 설명한다. 두 학생을 상상해 보자.
학생 A: 경쟁력 있는 프로그래머가 되고 싶어한다. 그들은 10,000시간 동안 공부한다.. 모든 알고리즘, 모든 이례적인 사례, 모든 증명을 암기한다. 시험 문제를 보면, 비슷한 것을 본 적이 있기 때문에 답을 낼 수 있다.
학생 B: 100시간만 공부한다. 그냥... 똑똑하다.. '그 무엇'을 타고났다. 패턴이 아니라 개념 자체를 이해한다.
현재 우리 AI 모델들은 학생 A다.
인터넷 전체를 봤다. 수백만 시간을 '공부'했다. 하지만 학생 B처럼 근본적인 현실을 이해하지는 못한다. 기억과 패턴 매칭으로 지능을 무작위적으로 탐색할 뿐이다. 일리아는 이것이 근본적인 문제라고 말한다. 우리는 '학생 A'로부터 얻을 수 있는 것을 극대화했다. AGI(인공 일반 지능)를 원한다면, '학생 B'를 만드는 방법을 찾아야 한다..
잠깐, 확장은 끝난 건가? 지난 5년간 AI의 법칙은 간단했다.: 확장이 왕이다.
더 많은 데이터 + 더 많은 컴퓨팅 = 더 똑똑한 AI.
이는 물리 법칙과 같았다. GPT-2에서 GPT-5로 발전한 방식이다. 구글, 메타, 오픈AI, xAI 등 모든 기업들이 현재 이 믿음 하나에 수십억 달러를 쏟아부어 초대형 데이터 센터를 구축 중이다. 하지만 일리아는 이 인터뷰에서 핵폭탄을 투하했다. 그는 2010년대가 확장의 시대였다고 말한다. 하지만 2020년대는? 우리는 다시 리서치의 시대로 돌아왔다.
왜일까?
“쉬운” 확장이 한계에 부딪혔기 때문이다. 프리트레이닝(모델이 인터넷을 읽고 다음 단어를 예측하는 과정)은 황금알을 낳는 거위였다. 하지만 우리의 인터넷이 고갈되고 있다. 고품질 데이터가 바닥나고 있다. 그래서 기업들은 RL(강화 학습)으로 전환하고 있다. 이는 ‘생각하는 시간’(thinking time) 또는 ‘사고의 사슬'(chain of thought)을 활용하는 'o1’의 접근법이다.
하지만 일리아는 RL에 대한 비밀 하나를 지적한다.: 이것은 끔찍할 정도로 비효율적이다. 운전하는 법을 배우는 인간을 생각해 보자. 십대 청소년이 어느 정도 운전할 수 있게 되기까지 약 20시간이 걸린다. 좌회전하는 법을 배우려고 5,000대의 차를 부수지는 않는다. 하지만 RL 에이전트는? 단순한 작업을 배우기 위해 시뮬레이션에서 수백만 번 실패해야 한다.
일리아는 단순히 RL에 더 많은 컴퓨팅 자원을 투입하는 것(확장)은 “수익 감소”를 가져온다고 말한다. 아주 작은 학습을 위해 엄청난 컴퓨팅 비용을 지출하는 셈이다.
결론: 더 이상 단순히 '확장'만으로 이 문제를 해결할 수 없다. 새로운 돌파구가 필요하다. 인간은 왜 그렇게 빨리 배우고 기계는 왜 그렇게 느리게 배우는지 그 이유를 밝혀내야 한다.
초지능으로 가는 ‘직선 코스’
여기서 논란이 시작된다.
대부분 AI 연구소(OpenAI, Anthropic, Google)들은 점진적 배포를 믿는다.
모델(GPT-3)을 출시한다. 그다음 더 나은 모델(GPT-4)을 내놓는다. 그다음 더 나은 모델(GPT-5)을 내놓는다. 세상이 이를 사용하게 하고, 문제를 발견하게 하며, 진행 과정에서 안전 문제를 해결한다. 실리콘밸리의 ‘빠른 실패’ 마인드셋이다.
일리아는 아니라고 말한다. 그의 회사 SSI는 '직선적 접근'을 취하고 있다. 그들은 30억 달러(기업가치 320억 달러)를 모았지만 공개적으로 하는 일은 거의 없다. 채팅봇은 출시하지 않을 것이다. IDE용 코딩 어시스턴트를 만들지도 않을 것이다. 당장 수익을 창출하려 하지도 않는다. 그들의 계획은 연구 '벙커'에 들어가 몇 년간 머물며 지능과 안전의 핵심 문제를 해결한 후, 안전한 초지능을 확보했을 때만 나오는 것이다.
와.
그게 가능할까?
일리아는 상업적 '경쟁'이 기업들로 하여금 준비되지 않은 제품을 출시하도록 강요한다고 주장한다. 이는 기업들로 하여금 심층적인 안전성보다는 화려한 기능에 집중하게 만든다. 그는 인간보다 똑똑해질 무언가를 개발한다면, 환각 현상이 있는지 확인하기 위해 대중을 대상으로 A/B 테스트를 해서는 안 된다고 믿는다. 시작을 하기 전에 제대로 만들어야 한다. 이는 엄청난 도박이다. 그가 틀리면 SSI는 수십억 달러를 소모하고 아무것도 만들어내지 못한다. 그가 맞다면... 음, 그는 게임을 이긴 것이다.
“대륙 규모 클러스터”
일리아는 무서운 내용을 매우 차분하고 부드러운 목소리로 말하는 특유의 방식을 지녔다. 미래 컴퓨팅에 대해 묻자, 그는 서버로 가득 찬 방에 대해 이야기하지 않았다. 그는 “대륙 규모의 클러스터”에 대해 이야기했다.
음… 뭐라고?
단일 AI 시스템이 문자 그대로 대륙을 가로지르는 거대한 컴퓨터 네트워크에서 작동하는 모습을 상상해 보라.
그는 우리가 단 하나의 AGI만 가지지 않을 것이라고 예측한다. 우리는 여러 개를 가질 것이다. 그리고 그들 사이의 힘의 차이는 엄청날 것이다. “대륙 규모의” 지능을 가진다면, “통제”라는 개념은 매우 까다로워진다.
이것이 그의 가장 큰 우려로 이어진다: 정렬(Alignment) 문제.
“학생 B” 비유 기억하나? 빨리 배우는 그 학생 말이다.
일리아는 일반화에 집착한다.
인간에게는 비밀 무기가 있다. 진화(Evolution)다. 우리는 수백만 년에 걸쳐 ‘하드코딩된’ 본능(선험적 지식)을 통해 학습한다. 감정도 있다. “가치 함수”(고통 = 나쁨, 음식 = 좋음, 사회적 수용 = 좋음)도 갖추고 있다.
십대가 운전을 배울 때, 그들은 단순히 도로만 바라보지 않는다. 그들은 죽지 않으려는 욕구(생존)와 친구들에게 인상 깊게 보이고 싶은 욕구(사회성)에 의해 움직인다.
일리아는 진정한 초지능을 얻기 위해서는 특별한 무엇가의 요소(The It Factor )를 재현해야 한다고 주장한다. 단순히 데이터를 암기하는 기계가 아니라, 효율적으로 학습하게 만드는 “가치 함수”를 가진 기계가 필요하다.
하지만.. 신에게 ‘가치'를 어떻게 프로그래밍할 수 있을까?
만약 엄청나게 강력한 AI를 만들지만 그 가치가 조금이라도 잘못되었다면, 우스꽝스러운 고장난 로봇이 나오는 게 아난다.. 재앙이 발생한다.
일리아의 해결책(적어도 현재 가설)은 놀랍게도 영적이다. 그는 AI가 단순히 '인간에게 복종하도록’ 정렬되어서는 안 된다고 생각한다.. 그것은 의식 있는 생명체를 돌보도록 정렬되어야 한다. 인간뿐만이 아니다. 감정을 느끼는 모든 존재를 말한다. 왜? AI가 진정으로 신과 같은 존재가 된다면, 인간은 그 AI가 상호작용하는 ‘지각 있는 존재들’ 중 극히 일부에 불과할 테니까(수조 개의 AI 에이전트가 존재할 테니). 만약 AI가 오직 ‘인간의 통제'만을 중시한다면, 우리를 원망할 수도 있다. 하지만 '지각’ 자체를 중시한다면, 우리를 보호할 수도 있다.
아름다운 생각이지만... 어쩌면 마지막 희망 같은 걸까?
“뉴럴링크++” 시나리오
인터뷰어 드와르케쉬가 훌륭한 질문을 던졌다: “좋다, 장기적으로 이 존재들이 우리보다 똑똑해진다면, 인간은 실제로 무엇을 하게 될까?”
일리아의 답변은... 솔직했다.
그는 단기적으로는 우리가 부유해진다고 말했다. 엄청난 경제 성장. 보편적 고소득. 황금기.
하지만 장기적으로는? AI가 모든 것을 우리보다 더 잘한다면, 인간은 주체성을 잃는다. 우리는 애완동물이 된다.
단, 일리아는 해결책을 암시했다.: 우리가 AI가 되는 것이다. 그는 뉴럴링크를 언급했다. 그는 먼 미래에 유일한 안정된 균형은 인간이 AI와 융합하는 것이라고 생각한다. 이길 수 없다면 합류하라. 말 그대로.
뭐. 이런. 젠장……
따라서 로드맵은 다음과 같다.
단순한 확장 중단.
“리서치의 시대” 해결 (모델이 인간처럼 학습하도록).
벙커에 안전한 초지능 구축.
그것을 공개한다.
결국, 우리의 뇌를 그것과 융합하라.
간단하지 않나?
이것이 당신에게 중요한 이유
당신은 이렇게 생각할지도 모른다. “좋아, 이건 공상과학 이야기야. 난 그냥 내년에 ChatGPT가 내 직업을 뺏을지 알고 싶을 뿐이야.”
핵심은 이것이다.:
현재 세대 AI(LLM)는 정체 상태다. GPT-5가 아직 완전히 압도적인 성과를 내지 못한 걸 눈치챘을 것이다.. '쉬운 성과'는 사라졌다.
이제 우리는 외부에서 보면 진전이 느려 보일 수 있는 시기에 접어들고 있다. 가장 똑똑한 사람들(일리아 같은)이 추론과 신뢰성이라는 어려운 문제를 해결하기 위해 다시 설계도면으로 돌아가고 있기 때문이다.
하지만 그들이 그 문제를 해결한다면? 그 도약은 GPT-4에서 GPT-5로의 진화가 아니다. '챗봇'에서 '디지털 신'으로의 도약이 될 것이다. 일리아 수츠케버는 자신의 명성(그리고 수십억 달러)을 걸고 누구보다 먼저 '연구의 시대'를 열 돌파구를 찾아낼 수 있다고 확신한다.
그의 실적을 고려한다면? 나는 그에게 반대하는 베팅은 하지 않을 것이다.
결론
우리는 한때 AGI로 가는 길이 직선 고속도로라고 생각했다. 단순히 컴퓨팅 파워를 더하면 되는 거다.
일리아는 그 고속도로가 끝났다고 말했다. 우리는 이제 오프로드, 정글에 들어섰다. 속도뿐만 아니라 지도(리서치)가 필요하다. “확장의 시대”는 놀라운 도구들을 선사했다. “리서치의 시대”는... 글쎄, 완전히 다른 무언가를 가져다줄 것이다. 그것이 지각 있는 생명체를 좋아하기를 바랄 뿐이다.
