규모는 본질이 아니다
우리는 AI의 ‘그럴듯함’에 속고 있다
앞서 나는 물리학을 빌려 시뮬레이션 논의, 특히 완전 몰입형 가상현실이라는 판타지를 반박했다. 하지만 정작 사람들을 가장 흥분시키는 AGI 그 자체에 대해서는 기술적인 말을 아꼈다.
이 글을 쓸지 말지 고민했다. 물리학은 싸움이 명쾌하다. 법칙과 상수가 있고 결과가 있다. 하지만 컴퓨터 과학, 특히 지금의 AI 영역으로 넘어오면 논의는 지저분해진다. 모두가 AGI를 말하지만, 누구도 믿음을 슬쩍 끼워 넣지 않고는 그것을 설명하지 못한다. 합의된 정의도, 측정법도, 목표도 없다. 우연이 아니다. 지금의 ‘AGI’는 과학 용어가 아니다. 마케팅 용어다.
그러니 뜬구름 잡는 소리는 치우고 우리가 실제로 손에 쥐고 있는 것, LLM에서 시작하자.
이것은 확률에 기반해 다음 토큰을 예측하도록 훈련된 수학적 구조다. 매개변수가 10억 개든 1조 개든 시스템의 본질은 변하지 않는다. 규모는 ‘그럴듯함’을 더해줄 뿐이다. 더 빠르고, 매끄럽고, 의심하기 어렵게 만들 수는 있다. 하지만 메커니즘을 바꾸지는 못한다. 주의 깊게 보는 사람이라면 그 간극을 즉시 알아챈다. 이 아키텍처는 단순히 몸집을 불린다고 지능이 되지 않는다. LLM은 상수다. 변수는 사용자다.
같은 모델을 다른 사람 앞에 두면 반응이 갈린다. 누군가는 유창함을 지능으로 착각한다. 누군가는 유창함을 함정으로 간파한다. 확신에 찬 어조에 매료되는 이가 있는가 하면, 그것이 진실에 닿아 있는지 먼저 검증하는 이도 있다. AGI를 논하기 전에, LLM이 무엇이고 무엇이 아닌지 이해해야 한다. 그 과정을 건너뛰는 순간, 당신은 시스템을 평가하는 게 아니다. 자신의 믿음을 투영하고 있을 뿐이다.
모델이 실제로 무엇을 하도록 훈련받는지 들여다보면 그 한계는 명백해진다. 모델은 단지 텍스트를 이어가도록 훈련받는데, 이 목표는 ‘정확성’이 아니라 ‘그럴듯함’에 보상을 준다. 진실, 논리, 인과관계 따위는 신경 쓰지 않는다. 그런 것들이 출력물에 나타난다면 그건 훈련 데이터 덕분에 발생한 통계적 우연이다. 내일 사라진다 해도 시스템 내부에서는 아무것도 눈치채지 못한다.
심지어 그 제한된 능력조차 지능처럼 복리로 쌓이지 않는다. 훈련은 한 번으로 끝나고, 가중치는 그 상태로 고정된다. 대화는 학습처럼 느껴질 수 있지만, 영구적인 업데이트가 아니다. 일시적인 ‘컨텍스트 윈도우’ 안에서의 연기일 뿐이다. 창을 닫으면 ‘교훈’은 휘발된다. 경험을 확실하게 이어가지 못하는 시스템은, 인간의 정신이 하는 방식으로 세계 모델을 축적할 수 없다.
또한, LLM에게 세계 모델을 학습시키기 위한 ‘텍스트’는 진짜 세계가 아니다. 사후에 기록되고 정제된 ‘세계의 압축 파일’일 뿐이다. 지능의 가장 중요한 제약들은 텍스트가 아니라 접촉을 통해 학습된다. 지각, 행동, 실패, 피드백, 그리고 물리적 결과를 통해서다. 그런 피드백 루프 없이는, 유창함은 끝없이 치솟을지 몰라도 현실 세계의 정확성은 결여된다.
훈련 데이터의 흐름이 변하면서 상황은 더 나빠진다. 양질의 인간 텍스트는 유한하다. 반면 AI가 뱉어낸 합성 텍스트는 폭발적으로 늘고 있다. 모델이 모델의 출력물을 다시 학습하는 비중이 커질수록 오류와 편향은 증폭되고, 다양성은 줄어들며, 시스템은 구조적으로 자기 참조의 늪에 빠진다. 표면은 매끄러워 보일지 몰라도, 핵심은 부식된다.
물리학은 하이프와 타협하지 않는다. 규모의 확장은 정비례가 아닌, 기하급수적으로 치솟는 비용을 요구한다. 연산, 메모리, 대역폭, 전력, 냉각, 그리고 하드웨어 공급까지. 모든 것이 성능 향상폭보다 훨씬 빠르게 치솟는다. 원한다면 그걸 진보라 불러도 좋다. 하지만 그것을 ‘새로운 지능’으로 가는 탄탄대로라 부를 수는 없다. ‘가능하다’는 말과 ‘지속 가능하다’는 말은 다르다.
다시 기본으로 돌아가자. AGI가 과학적 주장이라면 엄밀한 정의와 테스트가 필요하다. 측정이 필요하다. 반증 조건이 필요하다. 실패의 기준도 있어야 한다. 그것 없이 ‘곧 된다’는 말은 연구가 아니다.
현재의 담론은 그 단계를 건너뛴다. 정의나 테스트 없이 ‘곧’만을 반복한다. 그건 과학이 아니다. 신앙이다.
