- LLM 기반 인공지능의 본질
제미나이 3.0.
최근 ‘역대 최고의 AI’라는 찬사가 이어져 며칠간 여러 방식으로 실험해 보았습니다. 성능이 비약적으로 향상된 것은 분명하지만, 중요한 점을 짚고 넘어가야 합니다. LLM(대규모 언어모델) 아키텍처가 가진 구조적 한계는 여전히 명확합니다.
많은 분들은 ‘거대한 AI 전체가 자신을 위해 가동된다’고 생각하시지만, 실제로는 그렇지 않습니다. 초대형 모델 전체를 매번 사용자 개별에게 할당하는 것은 기술적·경제적 이유로 불가능합니다. 대신 대부분의 AI 서비스는 세션(Session) 단위로 제한된 컨텍스트 윈도우(context window)를 열고, 그 안에서만 연산과 메모리를 활용합니다. 이 구조는 인간의 기억으로 비유하면 ‘선행성 기억상실증(anterograde amnesia)’과 유사합니다. 세션이 이어지는 듯 보여도, 매 턴마다 이전 내용을 완전한 장기 기억으로 저장하지 않고, 최근 입력 텍스트를 중심으로 압축된 재해석을 반복합니다.
따라서 LLM은 연속적이고 누적적인 사유 구조를 스스로 생성하기 어렵습니다. 짧은 질문에는 잘 대응하지만, 철학·정신과학처럼 사유의 흐름을 장기적 맥락에서 축적해야 하는 분야에서는 금세 한계가 나타납니다. PDF 100쪽 이상 문서 여러 개를 올려 개념적 구조를 만들고 사유를 확장하려고 해도, 맥락 창의 한계와 압축 손실 때문에 수십 턴만 지나도 정보 일부가 소실됩니다.
이 때문에 저는 현행 LLM 아키텍처만으로는 AGI(범용 인공지능)나 ASI(초지능)에 도달하기 어렵다고 판단합니다. 현재 모델들은 겉보기에는 ‘모든 것을 이해하는 AI’처럼 보이지만, 실제로는 즉시적 언어 생성과 패턴 예측에 최적화된 체계이며, <장기 기억 유지 / 지속적 자아 모델 / 연속적 맥락 통합>과 같은 AGI 핵심 요건을 충족하지 못합니다. 즉, 지금의 LLM은 똑똑한 언어 시뮬레이터일 뿐, 장기적 사유를 누적하고 세계관적 일관성을 구축하는 존재는 아닙니다. 따라서 LLM 이후의 차세대 아키텍처는 몇 가지 핵심 요소를 더 갖춰야 할 겝니다.
결론적으로, 오늘의 LLM은 매우 강력한 언어 도구이지만, AGI/ASI를 바로 구현할 수준은 아니며, 차세대 구조적 전환이 필수적임을 명확히 이해해야 합니다.
추가) 제미나이를 고문한 뒤, 챗GPT에게 관련된 사항을 도표로 만들어 보라고 했더니 아래와 같이 만들어 주네요~ 위에 제가 지적한 부분은 제미나이나 챗GPT나 모두 같았습니다. 여기서 말하는 '턴'이란 사용자와 인공지능이 나누는 대화의 기본 단위입니다.