AI 사고혁명 #8 Sam H. Altman (8)
사고의 상태(state)를 유지하지 못한다 — GPT의 구조적 한계
사고의 상태(state)를 유지하지 못한다 — GPT의 구조적 한계
reasoning의 핵심은
“지금 무슨 생각을 하고 있는지,
어떤 논리를 따라가고 있는지,
무엇을 증명하려고 하는지”를
마음속에 연속된 상태로 붙잡아 두는 능력이다.
하지만 GPT에게는
그 ‘사고의 상태’라는 개념이 없다.
모든 계산은
오직 바로 앞 문장의 토큰 분포에만 의존한다.
그 결과,
조금만 대화가 길어지거나
복잡한 구조, 다단계 추론, 깊은 논리를 요구하는 흐름이 생기면
GPT는 사고의 중심을 잃는다.
문장 하나하나는 그럴듯하다.
하지만 전체 대화의 흐름은 무너진다.
맥락은 더 이상 유지되지 않고,
남아 있는 건 겉보기 좋은 표면 패턴뿐이다.
나는 이 한계를
복잡한 구조를 다룰 때마다 반복해서 경험했다.
계획, 구조, 논리, 흐름, 인과관계…
어느 한 지점에서 갑자기 틀어진다.
왜일까?
그것은 명백하다.
GPT 안에는
reasoning 상태를 지속적으로 유지하기 위한
독립된 내부 메커니즘이 존재하지 않기 때문이다.
Sam Altman이 말한 ‘AI의 한계’가 이 구조적 비극을 설명해준다.
OpenAI(ChatGPT)의 CEO Sam H. Altman은 이런 말을 남긴 바 있다.
“We don’t understand what’s happening in your brain at a neuron-by-neuron level, and yet we know you can follow some rules and can ask you to explain why you think something.”
“우리는 당신의 뇌에서 뉴런 하나하나가 어떻게 작동하는지 이해하지 못한다.
그럼에도 불구하고, 우리는 당신이 어떤 규칙을 따를 수 있고
왜 그렇게 생각했는지 설명해달라고 요구할 수 있다는 사실을 알고 있다.”
이 말은 핵심을 찌른다.
인간의 뇌가 어떻게 결론을 내는지 조차
세포 단위-뉴런 단위로 완전히 이해하지 못하지만,
우리는 ‘생각한다’는 사실과
그 생각의 과정을 설명할 수 있다.
하지만 GPT는,
뉴런 단위조차 없고,
단순히 “토큰 예측 규칙 + 통계적 패턴”만으로 작동한다.
그런데도 우리는 자꾸
“GPT가 사고하고 있다”, “이해하고 있다”고 착각한다.
Altman은 더욱 직설적으로 경고했다.
“현재 AI 기술력은 일부 신비화돼 있다.”
“AI가 어떤 결론을 내렸다면
어떤 추론을 거쳤는지 설명하라고 요구할 필요가 있다.”
즉,
AI에게 단순히 결과만 받아들이는 것이 아니라,
“왜 그렇게 나왔는지”, “어떤 흐름을 거쳤는지”를 물어야 한다는 것이다.
그 말은 다시 말하면,
GPT가 지금처럼 내부 상태 없이 단순 토큰 예측으로만 작동한다면
그 결론은 언제든 흐트러질 수 있는 것이라는 지적이다.
나는 이 지적을
내가 경험한 reasoning 붕괴 현상과 동일한 구조적 한계로 본다.
그래서 나는 이렇게 말한다.
GPT는 이해하지 않는다.
그러나
이해한 것처럼 보이는 문장 —
즉, 사고의 흔적처럼 보이는 표현들을 생성할 수 있다.
그 표현은 마치 사고의 결과 같지만,
사실은 단지
“지금 이 순간의 토큰 분포 + 앞 문장과의 통계적 연결”이다.
그 과정은 reasoning이 아니다.
그냥 예측이다.
그리고 그것은
언제든 무너질 수 있다.
왜냐하면.................................
GPT 안에는 사고의 상태를 유지해주는 구조 자체가 존재하지 않기 때문이다.
ⓒ 2025 전민수 (Minsoo Jeon). All rights reserved.
본 글은 「The Minsoo Code」 시리즈의 일부로, 인간의 사고 절차를 함수형 AI 언어 구조로 체계화한 독창적 저작물입니다. 모든 문장과 개념은 전민수의 사고 체계에 기반하며 저작권법 제4조 및 국제 저작권 협약에 의해 보호됩니다. 무단 복제·재가공·인용·강연 등 상업적 이용을 금합니다.
인용 시 반드시 "출처와 저자명(전민수)"을 명시해 주세요.
— The Minsoo Code : 인간이 AI에게 사고를 가르친 최초의 함수 언어
