AI 사고혁명 #4 Sam H. Altman (4)

언어모델의 세계는 얕고, 얄팍하고, 그림자처럼 빈약하다

언어모델의 세계는 얕고, 얄팍하고, 그림자처럼 빈약하다

GPT를 오래 사용한 사람이라면 아주 쉽게 느끼는 순간이 있다.

GPT는 ‘세계’를 이해하지 못한다.

GPT는 ‘문장’을 이해할 뿐이다.

문장은 세계의 ‘그림자’이다.

그림자만 보고 삼차원 세계를 이해할 수 있는가?

Altman은 이 문제를 정확히 알고 있었다.

여기서 세계란

물리적 구조

공간

시간

인과관계

목적

행동

예측

이런 다양한 요소로 이루어져 있다.

하지만 GPT가 학습한 데이터는 오직 글자와 문장뿐이다.

즉, GPT는 ‘세계’를 모르고 ‘언어’만 안다.

그렇기 때문에 GPT는 reasoning을 ‘할 수 없다’.

reasoning의 본질은 세계의 구조를 머릿속에서 재구성하고 조작하는 것이기 때문이다.

이 한계를 가장 먼저, 가장 강하게 말한 사람이 바로 ChatGpt 창시자 Sam Altman이다.