확률적 앵무새의 비밀
언젠가 ChatGPT에게 세금 관련 질문을 했다. 답이 너무 자신 있게 나와서 그냥 썼다가, 나중에 틀린 정보임을 알았다. 그것도 꽤 중요한 부분이.
이상했다. 어떻게 이렇게 자신 있게 틀린 말을 할 수 있지?
그 의문이 나를 여기까지 데려왔다. 이 녀석이 대체 어떻게 작동하는 건지.
답부터 말하면: ChatGPT는 생각하지 않는다. 다음 단어를 고를 뿐이다.
LLM(Large Language Model)의 작동 원리는 생각보다 단순하다. 핵심은 다음 토큰 예측(next-token prediction)이다. "오늘 날씨가"라는 문장 다음에 올 단어를 확률로 맞추는 것. "좋다" 40%, "춥다" 30%, "흐리다" 15%... 가장 그럴듯한 걸 하나 골라 붙이고, 또 다음 단어를 고르고, 또 고른다. 이 과정을 수천 번 반복하면 그럴듯한 문장이 완성된다.
조지타운 대학의 컴퓨터 과학자 Cal Newport은 이걸 이렇게 설명했다. ChatGPT는 질문에 대해 "생각"하는 게 아니다. 단어를 하나 고르고, 또 하나 고르고, 또 하나 고를 뿐이라고. (참조)
그렇게 단순한데 왜 그렇게 똑똑해 보일까? 훈련 데이터의 규모 때문이다. 위키피디아, 논문, 책, 뉴스, 포럼, 코드 — 인터넷에 존재하는 방대한 텍스트를 먹고 자란 모델은 단어들 사이의 관계를 수억 개의 문서를 통해 학습했다. 그래서 맥락에 맞는 단어를 놀라울 정도로 잘 고를 수 있는 거다. 학계에서는 이걸 확률적 앵무새(stochastic parrot)라고 부른다.
처음 질문으로 돌아가자. 왜 ChatGPT는 자신 있게 틀린 말을 했을까?
앵무새는 이해하지 못한다. 의학 교과서를 통째로 외운 사람을 상상해보자. "두통이 있는데요"라고 하면 패턴대로 "편두통일 수 있습니다. 이런 검사를 해보세요"라고 그럴듯하게 답한다. 그 사람이 실제로 의학을 이해하는 게 아니다. 교과서에 없는 상황 앞에서는 가장 그럴듯한 답을 만들어낼 뿐이다. 그 답이 맞는지 틀린지는 알 방법이 없다. 확률적으로 그럴듯하면 된다.
Newport이 강조하는 것도 이 지점이다. ChatGPT에게는 "변화 가능한 내적 상태도 없고, 자아 인식도 없고, 동기도 없고, 기억도 없다." 한번 훈련이 끝나면 고정된다. 대화를 나눠도 배우지 않는다. 틀린 답을 했어도, 다음번에 다시 틀린다.
이걸 이해하면 할루시네이션(hallucination) — AI가 없는 사실을 자신 있게 말하는 현상 — 이 왜 일어나는지가 납득된다. 버그가 아니라 구조적 특성이다.
이해를 못한다고 쓸모가 없는 건 아니다. 계산기도 수학을 이해하지 못하지만 유용하다.
나는 매일 쓴다. 코드 리뷰, 문서 요약, 이메일 초안. 다만 앵무새가 맞는지 틀린지를 판단하는 건 내 몫이다. 그 역할 분담을 제대로 이해하고 쓸 때와 "이 녀석이 뭐든 다 알고 있어"라고 믿고 쓸 때, 결과는 꽤 달라진다. 세금 실수 이후로는 중요한 판단에 쓸 때 반드시 교차 검증한다.
그런데 여기서 진짜 궁금한 질문이 생긴다. 이 앵무새를 계속 크게 키우면 어느 순간 진짜 "이해"를 하게 될까? 샘 알트먼은 그렇다고 말한다. 과연?
다음 글에서 이어가려 한다.