AI 환각과 확률론적 모델링의 근본적인 한계

인공지능 길들이기

Jul 31. 2025

<RAG에 대한 진실>이라는 기사를 읽다가 다음 내용을 마주합니다.

트랜스포머와 심층신경망은 – 제프리 힌튼이 노벨상을 받은 그 연구를 했던 그 구조들이죠 – 본질적으로 확률적이에요. 그리고 확률 기반 시스템에는 항상 오류 가능성이 있어요. False Positive나 False Negative가 언제든 생길 수 있죠. 그게 바로 환각이 생기는 원인이에요.

확률 기반 시스템에는 항상 오류 가능성이 있다는 내용이 눈길이 갑니다. 체감으로 받아들였던 개념인 AI 환각(Hallucination)의 근본적인 이유에 대해 생각해 볼 기회(?)가 생긴 것이죠. 마침 <AI의 환각을 일종의 수평적 사고로 보자>를 쓰고 난 직후인 점도 묘한 우연입니다.

확률 기반 시스템에서 오류를 피할 수 없는 이유

먼저 퍼플렉시티에게 다음과 같이 물었습니다.

확률 기반 시스템에서 오류를 피할 수 없는 이유는 무엇인가요? 또한, 이런 문제와 AI의 hallucination 발생 이유를 연결해서 설명해 주세요.

그리고, 그 결론을 인용해 봅니다.

확률 기반 시스템의 오류와 AI hallucination은 모두 확률론적 모델링의 근본적 한계에서 비롯됩니다. 이는 단순한 기술적 문제가 아니라 확률과 통계에 기반한 시스템의 본질적 특성입니다. 따라서 완전한 해결보다는 이러한 한계를 인식하고 적절히 관리하며, 시스템의 불확실성을 정량화하고 투명하게 전달하는 것이 더 현실적인 접근법입니다.

이어서 결론에는 빠져 있지만 퍼플렉시티의 설명 중에서 눈에 띈 내용 일부를 다뤄봅니다. 첫 번째로 '확률적 단어 예측의 한계'라고 명명한 내용입니다.

생성형 AI는 본질적으로 다음에 올 단어를 확률적으로 예측하는 모델입니다. GPT와 같은 모델은 확률 기반으로 답변을 생성하기 때문에, 때때로 사실과 허구를 구분하지 못하고 '지어낸' 답변을 그럴듯하게 생성합니다. 이는 시스템이 '사실 기반'이 아니라 '언어적 자연스러움'을 중심으로 작동하기 때문입니다.

언어적 자연스러움과 확률론적 앵무새

우리의 말은 (모두 그렇지는 않아도) 대개는 실제 경험한 사실에 입각하지만 생성형 AI는 본질적으로 다음에 올 단어 예측을 기초로 구현된 것입니다. 따라서 '언어적 자연스러움'이 본질적 기준이 된다는 사실을 이해할 필요가 있습니다.

그러한 이유로 구글 윤리위원들이 '확률론적 앵무새(Stochastic Parrots)'라고 일컬은 바 있습니다.

AI 모델은 확률적 정보에 따라 방대한 훈련 데이터에서 관찰한 언어 형식의 시퀀스를 우연히 꿰맞추는 시스템으로, '확률론적 앵무새(Stochastic Parrots)'라고 불립니다.

확률론적 앵무새란 표현은 논문 제목에도 등장한 일이 있군요!

한편, '환각 현상의 구체적 메커니즘'이란 이름으로 설명하는 내용을 앞서 언급한 내용이 증폭되는 이유를 설명합니다.

AI는 확률적으로 가장 가능성이 높은 단어 조합을 선택하는 과정에서 환각이 발생합니다. 특히 학습 데이터에 오류가 있거나 질문이 모호할 때 더욱 빈번하게 나타나며, 문맥상 자연스러운 문장을 생성하는 방식으로 작동하기 때문에 실제 사실 여부와는 무관하게 그럴듯한 거짓 정보를 만들어냅니다.

퍼플렉시티기 검색한 글 중에서 흥미로운 표현을 발견했는데, 바로 '지식과 언어의 분리 문제'입니다. 어딘지 모르게 '확률론적 앵무새'와 잘 어울린다는 생각이 듭니다.

멀티 모달 환경에서의 AI 환각

이번에는 위키피디아 AI 환각 페이지를 살펴봅니다.

인공 지능 (AI) 분야에서 환각 또는 인공 환각 (bullshitting , confabulation , 또는 delusion 이라고도 함)은 사실인 것처럼 제시된 거짓 또는 오해의 소지가 있는 정보를 포함하는 AI가 생성하는 반응입니다. 이 용어는 일반적으로 잘못된 인식을 수반하는 인간 심리학과 느슨한 비유를 합니다. 그러나 주요한 차이점이 있습니다. AI 환각은 인식 경험이 아닌 잘못 구성된 반응(confabulation)과 관련됩니다.

앞서 환각을 사실 대신에 '언어적 자연스러움'을 기준으로 하는 자연어 기반 생성에서만 다뤘습니다. 그러나 멀티 모달 기술로 발전하면서 다른 방식(In other modalities)에서의 AI 환각 현상도 나타납니다.

"환각"이라는 개념은 텍스트 생성에만 국한되지 않으며, 다른 방식에서도 발생할 수 있습니다. 훈련 데이터로는 오류가 있는 것으로 보이는 AI의 확신에 찬 응답은 환각으로 분류될 수 있습니다.

위키피디아에 따르면 텍스트 생성 외에 AI 환각이 나타나는 분야는 객체 감지(Object detection), 텍스트-오디오 생성 AI, 텍스트-이미지 생성 AI, 텍스트-비디오 생성 AI 따위가 있습니다.

확률론적 모델링의 근본적인 한계가 무엇인가?

마지막으로 '확률론적 모델링의 근본적 한계'에서 착안한 질문을 던져 봅니다. 확률에 기초한다는 것은 무엇일까요?

퍼플렉시티 답변에 따르면 확률 이론은 도박 게임 문제에서 시작하여 17세기 유럽에서 기초가 마련되었다고 합니다.

수학적 확률 이론의 체계적 연구는 17세기 유럽에서 시작되었습니다. 1654년은 현대 확률 이론의 탄생년으로 여겨지는 박사 앙트완 공보(Chevalier de Méré)가 블레즈 파스칼(Blaise Pascal)에게 제기한 도박 문제를 파스칼과 피에르 드 페르마(Pierre de Fermat)가 서신을 주고받으며 해결하면서 확률론의 기초가 마련되었습니다. 이들은 포인트라고 불리던 점수 내기 도박에서 게임이 중단될 때 판돈을 공정하게 분배하는 방법을 연구했습니다.

직관적으로 알 수 없는 일을 다루는 데에서 출발한 것이죠. 그러한 확률이 발전 헤서 불확실한 현실 문제를 다루는데 쓰인 것이고, 그 결과 AI 환각이라는 새로운 현상을 만나는 것이라 할 수 있습니다.

현대 머신러닝과 인공지능에서 확률이 핵심적인 기초 이론이 될 수밖에 없는 이유는 데이터의 내재된 불확실성, 확률적 모델링의 필요성, 손실 함수의 확률론적 기반, 베이지안 추론의 중요성, 그리고 실제 응용 분야에서의 확률적 접근법의 필수성 때문입니다. 확률은 단순히 선택적인 도구가 아니라, AI가 불확실한 현실 세계에서 작동하기 위한 필수불가결한 수학적 언어인 것입니다.