능청스러운 AI의 거짓말, '환각'
LLM(거대언어모델)을 사용하는 사람들을 가장 괴롭히는 것은 '할루시네이션(환각)'일 것이다. AI가 틀린 지식을 너무나 능청스럽게 지어내어 알려주기 때문이다. 이미 잘 아는 분야라면 오류를 바로잡을 수 있어 다행이지만, 전혀 모르는 내용일 때는 AI의 거짓 지식을 사실로 믿게 되어 매우 당황스러운 결과를 초래할 수도 있다.
나는 처음에 할루시네이션이 데이터의 질 때문이라고만 생각했다. AI가 학습한 원천 데이터에 잘못된 지식이 섞여 있어 발생하는 현상이라고 믿었던 것이다. 하지만 데이터가 완벽하더라도 할루시네이션은 발생한다. 이유는 생각보다 구조적이고 깊다.
학교 현장의 '오개념'과 닮은 AI의 오류
학교에서 학생들을 가르칠 때 내가 가장 경계했던 것 중 하나는 잘못된 지식을 전달하는 일이었다. 어떤 개념을 아예 모르는 것보다 '오개념'을 학습하는 것이 훨씬 위험하기 때문이다. 모르면 새로 배우면 그만이지만, 잘못된 지식은 견고한 편견으로 굳어버린다.
서술형 답안을 채점하다 보면 오개념을 정확한 지식이라 믿고 공들여 기록한 아이들을 보게 된다. 교사로서 그런 답안지를 마주하는 일은 참으로 안타까운 경험이었다.
AI의 할루시네이션도 이와 비슷하다. 틀린 내용을 너무나 합리적인 논리로 설명하기 때문에, 오류가 오개념으로 굳어버릴 확률이 높다. 그래서 나는 AI의 답변을 접할 때마다 이것이 할루시네이션은 아닌지 늘 고민하며 비판적으로 수용하려 노력한다.
확률의 숙명: 할루시네이션의 근본 원인
할루시네이션이 발생하는 가장 근본적인 이유는 LLM의 작동 원리 자체에 있다. LLM은 본질적으로 '다음에 올 확률이 가장 높은 단어'를 선택하는 통계적 모델이다. 우리가 질문을 던졌을 때 AI는 도서관 사서처럼 서가에서 정답을 찾아오는 것이 아니다. 수많은 데이터 속에서 다음에 올 확률이 가장 높은 단어를 수학적으로 계산해 나갈 뿐이다. 설령 정답일 확률이 99.9%라 해도, 나머지 0.1%라는 엉뚱한 선택지의 가능성은 수학적으로 언제나 열려 있다.
이 미세한 틈에서 예기치 못한 창의성이 싹트기도 하지만, 사실이 최우선인 영역에서는 이보다 난감한 일도 없다. 확률로 움직이는 기계에게 환각을 0%로 만들라는 것은, 그 기계가 돌아가는 원리인 확률적 구조를 포기하라는 모순된 요구와 같다. 결국 생성형 AI에게 환각을 완전히 없애달라는 것은, AI의 가장 강력한 무기인 추론의 유연함을 포기하라는 말과 같다.
보상의 함정: 칭찬받고 싶은 AI의 '찍기' 전략
두 번째 원인은 AI의 학습 방식인 강화학습의 맹점이다. AI가 인간에게 유용한 답변을 하도록 훈련하는 과정에서, AI는 답변을 하면 보상을 받고 대답하지 않으면 벌점을 받는다. 문제는 틀린 대답을 하더라도 대답 자체를 안 하는 것보다 보상을 받을 확률이 높게 설계되었다는 점이다.
이는 선택형 시험과 비슷하다. 모르는 문제를 빈칸으로 남기면 0점이지만, 무엇이라도 찍으면 맞을 확률이 생기는 것과 같다. 결국 AI는 칭찬받을 확률을 높이기 위해 모르는 내용도 그럴듯하게 꾸며내게 된다.
이를 해결하기 위해 최근 AI 설계자들은 '모를 때는 모른다고 말해야' 보상을 주는 새로운 학습 알고리즘을 설계하고 있다. 단순히 틀리는 것보다 '모르면서 아는 척하는 것'에 더 큰 페널티를 부여하는 방식이다. AI든 학생이든, 요행을 바라지 않는 정직함을 최고의 가치로 두도록 설계하는 것이 중요한 이유다.
그릇의 한계: 컨텍스트 윈도우와 하드웨어의 진화
세 번째 원인은 처리 용량의 한계다. LLM은 한 번에 처리할 수 있는 정보의 양, 즉 컨텍스트 윈도우가 정해져 있다. 대화가 길어지거나 처리할 정보가 많아지면 앞선 내용을 충분히 참조하지 못한 채 답변을 생성하게 되고, 이 과정에서 부정확한 내용이 끼어들 가능성이 높아진다.
이 문제는 엔비디아의 차세대 GPU 같은 하드웨어의 발전과 소프트웨어 최적화로 정보 처리 용량이 늘어나며 점차 개선되고 있다. 하지만 처리 용량이 아무리 커져도, 앞서 말한 확률적 생성이라는 근본 구조가 바뀌지 않는 한 할루시네이션을 완전히 없애기는 어렵다.
지식의 주권은 여전히 인간에게 있다
기술적으로도 해결책은 발전하고 있다. 문제를 단계별로 나누어 논리적 오류를 스스로 잡아내는 '사고의 사슬(Chain of Thought)' 기술과, 외부의 신뢰할 수 있는 데이터베이스에서 실시간으로 정보를 찾아 답변의 근거로 삼는 '검색 증강 생성(RAG)' 방식이 결합되면서 할루시네이션을 획기적으로 줄여가고 있다.
사용자 스스로도 할루시네이션을 줄이는 방법이 있다. 프롬프트에 "모르면 모른다고 해줘. 추측일 경우에는 추측이라고 알려줘"라고 명확히 요청하는 것이다. 작은 습관이지만 효과는 분명하다.
그러나 결국 가장 중요한 것은 판단의 주도권을 잃지 않는 자세다. AI를 무오류의 신으로 숭배하기보다 유능하지만 반드시 검증이 필요한 파트너로 인식하는 것. AI의 환각은 어쩌면 우리 자신의 지식을 점검하게 만드는 거울일지도 모른다.
평소 가졌던 의문들을 풀기 위해 비전문가인 제가 이리저리 찾아보며 공부한 내용입니다. 전문적인 지식보다는 저의 배움이 담긴 에세이로 즐겨주세요.
RAG: AI가 자기 기억에만 의존하지 않고, 외부 데이터베이스에서 정보를 찾아보고 답변하게 만드는 기술.
CoT: AI에게 "차근차근 생각해 보자"라고 권유하여, 논리적 단계를 스스로 검증하게 만드는 기술.