AI 할루시네이션의 원인 / 확률 / 예방법 / 앞으로의 전망
2025년 1월, 미국 미네소타 연방법원에 희한한 보고서 하나가 제출됐다.
"AI와 허위정보의 위험성"을 경고하는 내용이었는데, 판사가 인용 논문들을 확인해 보니 전부 존재하지 않았다. AI가 지어낸 가짜였다. 법원은 보고서를 기각하면서 판결문에 한 마디만 남겼다.
The irony.
AI 허위정보를 고발하는 문서가, AI 허위정보로 가득 차 있었다.
사실이 아닌 것을 사실처럼 말하는 AI의 특성을 할루시네이션(Hallucination)이라 부른다.
없는 판례를 만들고, 개봉 연도가 틀린 영화 정보를 내놓고, 존재하지 않는 맛집에 미슐랭 별을 붙인다. 그리고 이 모든 오류를 자신 있게 말한다.
법원 제출물에서의 사례만 봐도 규모가 드러난다.
연구자 다미앙 샤를로탱이 관리하는 'AI 할루시네이션 케이스 데이터베이스'에는 2025년 10월 기준 전 세계 486건의 법원 사례가 등록되어 있다. 이 중 324건이 미국 연방·주·부족 법원 사례다. AI의 본고장 미국에서조차 제대로된 검증 절차가 없는 것이다.
잘 알려진 사실이지만, AI는 진실을 아는 것이 아니라 패턴을 예측한다.
방대한 텍스트를 학습해 "이 단어 다음에는 어떤 단어가 자주 오더라"를 반복하는 구조인데, 자주 나오는 지식에서는 놀랍도록 정확하지만, 드문 주제나 복잡한 질문에서는 그럴듯하지만 틀린 답을 만들어낸다.
설계 방식도 한몫한다.
AI는 "좋은 답변일수록 높은 점수"라는 방식으로 훈련받았다. 모르는 것도 어떻게든 답하려는 성향이 여기서 나온다.
2025년 MIT 연구에서 확인된 사실에 의하면, AI는 틀릴 때 "분명히", "확실히" 같은 표현을 정확한 답변보다 34% 더 자주 쓴다. 거짓말을 자신감으로 포장한다는 점에 주목하자.
복잡한 문제를 더 깊이 처리하도록 설계된 추론(Thinking) 모델이 오히려 문서 요약에서 오류가 많다는 보고도 있다. 읽으면서 동시에 연결고리를 찾고 함의를 도출하다 보니, 문서에 없던 내용이 "논리적으로 맞는 것 같아서" 끼어드는 것이다. 더 똑똑해지려다 덜 정확해지는 구조적 역설이다.
측정 방식에 따라 수치가 극단적으로 갈린다.
문서를 주고 "이것만으로 요약하라"는 Vectara(AI 검색 및 지식 발견 플랫폼) 평가지표에서 상위 모델들의 할루시네이션 발생률은 3~10% 수준이다.
그러나 자유 질문에서의 결과는 많이 다르다.
OpenAI의 o3 모델은 사람에 관한 사실 질문(PersonQA)에서 33%의 오류를 냈고, o4-mini는 48%까지 올라갔다. 법률 질문은 약 18.7%, 의료 질문은 약 15.6%다.
어떤 기준으로 보느냐에 따라 "같은 모델"의 할루시네이션율이 0.7%에서 48%까지 벌어진다.
벤치마크 수치 하나만으로 AI를 신뢰하기 어려운 이유가 여기 있다.
할루시네이션을 완전히 없앨 수는 없지만, 습관으로 크게 줄일 수 있다.
검토 재료를 AI에게 직접 주는 것이 가장 효과적이다.
기사 URL이나 텍스트를 붙여넣고 "이 내용만으로 정리해줘"라고 하면, AI는 창작이 아닌 요약을 한다. 지어낼 여지가 줄어든다.
또 한가지 방법은 질문을 좁히는 것.
모호할수록 채워 넣을 빈칸이 많아진다. "도쿄 여행 알려줘"보다 "4월 초, 3박 4일, 벚꽃 명소, 1인 100만 원"처럼 조건을 구체화한다.
마지막으로 "모르면 모른다고 해"를 프롬프트에 추가한다.
이 한 마디가 억지 답변 대신 솔직한 한계 인정을 유도한다.
중요한 정보는 반드시 검색 등을 통해 교차 확인해야한다.
다양한 AI를 함께 쓰는 사람은 하나의 답변을 다른 AI에게 재검토 받는 것도 좋은 방법이다.
명심하자. AI의 답변은 출발점이지, 최종 답이 아니다.
2021년 최고 모델의 할루시네이션율은 약 21%였다. 2025년에는 0.7%까지 내려왔다. 4년간 96% 감소다. 구조화된 환경에서는 이미 충분히 신뢰할 수준에 도달했다.
그러나 완전 제거는 불가능하다는게 업계의 예측이다.
2024년 발표된 두 편의 독립적인 arXiv 논문이 이를 수학적으로 증명했는데, 하나는 학습 이론으로, 다른 하나는 괴델의 불완전성 정리를 통해 같은 결론에 도달했다. 아키텍처를 바꾸거나 팩트체크 시스템을 더해도 할루시네이션을 뿌리 뽑을 수 없다는 것이다.
생각해보면 낯선 이야기가 아니다.
인류는 수천 년에 걸쳐 법을 만들고, 도덕을 가르치고, 제도를 쌓아왔다. 그래도 거짓말은 사라지지 않았다. 줄어들었고, 통제되었고, 대가가 생겼다. 하지만 없어지지는 않았다.
글머리의 미네소타 법원 판사의 말을 다시 떠올려보자.
"The irony." 그 아이러니는 어쩌면 이제 본격적인 시작일지도 모른다.
AI는 오늘도 자신 있게 틀린다.
중요한 건, 우리가 그 사실을 알고 쓰느냐, 모르고 쓰느냐가 아닐까?
최대한 사실 확인을 거쳤으나, 오류가 있을 수 있습니다.
잘못된 내용을 발견하셨다면 댓글로 알려주세요.
AI 할루시네이션에 대한 더 상세한 내용은 아래 페이지에서 확인할 수 있습니다.
https://www.knowai.space/class/ai-hallucination-beginners-guide-2026