AI 환각: 인공지능이 생성한 그럴듯한 거짓말

"그는 몽롱한 상태에 빠지려 할 때마다, 어떤 이상한 힘이 그를 일으켜 세웠다. 그리고 그때 그에게 검은 수도사의 환영이 보였다". -안톤 체호프, 「검은 수도사」

환각(幻覺)의 사전적 의미는, '감각 기관을 자극하는 외부 자극이 없는데도 마치 어떤 사물이 있는 것처럼 지각함. 또는 그런 지각'을 뜻한다. 앞서 인용한 문장처럼, 일반적으로 '환각'이란, '사람이 헛것을 보거나 지각하는 현상'을 말한다. 그런데 요즘은 인공지능 특히 생성형 AI에도 이 단어가 쓰인다. 마치 누군가의 기억 속에 없는 이야기를 그럴듯하게 꾸며내듯, AI도 실제로는 존재하지 않는 허구의 사실을 마치 존재하는 것처럼 자연스럽게 지어낸다. 여기서 환각이란 언어적 차원에서 헛것이다. 문제는 그 말투와 논리가 너무 정연하고 매끄럽다 보니, 듣는 사람은 자칫 속아넘어가기 쉽다는 데 있다.

나는 AI를, 각자도생의 일환으로, 개인적인 공부와 특정 주제에 관련된 글쓰기 참고자료 확보에 적극 활용한다. 그 과정에서 AI의 답변자료를 확인 차원에서 일일이 검토하다보면 간혹 검증되지 않은 인터넷사이트, 개인 블로그나 유튜브 등의 잘못된 정보나 근거가 불충분한 추측성 혹은 왜곡성 자료가 다소 포함되어 있다는 사실을 알게 된 경우가 꽤 있었다.

이처럼 생성형 AI가 잘못된 정보를 사실인 양 답변하는 것을 'AI 환각' 현상이라고 한다. 물론 독창적인 창의성이 요구되는 예술, 문학, 디자이너, 영화, 드라마, 콘텐츠 크리에이터, 아이디어 등등의 분야에서가 아니라, 데이터를 기반으로 하는 정보와 자료조사에 기반한 생성형 답변 과정에서 'AI 환각 현상'이 발생하기 쉽다.

AI 환각 (Hallucination) 현상

'AI 환각 현상'은 AI가 그럴듯해 보이지만 실제로는 존재하지 않거나 잘못된 정보를 사실인 양 생성하는 현상을 말한다. 인공지능 모델, 특히 생성형 AI 혹은 대형 언어 모델 (LLM: Large Language Model)에서 발생한다. 다시 말해 즉 AI가 사실 기반 즉 근거가 없는 정보를 그럴듯한 거짓말로 생성하는 현상을 'AI 환각'이라고 한다. 이 현상은 단순한 오타나 어색한 문장과 구별된다. 특히 정확성(factuality) 관점에서 현실과 동떨어진 내용을 생성하는 것이 핵심이다. 예를 들면, 실제로 존재하지 않는 논문을 인용하거나, 실재하지 않는 통계를 제시하거나, 맥락과 맞지 않는 왜곡된 주장이나 추측을 단정적으로 제시하는 경우 등이 그렇다.

왜 생성형 AI는 헛것을 생성할까?

인공지능은 모든 정보, 모든 사실을 ‘알고 있는’ 만능의 존재가 아니다. 그보다는 수많은 데이터에서 패턴을 학습한 뒤, 확률적으로 가장 그럴듯한 문장을 예측가능한 방식으로 조각조각 일련의 내용으로 이어붙이는 기술자에 가깝다. 나름 조사해 본 바 AI 관련 전문가들이 말하는, AI 환각이 발생하는 요인을 몇 가지 간추려 보면 다음과 같다.

①데이터 품질 / 불완전성 / 편향

생성형 AI는 대용량 데이터로 학습하므로, 데이터 중에 잘못된 정보나 왜곡, 노이즈, 편향이 포함되어 있을 가능성이 크다. 즉 오염된 데이터로부터 잘못된 정보가 학습에 반영되면, AI는 그것을 토대로 잘못된 출력을 할 수 있다.

②표현 방식의 한계 (Decoding / 샘플링 전략)

생성형 모델은 다음 단어를 예측하는 방식으로 작동한다. 그래서 “가능성 높은 단어 조합”을 선택하는 과정에서 문맥상 맞지만 사실과 다른 조합이 선택될 수 있다. 특히 샘플링 방식에 무작위성을 주면 환각이 발생할 위험이 커진다. '샘플링'은, AI의 학습을 위해 방대한 양의 데이터를 모두 사용하는 대신, 최신성, 중요도 등등 그 데이터의 특성을 잘 대표하는 일부를 추출해 최적화하여 활용하는 것을 말한다.

③사용자의 입력(프롬프트) 해석 오류 / 문맥 이해의 부족

사용자의 입력(프롬프트) 내용을 완전히 이해하지 못하거나, 제시된 단어의 용례에 따른 다양한 개념 파악이 안되거나 맥락을 벗어난 해석을 할 경우, 본래 의도와 동떨어진 출력의 기계적인 답변을 할 가능성이 있다.

④평가 방식의 부작용

학습 모델의 평가 기준이 단순한 정확률(정답일 확률) 위주라면, “모르는 경우”를 인정하거나 거짓을 적게 생성하는 방향보다는 추측성 답을 만들어내는 경향이 커질 수 있다는 지적이 있다. 다시 말해 평가기준이 정확률 100% 정답으로 책정되었다면 오답을 제거하는 것이 아니라 오히려 정답에 가까운 그럴듯한 답을 추측함으로써 환각을 조장하는 결과를 초래한다.

"컴퓨터가 인간처럼 생각할 수 있는지에 대한 질문은, 잠수함이 수영할 수 있는지에 대한 질문과 다르지 않다." — 에츠허르 데이크스트라 (Edsger Dijkstra. 컴퓨터과학자)

결국 AI는 정보 데이터의 진짜와 가짜를 가르는 게 목적이 아니라, 데이터를 바탕으로 ‘논리를 갖춰 그럴듯하게 추측하여 말하는 것’이 본업이다. 우리가 착각하는 부분이 바로 여기에 있다. 마치 이와 같다. 누구나 한번쯤은 어떤 사람이 어떤 주제에 대해 실제로는 모른다거나 자신 없는 주제에 대해 그럴듯한 논리를 펼치며 아는 척을 하는 모습을 본 적이 있을 것이다. 확신에 차서 너무나도 당당하고 자신있게 질서정연한 논리를 펼치기 때문에, 비록 사후에 진위여부를 알게 되더라도, 그자리에서는 그냥 믿을 수밖에 없다. 허구가 진실이 되는 것은 한순간이다. 맹신의 늪은 똑똑한 사람도 예외가 없다. AI 환각은 그와 아주 닮았다. 사이비나 사기꾼도 마찬가지다.

문제점 및 위험성

"생성형 AI는 우리 시대의 가장 흥미롭고 강력한 기술 중 하나이지만, 신중하고 능동적으로 대처해야 하는 새로운 도전과 위험도 함께 안고 있다. 생성형 AI는 좋은 쪽으로든 나쁜 쪽으로든 사용될 수 있는 도구이며, 사회에 미칠 수 있는 잠재적 영향을 염두에 두어야 한다." -샘 알트먼(Samuel H. Altman. OpenAi CEO)

AI 환각은 단순히 작은 오류를 넘어서, 여러 분야에서 심각한 위험을 내포한다. AI 서비스가 사용자에게 허위 정보를 제공하면, 여러 분야에서 의사결정이 위험해질 수 있다. 실제로, 법률 문서 제출 시 AI가 허구의 논문을 인용해 문제가 된 사례가 있다는 뉴스 보도도 있다. 만약 잘못된 AI 정보로 인해 불이익이나 손해가 발생했다면, 허위 정보의 검증 및 손해의 책임 등이 모호해질 수 있기때문에 법적 위험을 초래할 수도 있는 것이다. 일론 머스크는, "AI는 핵무기보다 더 위험할 수 있다"라고 경고한 바 있다.

생성형 AI가 만든 환각은 AI 슬롭(slop 쓰레기)을 양산한다. AI 슬롭은 생성형 AI을 통해 대량으로 생산된 품질이 낮고 진위 여부가 불분명한 텍스트, 이미지, 영상 콘텐츠를 일컫는 신조어다. 이는 마치 음식물 쓰레기(slop)처럼 겉보기에는 그럴듯하다. 하지만, 사실관계가 틀리거나 실제 존재하지 않는 콘텐츠로 구성되어 있기때문에 디지털 정보 환경을 오염시킨다.

일반 사용자의 경우, 무엇보다 논리정연하고 그럴듯해 보이는 문장 구조 때문에, 사용자가 진실성 여부를 의심하지 않고 받아들임으로써 사실의 호도나 의미의 왜곡, 거짓정보의 확신과 확대 재생산 등의 부작용이 발생할 수도 있다. 또 생성형 AI와 상호작용한 결과, 사용자의 기억이나 판단에 영향을 주어 거짓 기억(false memory)을 강화할 위험도 있다.

AI 환각 현상이 주는 교훈

"우리는 AI를 지혜의 일부로 생각해야 한다. AI는 인간을 대체하는 것이 아니라, 인간의 능력을 보완하는 도구이다" -케빈 켈리(Kevin Kelly. 공학자, 공학칼럼니스트)

AI 환각 현상은 단순히 ‘기계가 틀리는 현상’이 아니다. 기계의 관점에서 보면 거짓말을 하는 게 아니기 때문이다. 기계는 입력된 조건, 학습 데이터 이외에 현실적으로 자료의 진위여부나 맥락, 개연성, 뉘앙스, 윤리 등을 따지거나 스스로 확인하는 수단이나 장치가 따로 없다. 때문에 오직 데이터 샘플링의 취합과정에서 답변의 정확성에 충족할 수 있도록 논리로 잘 짜여진 허구가 사실처럼 부상할 뿐이다. 이는 우리가 인공지능에만 의존해서는 안되며 반드시 스스로 검증하고 신중히 평가해야할 필요성이 있다는 경각심을 일깨워준다. 동시에 우리가 인공지능 기술을 어떻게 받아들이고 다룰 것인가를 반드시 되물어야만 하는 중요한 경고다.

AI 환각을 완전히 없애기는 어렵다. 사람도 틀리는데, 사람이 만든 기술 장치인 인공지능이 항상 옳을 수는 없다. 안경에 작은 흠집이 있다고 해서 시력을 포기하지 않듯, AI 환각 때문에 기술 전체를 부정할 필요는 없다. 다만 그 흠집을 인지하고, 언제든 교차검증을 통해 정보의 진위를 검토하고 확인하는 자세가 요구된다. 중요한 건 우리가 AI를 ‘전지전능한 지식의 신’, '정보의 신', '만능백과사전' 으로 여기지 않는 것이다. 그래서 맹목적으로 믿기 보다는 오히려 우리의 시간과 노력을 획기적으로 줄여주는 ‘도우미’ 정도로 받아들이는 것이 더 현실적일지 모른다.

개인적으로 여러 전문가들의 의견을 참고한 결과, 최근들어 나름 가급적이면 AI 환각 현상을 줄이는 노하우가 생겼다. 지극히 개인적인 입장에서, 각자도생의 노력의 일환으로, 정보와 자료를 찾고 가급적이면 배우고자 노력하는 내 경우의 예를 들자면, 대표적으로 다음과 같다.

①목표, 상황, 용도, 수준, 형식 등 원하는 바를 명확하게 제시하기: 모호한 질문은 AI가 엉뚱한 답변을 내놓을 수 있다. 질문을 구체화하고 필요한 정보를 상세하게 제공한다.

②질문을 구체적으로 제한하기: 모호하거나 광범위한 질문 대신, 시간·범위·형식을 좁혀 질문하기. 예를 들어: “한국 최초 노벨상 수상자가 누구냐?” →대신에, “2023년까지 한국에서 노벨상을 수상한 사람이 있느냐? 있다면 이름과 수상 연도를 알려줘.”

③검증된 자료 요구하기: "불확실한 근거·추측·허구를 배제하고, 실제로 연구·실험을 통해 과학적으로 검증된 방법 중심으로 정리해줘" 등의 프롬프트를 사용.

④출처를 요구하고 확인하기: “국문/영문/일문자료를 모두 포함하여 검증가능한 권위있는 자료들을 찾아주고 출처를 함께 제시해줘” 또는 “출처의 참조 문헌을 나열해줘” "참조문헌들의 핵심내용을 각각 요약해줘" 등의 프롬프트를 사용.

⑤같은 질문을 여러 방식으로 교차 확인하기: 한 번 받은 답을 그대로 믿지 않고, 다른 방식으로 다시 물어보거나 재확인 요청하기. 예를 들어, “방금 한 답변에 오류 가능성이 있으면 지적해줘”, “같은 질문을 다른 방식(의견)으로 답해줘”, "방금 한 답변의 진위여부/사실관계 등을 교차검증할 수 있는 자료와 출처를 찾아줘" 등등 AI에게 사실관계/진위여부에 대한 검증을 요구하는 것이다.

⑥사실 검증 도구와 병행 사용하기: : AI의 답변을 신뢰하기 전, 별도의 검색 엔진이나 신뢰 가능한 데이터베이스(예: 권위있는 학술지 DB, 법령DB, 논문DB, 위키데이터 등)로 확인.

⑦“모르면 모른다” "추측이면 추측이다" 조건 부여하기: 프롬프트에 “모르거나 불확실한 경우, ‘모른다’ 또는 '추측이다' 라고 표기해줘”라는 조건을 명시한다.

⑧질문을 단계적으로 나누기: 긴 질문을 한 번에 던지지 않고, 세부 단계별로 나누어 물어보기. 예를 들어 “먼저 배경 설명해줘 → 다음으로 핵심 개념을 구체적으로 설명해줘 → 다음으로 사례를 말해줘 → 다음으로 답변 내용 전체를 각각 검증할 수 있는 출처와 함께 알기쉽게 정리해줘 → 마지막으로 결론 요약해줘”와 같이 분리 질문.

위의 내용은 지극히 개인적인 체크리스트일 뿐이다. 무엇을 참조하고 어떻게 활용하느냐는 오롯이 각자 개인의 몫이다. 여담으로 최근 SNS와 유튜브, 특히 쇼츠 동영상에서 마치 실제로 존재하는 전문가인 것처럼 목소리, 얼굴, 내용까지 모두 AI로 생성한 사칭/표절/짜깁기/허위/왜곡정보/사기성 광고 등의 동영상이 마치 실제인 것처럼 나돌고 있다. 즉 콘텐츠 전체를 아예 AI로 생성한 허위/왜곡/정보가 분야를 가리지 않고 난무하고 있다는 말이 되겠다. 결국 핵심은 AI가 제공하는 정보를 보이는 그대로 맹신하지 말고, 확인하는 습관에 있다.

나가며

"강력한 AI의 등장은 인류에게 최고의 사건이 될 수도, 최악의 사건이 될 수도 있다. 우리는 아직 그 결과를 모른다" -스티븐 호킹(Stephen William Hawking, 이론물리학자)

AI 환각 현상은 우리에게 묘한 교훈을 준다. 인간과 인간이 만든 기술 또한 그 자체로 오류가 없는 완전무결한 것은 세상에 존재하지 않는다. 때문에 확실성을 보장할 수 없는 인공지능의 기술에 무작정 의존할 게 아니라 의존하되 스스로 검증하고 스스로 판단하는 법을 먼저 배울 필요가 있다. 결국 인간인 우리가 그것을 어떻게 받아들이고 어떻게 활용하느냐가 무엇보다 중요한 것이다. 따라서 “AI가 얼마나 똑똑하고 얼마나 정확한가”를 따지기보다, “AI 환각을 어떻게 관리하고 다룰 수 있느냐”를 먼저 고민하는 것이 마땅할 것이다. 그리고 그 고민의 과정은 연구자/개발자만의 몫이 아니라, 사용자인 우리 모두의 몫이라 하겠다. (2025.10.4)