대환각시대, 진실을 찾아 항해하기

AI 환각을 꿰뚫어 보는 지성

고대 그리스의 영웅 오디세우스는 마녀 키르케로부터 위험한 바다에 대한 경고를 듣는다. 그곳에는 아름다운 노래로 선원들을 유혹해 배를 난파시키는 요괴 ‘세이렌(Siren)’이 살고 있었다. 오디세우스는 이 치명적인 노래를 듣고 싶다는 호기심과 살아남아야 한다는 생존 본능 사이에서, 키르케의 조언에 따라 기이한 방법을 선택했다. 부하들의 귀는 밀랍으로 막게 하고, 자기 몸은 돛대에 단단히 묶어 노래를 듣되, 유혹에 빠져 배가 난파하지 않도록 한 것이다.

오늘날 우리는 새로운 세이렌, AI를 만났다. AI가 읊조리는 언어는 유창하고, 논리 정연하며, 압도적인 자신감으로 가득 차 있다. 하지만 그 매혹적인 노래 속에는 종종 현실에 존재하지 않는 사실, 교묘하게 날조된 인용, 그럴듯하게 포장된 거짓이 섞여 있다. 우리는 이것을 ‘환각(Hallucination)’이라 부른다. AI 시대의 오디세우스가 된 우리는, 이 환각의 노래에 홀려 지식의 암초에 부딪히지 않기 위해, 스스로를 묶을 새로운 ‘돛대’가 필요하다.

우리는 왜 AI의 거짓말에 속는가

AI의 환각에 속는 것은 단지 우리가 부주의해서가 아니다. 여기에는 인지적인 함정이 도사리고 있다.

첫째, AI의 '권위 효과'다. AI는 방대한 지식을 학습했다는 전제와 함께, 항상 확신에 찬 어조를 유지한다. "아마도 그럴 것"이라거나 "확실하지 않다"라는 인간적인 망설임이 없다. 이처럼 단호하고 유려한 문체는 우리의 비판적 사고 회로를 우회하고, 그 내용을 사실로 받아들이게 만든다.

둘째, '확증 편향(Confirmation Bias)'의 가속화다. 우리는 이미 가지고 있는 믿음이나 기대를 확인해 주는 정보를 선호한다. AI에게 우리가 원하는 방향으로 질문을 던지면, AI는 그 기대에 부응하는 '그럴듯한' 답변을 생성해 낸다. AI가 내 편견을 정당화해 주는 순간, 우리는 환각을 진실로 기꺼이 오인한다.

자신감 넘치는 그럴듯한 거짓말

AI의 환각을 이해하기 위해, 우선 AI의 본질을 직시해야 한다. 현재의 LLM에게는 진실과 거짓보다 ‘그럴듯함’이 더 중요하다. 따라서 ‘모르겠다’고 말하기보다, 그럴듯한 단어들을 조합해 소설을 쓰는 쪽을 택한다. 존재하지 않는 논문의 제목을 인용하고, 있지도 않은 법률 조항을 만들어내며, 역사적 인물이 한 적 없는 말을 그의 어투로 유창하게 지어낸다. 이것은 악의적인 ‘거짓말’이라기보다는, 시스템 설계상 필연적으로 따라오는 결과에 가깝다.

이러한 현상이 '필연적'인 이유는 현재 LLM(대형언어모델)의 작동 원리 자체가 그렇기 때문이다. LLM은 학습 과정에서 대규모 문장을 분석하며, 어떤 단어 다음에 어떤 단어가 올 확률이 높은지를 계산하는 방식으로 훈련된다. 예를 들어, "대한민국의 수도는"이라는 문장 다음에 "서울"이 올 확률을 학습하는 식이다. 하지만 이 과정에는 치명적인 맹점이 있다. (하단 내용은 이해를 돕고자 LLM의 작동 원리를 단순화하여 설명한 것으로, 실제 시스템은 더 다층적인 과정을 거친다.)

첫째, '사실 검증 메커니즘'이 없거나 제한적이다. 인간은 불확실한 정보를 접하면 출처를 확인하거나, 논리적 모순을 점검하거나, 실제 경험과 대조해 본다. 하지만 LLM은 학습 데이터 내용이 실제 세계와 일치하는지 근본적으로 판단하기 어려우며, 설령 사실 검증 메커니즘이 탑재되어 있다고 하더라도 그 기능이 매우 제한적이다.

둘째, 목적이 '정확성'이 아니라 '유창성'에 최적화되어 있다. LLM은 '다음 단어 예측의 정확도'를 높이는 방향으로 훈련되는데, 이는 곧 '자연스럽고 그럴듯한 문장'을 만드는 능력을 의미한다. 결과적으로 AI는 불확실성을 표현하기보다는, 확신에 찬 어조로 그럴듯한 내용을 생성하도록 구조적으로 편향되어 있다. 한마디로 종특이다.

셋째, '모름'을 인정하는 것은 통계적으로 불이익을 받는 행동이다. LLM은 사용자의 질문에 응답하지 못하면 '실패'로 간주되고, 이는 모델 평가 과정에서 낮은 점수로 이어진다. 따라서 시스템은 어떻게든 답변을 생성하는 방향으로 진화한다. 이것은 마치 시험에서 모르는 문제를 비워두면 0점이지만, 아무렇게나 써도 부분 점수를 받을 가능성이 있는 학생과 같다. LLM에게 침묵은 선택지가 아니다.

문제는 그 결과물이 꽤 그럴듯해서, 비판적 장치 없이는 누구라도 속아 넘어갈 수 있다는 점이다. 너무나 자신감 넘치는 어조로 서술되기에(AI는 자신이 틀렸다는 사실을 모르기 때문이다), 우리는 그것이 오류라는 사실조차 인지하기 어렵다.

바로 이 지점에서 우리에게 새로운 지적 의무가 부여된다. 바로 ‘인식론적 책임(Epistemic Responsibility)’이다. 이는 정보를 받아들이기 전에 그것이 참인지 확인하고, 그 지식의 출처와 근거를 따져 물어야 할 지적인 의무를 뜻한다. 과거에는 출판사나 언론사가 이 책임의 상당 부분을 짊어졌지만, 이제는 AI라는 정보 생성의 ‘블랙박스’를 마주한 사용자 개개인에게 그 책임의 무게중심이 옮겨졌다.

그런데 사람들은 복잡한 정보의 맥락을 파고드는 수고로움보다, 유창하게 정리된 답을 즉각적으로 받아들이기를 선호한다. AI가 제공하는 매혹적인 답변에 안주하는 순간, 우리는 사유의 주도권을 기계에 넘겨주고, 그럴듯한 거짓 정보가 우리의 상식과 판단력을 대체하기 시작한다.

AI가 빚어내는 환각은 단순한 가짜 뉴스와는 결이 다르다. 그것은 맥락에 맞춰 실시간으로 생성되며, 사용자의 질문에 가장 적합한 형태로 맞춤 제작된다. 마치 내 생각을 읽고, 가장 듣고 싶어 하는 답을 지어내는 유능한 사기꾼과 같다.

그렇기 때문에 우리는 AI의 소비자를 넘어, 스스로가 검증의 주체가 되어야만 한다. 그렇다면 이런 상황에서 우리는 인식론적 책임을 어떻게 실천할 수 있을까?

믿지 말고, 검증하라(Don't trust, verify)

의심의 원칙

건전한 회의주의가 필요하다. AI 답변을 최종 결과물이 아닌, ‘잘 정리된 초안(Draft)’ 혹은 ‘검증이 필요한 가설’로 간주하는 태도다. 특히 수치, 인용문, 날짜, 역사적 사실, 인물 정보 등 구체적인 팩트를 제시할 때, 일단 한 걸음 물러서서 “이것이 사실임을 어떻게 증명할 수 있을까?”라고 생각해야 한다. AI의 유창함에 현혹되지 않고, 그 내용을 검증의 대상으로 삼는 것이 첫 번째 관문이다.

교차 검증의 습관화

AI는 종종 자신의 주장을 뒷받침하기 위해 가짜 출처를 만들어낸다. 논문 제목, 책 이름, 기사 링크 등을 그럴듯하게 제시하지만, 실제로 찾아보면 존재하지 않는 경우가 허다하다.

하나의 사실이 진실이 되기 위해서는 여러 각도에서 조명해도 모순이 없어야 한다. 만일 사용자가 중요한 결과물을 만들고 있다면, AI 답변에 의존하지 말고, 최소 2~3개 이상의 독립적이고 신뢰할 수 있는 소스(예: 권위 있는 기관의 보고서, 복수 언론사의 보도, 관련 분야 전문가 의견 등)와 비교하여 전체적인 맥락 속에서 정보의 타당성을 평가한다.

예를 들어, AI가 특정 논문에 대해 언급했다면, 구글 학술검색이나 해당 학술지 웹사이트 등에서 직접 원문을 찾아본다. AI가 특정 사건을 요약했다면, 평판 있는 언론사의 기사나 관련 기관의 공식 발표를 확인한다. 위키피디아만으로는 부족하다. 그곳에 링크된 각주와 참고문헌을 직접 따라 들어가는 노력이 필요하다.

실용 팁: 다른 AI 말고 퍼플렉시티에서 “다음 글에서 팩트 체크할 항목들을 표로 만든 후에, 공신력 있는 사이트로 사실 여부를 검증하여 O, X, △로 표기하고, 출처가 되는 논문이나 기사 등 원문 링크를 알려 줘”라고 구체적으로 요구한다. 이때도 AI가 답한 사실 여부는 참고만 하고, AI가 제공한 링크를 반드시 직접 클릭해서 해당 페이지가 실제로 존재하고, AI가 말한 내용과 일치하는지 확인해야 한다. 이때 퍼플렉시티를 사용하는 이유는, 웹 검색 기능이 가장 잘 통합되어 있어 실시간으로 출처를 찾고 링크를 제시하는 능력이 뛰어나기 때문이다.

나만의 ‘지식 앵커(Knowledge Anchor)’ 구축하기

모든 정보를 의심하고 검증하는 것은 현실적으로 불가능하다. 따라서 가장 중요한 것은 자신만의 전문 분야, 즉 깊이 있는 지식의 닻(Anchor)을 내리는 것이다. AI는 광활한 지식의 바다를 항해하는 배와 같지만, 우리는 특정 영역에서만큼은 심해까지 파고드는 잠수함이 되어야 한다.

내가 전문성을 가진 분야에서만큼은 AI 답변을 맹신하지 않고, 비판적으로 평가하고 검증할 수 있는 역량을 갖추는 게 강력한 경쟁력이 된다. AI를 내 지식을 확장하는 보조 도구로 사용하되, 최종 판단의 권위는 나의 전문성에 두는 것이다. 모든 분야의 전문가가 될 수는 없지만, 적어도 내 삶과 일에 직결된 영역에서만큼은 누구보다 깊은 ‘지식 앵커’를 내려야만 AI라는 거대한 파도에 휩쓸리지 않을 수 있다.

진실의 항해술을 익혀야 하는 이유

오디세우스는 세이렌의 노래를 들었지만 파멸하지 않았다. 그는 밀랍과 밧줄로 위험을 통제했다. AI 환각은 분명 위험하다. 그렇지만 이 새로운 세이렌을 두려워한 나머지, 외면해서는 안 된다. 오히려 그 노래를 들으면서도 길을 잃지 않는 법을 익혀야 한다. ‘인식론적 책임’이라는 돛대에 우리 자신을 묶고, AI 답변을 꼼꼼히 검증할 때, 우리는 AI가 만들어내는 무한한 정보의 바다에서 길을 잃지 않고 새로운 지식의 대륙을 발견하는 최초의 탐험가가 될 수 있다.

AI의 환각은 현재 기술의 구조적 한계이지만, 역설적으로 우리에게 더 높은 수준의 문해력을 요구하며 성장의 기회를 제공한다. 결국 AI 시대의 문해력이란, AI가 얼마나 그럴듯한 답을 내놓는지를 감탄하는 능력이 아니다. 그 모든 그럴듯함 속에서 진실을 가려낼 수 있는 비판적인 눈, 바로 우리 자신의 지성이다.

앞으로의 세상은 AI를 능숙하게 사용하는 사람과 그렇지 못한 사람으로'만' 나뉘는 것이 아니다. AI 답변을 맹목적으로 받아들이는 사람과, 그것을 끊임없이 의심하고 질문하며 더 높은 차원의 결과물을 구축하는 사람으로 나뉜다.