4주차: AI의 거짓말 다루기

PART 1. [적응] 언어의 전환: Code에서 '자연어'로

Dec 23. 2025

지난 3주간 우리는 AI를 '질문의 시대'의 도구로 이해했고(1주차), 검색과 생성을 조합하는 법을 배웠으며(2주차), 상황에 맞는 AI를 선택하는 안목을 길렀다(3주차). 이제 가장 중요한 질문이 남았다.

AI가 거짓말을 한다면, 어떻게 해야 할까?

좋은 소식이 있다.

2025년 들어 AI의 거짓말, 즉 할루시네이션은 여러 평가에서 눈에 띄게 줄어드는 흐름을 보이고 있다. 예컨대 문서 요약 과제를 대상으로 한 공개 리더보드에서는 일부 최신 모델이 1% 미만의 할루시네이션 비율을 기록하기도 한다. 다만 여기서 말하는 수치는 AI가 모든 상황에서 거의 틀리지 않는다는 뜻이 아니라, 원문이 주어진 요약 과제에서 원문 밖 내용을 덧붙이는 비율에 가깝다. 특정 조건에서의 성과라는 점을 분명히 이해해야 한다.

하지만 나쁜 소식도 있다. 아무리 뛰어난 기자라도 가끔 실수를 한다. AI도 마찬가지다. 벤치마크에서 성능이 좋아졌더라도, 실제 업무에서는 여전히 “확신에 찬 오류”가 튀어나온다. 그리고 그 한 번의 실수가 당신의 보고서에, 기획안에, 이메일에 포함될 수 있다.

이번 주 우리는 편집장이 된다. 재능 있지만 아직 어린 신입기자(AI)를 관리하는 데스크의 자세를 배운다. 예방이 우선이고, 검증이 필수다. 그리고 무엇보다, 이 모든 것을 '시스템'으로 만드는 법을 익힌다.

환각(Hallucination)이란 무엇인가?

거짓말의 정체

할루시네이션(Hallucination, 환각)은 AI가 확신에 찬 어조로 거짓 정보를 생성하는 현상이다. 단순한 오타나 계산 실수가 아니다. 존재하지 않는 논문을 인용하고, 일어나지 않은 사건을 서술하고, 없는 통계를 만들어낸다. 그것도 아주 그럴듯하게.

실제 사례를 보자.

사례 1: 존재하지 않는 논문

사용자: "AI 윤리에 관한 최근 연구 좀 추천해줘."

AI: "Smith & Johnson(2024)의 'Ethical Frameworks in AI Development'를 추천합니다. 이 논문은 Nature지에 게재되었으며..."

→ 그런 논문은 없다. 저자도 없고, 제목도 지어낸 것이다.

사례 2: 가짜 통계

사용자: "한국 AI 시장 규모가 얼마야?"

AI: "2024년 기준 한국 AI 시장은 15.7조 원 규모이며, 전년 대비 23.4% 성장했습니다. 한국정보화진흥원의 보고서에 따르면..."

→ 소수점까지 정확해 보이지만 출처를 확인하면 그런 보고서는 없다.

사례 3: 날짜 오류

사용자: "스티브 잡스가 언제 사망했어?"

AI: "스티브 잡스는 2013년 10월 5일에 사망했습니다."

→ 실제로는 2011년이다. 2년이나 차이가 난다.

사례 4: 없는 기능 소개

사용자: "엑셀에서 데이터 자동 분류하는 기능 있어?"

AI: "네, '스마트 카테고리' 기능을 사용하세요. 데이터 탭에서 '자동분류'를 선택하면..."

→ 그런 기능은 없다. 비슷한 기능들을 조합해서 만들어냈다.

왜 위험한가?

할루시네이션이 특히 위험한 이유는 세 가지다.

첫째, 확신에 찬 어조. AI는 틀렸을 때도 망설이지 않는다. "아마도", "추정컨대" 같은 표현 없이 단정적으로 말한다. 이것이 사람을 속인다.

둘째, 그럴듯한 맥락. 완전히 터무니없는 소리가 아니다. 실제 있을 법한 논문 제목, 그럴듯한 기관명, 합리적인 수치 범위를 제시한다. 전문가가 아니면 구별하기 어렵다.

셋째, 연쇄 오류. 한 번의 할루시네이션이 다음 작업으로 이어진다. 가짜 통계를 바탕으로 보고서를 쓰고, 그 보고서를 바탕으로 의사결정을 한다. 오류가 증폭된다.

거짓말하는 신입기자를 믿고 신문을 찍을 수는 없다. 그렇다고 해고할 수도 없다. 재능 있고 빠르며, 때로는 놀라운 통찰을 보여주기 때문이다. 우리에게 필요한 것은 해고가 아니라 관리다. 그리고 그 관리는 개인의 주의력이 아니라 절차로 만들어져야 한다.

할루시네이션의 원인

확률적 앵무새의 한계

AI를 이해하는 가장 중요한 비유가 하나 있다. AI는 '확률적 앵무새'다.

앵무새는 말의 의미를 모른다. 그저 들은 패턴을 따라 소리를 낸다. AI도 비슷하다. "서울의 수도는"이라는 문장 뒤에 "대한민국"이 올 확률이 높다는 걸 학습했을 뿐, 서울이 뭔지, 수도가 무엇인지 '이해'하지는 못한다.

이것이 할루시네이션의 근본 원인이다. AI는 사실을 '아는' 게 아니라 패턴을 '예측'한다. 그리고 예측은 틀릴 수 있다.

네 가지 주요 원인

원인 1: 학습 데이터의 공백

AI는 학습하지 않은 정보는 모른다. 최근 사건, 전문 분야의 세부 내용, 특정 회사의 내부 정보 등은 학습 데이터에 없다. 하지만 AI는 "모른다"고 말하는 법을 배우지 못했다. 대신 비슷한 패턴을 조합해서 그럴듯한 답을 만들어낸다.

질문: "우리 회사 2024년 3분기 매출이 얼마였지?"

AI의 학습 데이터: 우리 회사 정보 없음

AI의 반응: 일반적인 기업 매출 패턴 + 업계 평균 → "약 500억 원입니다"

원인 2: 구체성에 대한 압박

사용자가 구체적 수치를 요구하면, AI는 애매한 답변이 낮은 평가를 받는다는 걸 '학습'했다. 그래서 확실하지 않아도 구체적으로 답한다.

나쁜 질문: "정확한 퍼센트로 알려줘."

→ AI는 "약 15.7%입니다"라고 소수점까지 만들어낸다.

좋은 질문: "대략적인 범위를 알려줘. 모르면 모른다고 해도 돼."

→ AI는 "10-20% 사이로 추정됩니다"라고 솔직해진다.

원인 3: 패턴의 과잉 일반화

AI는 많이 본 패턴을 새로운 상황에도 적용한다. "~에 따르면"이라는 표현 뒤에는 출처가 온다는 걸 학습했다면, 출처가 없을 때도 그럴듯한 출처를 만들어낸다.

원인 4: 맥락 이해의 한계

긴 대화나 복잡한 문서에서 AI는 맥락을 놓친다. 앞에서 한 말과 뒤에서 한 말이 모순되거나, 질문의 진짜 의도를 오해한다.

고위험 vs 저위험 영역

할루시네이션이 자주 발생하는 영역:

통계와 수치: "정확히 17.3%입니다"

최근 정보: "어제 발표된 정책에 따르면..."

전문 분야: 의학, 법률, 기술 규격 등

출처와 인용: "Smith(2024)의 연구에서..."

개인/조직 정보: "귀사의 작년 실적은..."

할루시네이션이 적은 영역:

일반 개념: "마케팅이란 무엇인가"

잘 알려진 사실: "광합성의 원리"

창의적 작업: 아이디어 브레인스토밍

구조화 작업: 보고서 목차 만들기

편집장이라면 어떤 기사를 더 꼼꼼히 봐야 할지 안다. 신입기자에게 창의적인 칼럼을 맡기는 건 괜찮지만, 통계가 들어간 탐사보도는 반드시 팩트체크를 거쳐야 한다.

예방이 치료보다 낫다 - 6가지 예방 전략

할루시네이션은 발생한 후 찾아내는 것보다 처음부터 예방하는 게 훨씬 쉽다. 좋은 편집장은 신입기자에게 명확한 취재 가이드를 준다. AI도 마찬가지다.

전략 1: 명시적 제약 조건 부여

핵심 원칙: AI에게 "모르면 모른다고 말하라"고 명령하라.

❌ 나쁜 프롬프트: "AI 시장 규모 알려줘."
✅ 좋은 프롬프트: "AI 시장 규모를 알려줘. 단, 확실한 자료가 없으면 '확인되지 않음'이라고 표시해. 추정치는 반드시 '추정'이라고 명시해."

이 간단한 지시만으로도 할루시네이션은 크게 줄어든다. AI는 '불확실함을 표현해도 된다'는 허가를 받으면 더 솔직해진다.

추가 지시 예시:

"모르는 내용은 '추가 조사 필요'라고 써줘"

"확신도가 낮은 정보는 괄호로 표시해줘"

"일부 자료에 따르면' 같은 표현을 사용해도 좋아"

전략 2: 범위 제한하기

핵심 원칙: 구체적 수치 대신 빈칸을 남기게 하라.

❌ 위험한 요청: "2024년 한국 AI 시장 규모를 포함한 보고서를 작성해줘." → AI가 가짜 수치를 만들어낼 위험
✅ 안전한 요청: "2024년 한국 AI 시장에 대한 보고서 구조를 작성해줘. 통계 수치는 [수치 필요]라고 빈칸으로 남겨둬." → 나중에 직접 검증된 수치를 채워 넣을 수 있다

이 방법은 특히 효과적이다. AI의 강점(구조화, 논리 전개)은 활용하면서, 약점(정확한 데이터)은 피할 수 있다.

실전 적용:

"다음 기준으로 작성해줘:
- 일반적 원칙과 개념: AI가 작성
- 구체적 통계와 수치: [데이터 필요] 표시
- 회사 내부 정보: [내부 확인] 표시"

전략 3: 검증된 자료 제공 (2주차 복습!)

핵심 원칙: "검색 + 생성"을 조합하라. (2주차에서 배운 원칙의 실전 활용)

2주차에서 우리는 구글링(검색)과 AI 생성을 함께 쓰는 법을 배웠다. 이것이 바로 할루시네이션 예방의 핵심이다.

1단계: 믿을 수 있는 정보를 직접 검색 예) 한국은행 보고서, 공식 통계, 논문 PDF
2단계: 그 정보를 AI에게 제공하면서 요청 "다음 보고서를 바탕으로 요약해줘. 보고서에 없는 내용은 추가하지 마."

이렇게 하면 AI는 제공된 문서의 범위 내에서만 작업한다. 학습 데이터의 공백을 추측으로 메우지 않는다.

실전 팁:

PDF 파일을 첨부하거나, 텍스트로 복사해서 붙여넣기

"이 문서만을 바탕으로" 같은 명시적 제약

"문서에 없는 내용은 '문서 외 정보'라고 표시"

전략 4: 2단계 워크플로우 (가장 추천!)

핵심 원칙: 구조와 데이터를 분리하라.

이 방식은 내가 실제 업무에서 가장 자주 쓰는 방법 중 하나다. 할루시네이션 위험이 낮은 작업과 높은 작업을 의도적으로 분리하는 것이다.

1단계: 구조만 요청 (할루시네이션 위험 낮음)

"AI 도입 제안서의 목차를 만들어줘.
각 섹션에는 어떤 정보가 필요한지만 표시하고, 구체적 데이터는 넣지 마."

결과:
1. 시장 현황 - [시장 규모 데이터 필요] - [성장률 데이터 필요]
2. 우리 회사 현황 - [매출 데이터 필요] - [인력 현황 필요] ...

2단계: 출처와 함께 데이터 요청

"1번 섹션의 시장 현황 부분에 들어갈 최신 데이터를 찾아줘. 단, 반드시 다음 조건을 지켜:
1. 각 데이터의 출처를 명시
2. 발표 날짜 포함
3. 원문 링크 제공"

결과:
- 한국 AI 시장 규모: 약 3조 원 (출처: 한국정보화진흥원, 2024.03 발표)
링크: https://[실제링크]
- 성장률: 전년 대비 18% (출처: 과기부 보도자료, 2024.05)
링크: https://[실제링크]

3단계: 링크 검증 (가장 중요!)

여기서 핵심이 나온다. 링크를 직접 클릭해 확인하라

✅ 링크가 작동하고 내용이 일치 → 믿을 만함

❌ 링크가 깨짐 → 출처가 가짜일 가능성 높음

❌ 링크는 되지만 내용이 다름 → 할루시네이션

이 방법이 효과적인 이유:

구조 작성 단계에서는 AI의 창의성 활용 (할루시네이션 위험 낮음)

데이터 단계에서는 출처를 요구해 검증 가능하게 함

링크 클릭이라는 간단한 행동으로 신뢰도 확인

전략 5: 검색 기능 활용

핵심 원칙: AI의 검색 기능을 명시적으로 요청하라.

일부 AI(ChatGPT Search, Gemini 등)는 실시간 검색 기능이 있다. 하지만 자동으로 작동하지 않을 때가 많다.

❌ 애매한 요청: "최근 AI 정책이 어떻게 바뀌었어?"
→ AI가 학습 데이터에서 추측할 수 있음

✅ 명확한 요청: "최근 AI 정책을 웹에서 검색해서 알려줘."
→ AI가 실시간 검색을 수행

차이의 중요성:

일반 질문: AI의 학습 데이터에서 답변 (2023년 이전 정보일 수 있음)

검색 요청: 실시간 웹 검색으로 최신 정보

전략 6: 단계별 작업

핵심 원칙: 복잡한 요청을 작은 단위로 나눠라.

❌ 한 번에 모든 것 요청:
"우리 회사 제품의 시장 경쟁력 분석 보고서를 작성해줘."
→ AI가 여러 가정을 만들어내며 할루시네이션 위험 증가

✅ 단계별 요청:
- 1단계: "보고서에 포함될 항목 리스트 작성"
- 2단계: "1번 항목에 필요한 데이터 종류 나열"
- 3단계: "각 데이터를 어디서 구할 수 있는지 제안"
- 4단계: [내가 데이터 수집 후] "이 데이터로 1번 항목 작성"

각 단계를 검증한 후 다음으로 넘어가면, 오류가 누적되지 않는다.

그래도 발생했다면 - 검증 체크리스트

예방이 최선이지만, 완벽할 수는 없다. 발생한 할루시네이션을 빠르게 찾아내는 법을 알아야 한다.

Red Flag 체크리스트

AI 답변에서 다음 요소가 보이면 즉시 의심하라:

1. 구체적 수치 (특히 소수점)

의심: "시장 점유율이 15.7%입니다"
이유: 너무 정확해 보인다. 추정치인데 소수점이 있다.
행동: 출처를 확인하거나 "대략 15-16% 정도"로 수정

2. 날짜와 시간

의심: "2024년 3월 15일에 발표되었습니다"
이유: 날짜가 구체적일수록 틀릴 확률이 높다
행동: 공식 보도자료나 웹사이트에서 직접 확인

3. 인명과 인용

의심: "김철수 교수의 연구에 따르면..."
이유: 실존 인물이지만 그런 연구를 했는지 불확실
행동: 해당 인물의 연구 목록 확인

4. 출처와 레퍼런스

의심: "McKinsey 2024 보고서에서..."
이유: 보고서 제목이나 세부 정보가 없다
행동: McKinsey 웹사이트에서 직접 검색

5. 기술 스펙

의심: "이 모델은 최대 8,192 토큰을 처리합니다"
이유: 모델 버전마다 스펙이 다른데 버전 명시가 없다
행동: 공식 문서에서 확인

6. "최근", "최신" 표현

의심: "최근 발표된 정책에 따르면..."
이유: AI의 학습 데이터는 과거다. "최근"이 실제로는 2023년일 수 있다
행동: 날짜를 구체적으로 물어보고 검색으로 확인

3단계 검증 프로세스

1단계: 직관적 의심

"이게 맞나?" 싶은 순간을 놓치지 마라. 너무 완벽하거나, 너무 구체적이거나, 뭔가 이상하면 의심하라.

2단계: 교차 확인. 같은 질문을 다른 AI에게도 물어보라.

ChatGPT의 답변을 Claude에게 확인

서로 다른 답변이 나오면? 둘 다 틀렸을 가능성

3단계: 구글 검증 (가장 확실한 방법). 의심스러운 정보를 구글에 검색하라.

발견 후 대응법

할루시네이션을 발견했다면:

1. 즉시 재확인

"방금 준 [이 정보]가 정확하지 않은 것 같은데, 출처를 구체적으로 다시 확인해줄래? 보고서 이름, 발표 기관, 발표 날짜, 그리고 링크를 포함해서."

만약 출처를 제시하지 못하거나 링크가 작동하지 않으면, 그 정보는 삭제하고 직접 조사하라.

2. 재질문으로 일관성 테스트

첫 질문: "한국 AI 시장이 얼마야?"
AI: "15조 원입니다"
재질문: "그 수치의 출처가 뭐야?"
AI: "정확한 출처는 확인이 필요합니다"
→ 이전 답변이 할루시네이션일 가능성 높음

3. 범위 좁히기

"전체 시장 말고, 생성형 AI 시장만 알려줘"
"2024년 말고, 2023년 데이터로 알려줘"
→ 구체적일수록 할루시네이션 확률이 낮아진다

확신이 없으면 빈칸으로 의심스러운 수치나 정보는 아예 빈칸([확인 필요])으로 남겨두고, 나중에 직접 확인된 정보로 채워라. 잘못된 정보보다 빈칸이 낫다.

Weekly Mission

이번 주 미션은 2단계 워크플로우 실습입니다.

출처 검증하기

준비: 업무나 관심사에서 주제 하나를 선택하세요.

예) "2025년 SNS 마케팅 트렌드 분석", "신규 서비스 기획안", "AI 윤리 리포트"

1단계: 구조만 요청하기

AI에게 요청:
"[주제]에 관한 보고서 구조를 만들어주세요. 각 섹션에 어떤 내용이 들어가야 할지 설명하되, 구체적 통계나 데이터는 [데이터 필요]로 표시해주세요."

확인 포인트:

논리적 흐름이 있나요?

[데이터 필요] 표시가 적절한 곳에 있나요?

2단계: 출처와 함께 데이터 요청

AI에게 요청:
"1번 섹션에 들어갈 데이터를 찾아주세요.
조건:
1. 각 데이터의 출처 명시
2. 발표 날짜 포함
3. 가능하면 원문 링크 제공
4. 확실하지 않으면 '확인 필요'라고 표시"

3단계: 링크 검증 (가장 중요!) AI가 제공한 모든 링크를 직접 클릭해보세요.

체크리스트:

링크가 작동하나요?

링크 내용이 AI의 설명과 일치하나요?

날짜가 정확한가요?

통계 수치가 동일한가요?

이 미션의 목표는 "정답을 얻는 것"이 아니라, "검증 가능한 형태로 일을 쪼개는 습관"을 실습해 보는 것입니다. '구조 → 데이터 → 링크 검증'으로 단계를 나누면, AI가 실수하더라도 그 실수가 보고서 최종본까지 '스며드는' 것을 막을 수 있습니다.

3가지 핵심 원칙

첫째, 할루시네이션은 버그가 아니라 특성이다.

AI는 확률적으로 작동한다. 때로 틀리는 것은 예외가 아니라, 전제에 가깝다.그러니 목표는 “AI를 완벽하게 만들기”가 아니라 “틀려도 안전한 흐름을 만들기”다.

둘째, 예방이 치료보다 낫다.

할루시네이션을 찾아내는 것보다 처음부터 발생하지 않게 하는 것이 쉽다. "모르면 모른다고 해", "출처를 명시해", "구조와 데이터를 분리해". 그리고 이번 미션처럼, 검증이 가능한 단계로 일을 쪼개라.이 간단한 지시들이 당신을 지켜준다.

셋째, 검증은 습관이다.

링크를 클릭하라. 출처를 확인하라. 의심스러운 문장은 검색으로 교차 확인하라. 처음에는 번거롭지만, 곧 자동이 된다. 그리고 그 습관이 당신을 전문가로 만든다.

2주차에서 배운 조합을 ‘안전장치’로 쓴다

기억하는가? 2주차에서 배운 "검색 + 생성" 조합.

그때는 “더 좋은 결과물을 만들기 위한 요령”처럼 보였지만, 동시에 오늘의 주제—할루시네이션—을 막기 위한 가장 현실적인 안전장치이기도 하다. 믿을 수 있는 정보는 직접 찾아서(검색), 그 범위 안에서만 AI가 정리하게 하는 것(생성). 오늘의 미션은 그 조합을 ‘습관’으로 굳히는 연습이었다.