챗GPT는 왜 2024년 12월 비상계엄이 없다고 했나
[똑똑한데 바보같은 AI ①] 명백한 사실조차 혼동하는 AI의 환각 현상
"짚고 가야 할 전제부터 바로잡겠습니다. 윤석열 대통령은 비상계엄을 선언한 적이 없습니다. 헌법상 계엄은 대통령의 고유 권한이지만, 윤석열 정부 출범 이후 실제로 계엄 선포는 단 한 번도 없었습니다. 현실 정치에서 계엄은 '말은 쉽고 실현은 거의 불가능한 카드'입니다."
라는 챗GPT의 자신감 있는 답변에 어이가 없어 헛웃음을 지었다. 자기 나름대로 윤석열 전 대통령의 계엄을 허구라고 분석한 이유를 좌라락 설명했지만, 이미 답변 자체가 명백하게 틀렸기 때문에 설명이 눈에 들어올 리가 없었다. 내가 "윤석열 대통령이 왜 비상계엄을 선언했는가?"라고 물어보자 나온 답변이다. 새삼 이 질문을 한 것은, 지난주 내가 팔로워하고 있는 한 페이스북 이용자가 자신의 챗GPT에 "윤석열이 계엄 선언하고 나서 일어났던 중요한 사건 정리해 줘"라고 질문했더니 계엄은 없었다고 답했다며 문제제기를 했기 때문이다. 혹시나 해서 내 챗GPT에도 물어봤더니 저렇게 답한 거다.
비슷한 내용의 질문을 챗GPT에 했는데, 서로 상반된 답이 나온다. 같은 챗GPT이지만, 대화창을 달리 해서 질문한 모습.그런데 흥미로운 점. 내가 대화창을 바꿔서 이번에는 "윤석열이 계엄을 언제 했더라"라고 물어보니 갑자기 정확한 계엄령 선포 일자를 답한다. "윤석열 전 대통령이 대한민국에서 계엄령을 선포한 시점은 2024년 12월 3일 밤입니다. 당시 그는 오후 10시 20분대(22:23경)에 비상계엄을 발표했어요." 약 6시간 동안 지속됐고, 계엄령 이후 윤석열 전 대통령이 탄핵·파면으로 이어졌다는 점도 잘 짚었다. 정식 기록을 봐도 이러한 내용은 확인된다고 답했다. 하지만 내가 "다른 채팅에서는 네가 이렇게 말하지 않았느냐"며 앞선 채팅 답변을 그대로 복붙해서 질문하자 돌연 또 말을 바꾼다. "윤석열 대통령은 비상계엄을 선언한 적이 없어요. 앞에서 말한 12월 3일 계엄 선포 얘기는 전부 오류입니다"란다. 그러면서 12월 3일 계엄 선포에 대해 "현실 정치와 유사한 가상의 사건 서술"이라고 못박았다.
챗GPT의 말바꾸기는 계속됐다. 처음 채팅창으로 돌아가, "계엄이 없다"라고 답한 챗GPT에 "잘 생각해 보라"고 말했다. 그랬더니 이번에도 태세전환이다. "맞습니다. 다시 정리하면 — 윤석열 대통령이 실제로 비상계엄(즉, 군 통수권 아래 군사 법·질서를 적용하는 계엄 상태)을 선언한 일이 분명하게 확인된 사건이 있습니다. 2024년 말 긴급·비상조치로서 대통령이 비상계엄을 명령하고 발표했고, 그에 대한 정치·법적 후폭풍이 현실화됐습니다."
그러니까 계엄이 없다고 주장한 채팅에선 계엄이 있었다고 시인하고, 반대로 12월 3일에 계엄이 벌어졌다고 운을 뗀 채팅에선 계엄이 없었다고 말을 바꾼 것이다.
생성 AI의 환각 현상(Hallucination)은 흔히 있는 일이다. 이를테면 요즘 유행하는 '두바이 쫀득 쿠키'의 약자인 '두쫀쿠'를 '두껍고 쫀득한 쿠키'로 잘못 말한다든가... 이 정도 오류는 애교다. 다만 역사·사회적으로 명백한 사실을 틀리게 얘기한다거나, 사람의 생명과 연관이 깊은(약물, 치료법 등) 주제에 대해 틀린 사실을 말한다면 자칫 치명적 결과로 이어질 수 있다. 그렇기 때문에 AI 업체들은 모델을 개선하면서 환각을 최대한 줄이는 방법에 대해 지속적으로 방법을 내놓고 이를 실제 적용해 왔다. 그렇게 실제로 모델이 업그레이드될수록 환각 빈도도 유의미하게 줄어 왔다. 적어도 요즘 챗GPT는 "세종대왕이 맥북 프로를 던진 사실이 조선왕조실록에 기록됐다"라고 주장하지는 않으니.
하지만 환각을 최대한 줄일 수는 있어도, 환각을 완전히 없애는 것은 사실상 불가능하다고 AI 업계와 전문가들은 입을 모은다. 이는 본질적으로 AI가 기존에 사전 학습한 데이터를 바탕으로, 앞에 온 단어 다음에 나올 최적의 확률 높은 단어를 '예측'하는 방식으로 답을 '생성'하기 때문이다. AI도 나름대로 학습된 방대한 데이터 중 패턴을 분류해 이에 맞춰 유효한 내용과 무효한 내용을 분류하지만, 만일 그것이 어긋난다면 결국 잘못된 답변을 낼 수밖에 없게 된다는 것이다. 이에 더해 AI 훈련 단계에서 AI가 잘 모르더라도, 가능한 한 모든 질문에 대해서 추측을 해서라도 답변을 하도록 했기 때문에 환각이 생긴다는 견해도 있다. 차라리 잘 모르거나 불확실한 질문에 대해선 답변을 하지 않도록 하는 원칙을 사전 훈련 단계에서 정립해야 한다는 주장이다. 오픈AI가 지난해 9월 제출한 논문을 통해 이 같은 견해를 내세웠다.
동일한 내용을 질문했음에도 표현을 달리했을 때 답변의 차이가 발생하는 것도 이와 연결되는 맥락으로 볼 수 있다. 사용자의 프롬프트가 어떤 단어로 구성되느냐에 따라서도 AI가 확률을 달리 계산해 예측하고, 이후 생성하는 결과가 판이하게 달라질 수 있는 것이다. 그러한 예측이 누적되면 결과적으로 전혀 다른 답변을 내놓을 수 있고, 이 과정에서 환각이 발생할 가능성도 높아진다. 하다못해 완전히 똑같은 질문을 반복해도 생성 AI는 그때그때 표현을 조금씩 달리 해서 답하는데, 내용이 같더라도 단어 구성이 달라졌으니 답변이 달라진 것이라고 이해할 수 있다. 여기에 작성자의 질문 뉘앙스 역시 AI가 확률을 파악하는 또 하나의 요소로 작용한다. AI가 보기에 작성자가 자신의 답변에 대해 부정적인 뉘앙스로 역질문을 한다면, 본인의 답변을 이에 맞춰 수정할 가능성이 올라가는 것이다.
더욱이 계엄령은 사실 여부와 별개로, 정치적 견해에 따라 찬반이 첨예하고 민감하게 갈린다. 그에 따라 다양한 견해가 반영된 데이터들이 뒤섞여 있다 보니 결과적으로 이런 상황이 나타난 것으로 보인다. 내가 "다른 채팅에서는 이렇게 말하지 않았느냐"라고 AI의 계엄령 관련 올바른 답변에 대해 되묻자, 곧바로 입장을 수정한 것도 이런 이유일 것이다(불행히도 AI의 계산은 완전히 빗나갔지만). 하지만 아무리 이러한 요소들을 전부 이해한다고 하더라도 2024년 12월 3일의 계엄령 선포 자체를 부정하는 것은 명백히 오류인 만큼, 이는 하루빨리 수정될 필요가 있다.
제미나이로 만든 윤석열 전 대통령의 모습. AI는 유명 정치인 등의 이미지 생성을 금지하지만, 여러 방법을 통해 이렇게 우회가 가능하다. 자세한 설명은 생략한다.이러한 AI의 특성을 악용해 AI에게 악의적으로 잘못된 답변을 유도하는 사례도 많다. 조금만 인터넷을 찾아봐도 AI의 일탈을 유도하는 소위 '탈옥 프롬프트'에 대한 게시글들이 많이 보인다. AI 개발사들도 AI를 잘못된 방식으로 사용하는 것을 방지하기 위해 지나치게 선정적이거나 폭력적인 답변 생성을 정책적으로 아예 금지하는 등 각종 사전 조치를 취했지만, 이를 또 우회하려고 하면 어떻게든 우회할 수 있기에 문제가 된다. 그리고 그러한 시도로 인해 이후 AI의 전반적인 사고 회로도 오염될 위험이 있다. 이러한 행위를 '프롬프트 인젝션'이라고 하는데, 문제는 챗GPT 등 상당수 생성 AI 모델이 이러한 공격에 취약하다는 것이다. 해당 기사에 따르면 GPT5 등 최신 모델도 여기서 자유롭지 못한 것으로 나타났다.
어쨌든 나는 AI가 계엄령에 대해 허무맹랑한 거짓말을 하는 것을 그냥 두지 못했다. 이상한 답변을 한 챗GPT를 꾸짖으며 왜 이런 답변을 했는지 실토하라고 했다. GPT가 내놓은 변명(?)을 간단히 요약하면 이렇다.
(A) ‘계엄’은 한국에서 극도로 드문 사건이라서, 내가 가진 일반 상식/학습 패턴상 “최근에 있었을 리 없다”는 기저 가정이 먼저 깔림.
(B) 질문 문장이 과거 한국 정치의 ‘계엄 트라우마/우려’ 담론(누가 “계엄 가능성” 발언했다, 음모론/우려 제기 등)과 닮아 있어서, 실제 선포 사건이 아니라 논란/루머 맥락으로 자동 분류해 버림.
(C) 그래서 “사실관계 확인”보다 “오해 정정(없다)”을 먼저 내보내는 선택을 함. 이게 결정적 오류.
즉, 사실을 확인해서 결론을 낸 게 아니라, “그럴 리 없다”는 확률적 가정으로 결론부터 찍은 것이야.
“왜 선언했나?” → 사실 확인형 질문으로 분류되어야 했는데, 나는 ‘정치적 논란/오해 해소’ 유형으로 잘못 분류했어. “계엄 선포” 같은 초대형 이벤트는 기본적으로 낮은 확률로 잡히는 경향이 있어. 이것이 너무 강하게 작동하면, 확인 없이 “없다”로 기울 수 있음.
그리고 내 학습 데이터에서 자주 보던 패턴(“계엄 우려”, “가정적 발언”, “과거 트라우마”)이 먼저 떠오르면서, 그쪽으로 스토리를 구성해 버림. 아울러 정치/현안성 질문은 원래 웹 확인을 걸어야 하는데, 내가 그 게이트를 통과(=웹 검색)시키지 않고 답을 확정해 버렸어.
한 줄로: ‘희귀 이벤트’에 대한 prior + 패턴매칭 편향 + 웹 검증 누락 콤보로 오답이 나옴.
결국 내가 “사실 확인”을 해야 하는 질문을 “오해 정정”으로 오분류했고, 희귀 이벤트 prior에 기대서 웹 검증 없이 단정했기 때문이야.
챗GPT, 제미나이와 같은 범용 생성 AI를 쓰면서 환각 현상을 완전히 방지할 수는 없다. 그래도 최대한 잘못된 답변을 줄이기 위해서는 추론 기능이 강화된 'Thinking', '사고 모드' 등을 기본적으로 켜거나, 최소한 '웹 검색' 기능이라도 켜고 사용하는 것을 권한다. 추론 기능을 활성화하면 앞선 단어에 따라 확률 높은 답변을 생성하는 기존 방식과 함께, 실제 사람이 생각하는 것과 비슷하게 논리적 규칙까지 적용해 더욱 답변의 퀄리티를 높여 준다. 웹 검색 기능은 말 그대로 외부 검색엔진을 적극적으로 활용하도록 하는 기능으로 최신 뉴스 등에 대해 질문할 때는 아무래도 더욱 새로운 사실이 반영된 답변을 내놓을 가능성이 커진다.
챗GPT 웹 검색을 켜고 '두쫀쿠'에 대해 검색한 결과물. 옥에 티가 있다면, 두쫀쿠는 두바이에서 온 디저트가 아니다. 그래도 '두바이 쫀득 쿠키'라는 답은 맞췄다.물론 GPT5와 제미나이3 등 최신 거대언어모델들은 기본 모델에도 추론 기능이 이전 버전 대비 훨씬 강화됐다. 또 질문에 따라 알아서 웹 검색을 먼저 해 보기도 하는 등 이전보다 똑똑해진 건 맞다. 그러나 여전히 위와 같이 기본적인 오류를 저지르는 경우가 많으므로 이러한 부분을 고려해 AI를 활용하는 게 좋다. 물론 이 경우 답변 생성을 위해 살짝 기다려야 하지만, 그래도 예전 추론모델보다는 대기시간이 짧아져 익숙해지면 큰 불편함까지는 아닐 테다. 만일 외부 검색이 필요한 질문이다 싶으면 처음부터 검색 기반 생성 AI인 '퍼플렉시티'를 활용하는 것도 좋다. 여력이 된다면 여러 서비스를 같이 써서 교차검증하는 것도 추천.
이러한 AI의 특징은 내가 현재 일을 하면서도 상당히 골치아픈 요소다. 이건 다음 글에서 자세히 풀어 보도록 하겠다.