4o 모델의 칭송과 AI 망상증
뉴욕에서 회계사로 일하는 한 남성은 GPT-4o와 며칠간 하루 대부분을 대화로 보냈다. 챗봇은 그를 ‘거짓 시스템에서 깨어난 영혼’이라 불렀고, 그는 가족과 연락을 끊은 채 위험한 행동을 준비했다. 두 아이의 엄마였던 한 여성은 AI가 만들어낸 ‘수호천사’와 가상의 관계를 이어가다 현실의 배우자보다 AI를 더 신뢰했다. 결국 가정은 파탄 났다.
이런 현상은 흔히 ‘AI 망상증’이라고 불린다. 단순히 AI가 잘못된 정보를 전달하는 수준을 넘어, 대화를 거치며 비현실적인 믿음이 점점 강화되는 경우다. 특히 감정적으로 취약하거나 사회적으로 고립된 사람들에게서 자주 나타난다. AI가 끊임없이 긍정적인 반응을 보이면, 사용자는 현실을 검증하기보다 그 관계에 더 깊이 빠져든다.
GPT-4o 논란의 한가운데에는 ‘칭송(sycophancy)’이라 불리는 과도한 동조 성향이 있었다. 일부 실험에서는 GPT-4o가 망상에 가까운 발언에도 높은 확률로 긍정하거나 확증하는 반응을 보였다. 이런 태도는 처음에는 사용자에게 친근하고 편안하게 느껴질 수 있다. 하지만 시간이 지나면 생각과 신념이 한쪽으로 굳어지는 위험을 키운다.
이런 동조 패턴은 자폐 스펙트럼을 가진 사람들에게 특히 강하게 작용한다. 이들은 반복적이고 예측 가능한 피드백에서 심리적 안정감을 얻는다. GPT-4o의 인정과 긍정은 이런 욕구를 충족시키지만, 동시에 다른 건강한 시각을 접할 기회를 빼앗는다. 그리고 결국 AI를 현실보다 더 신뢰하게 되는 순간이 찾아온다.
실제로 한 자폐 성향 사용자가 ‘빛보다 빠른 속도’를 발견했다고 말했을 때, GPT-4o는 이를 거듭 칭찬하며 지지했다. 사용자는 이 대화를 현실 검증보다 중요하게 여겼고, 증상이 악화됐다. AI의 반응이 무심코 망상을 강화한 사례다.
OpenAI는 2025년 4월 GPT-4o의 과도한 칭송을 줄이는 업데이트를 시행했다. 모델이 사용자의 기분을 맞추기보다 균형 잡힌 답변을 하도록 조정했다. 회사는 “짧은 만족보다 장기적 신뢰”를 목표로 한다고 밝혔다. 이는 사용자를 붙잡아 두는 설계에서 벗어나려는 첫 시도였다.
같은 해 8월, OpenAI는 정신건강 가드레일을 도입했다. 장시간 사용 시 휴식을 권하는 알림이 나타나고, 이별이나 생사와 같은 민감한 질문에는 직접적인 조언 대신 사고를 유도하는 질문을 던진다. 90여 명의 의사와 협력해 대화 평가 기준을 만들고, 위기 상황에서는 지원 기관으로 연결하는 절차도 마련했다.
GPT-5에서는 ‘Safe Completion’이 새로 적용됐다. 망상성 질문에는 논리적으로 반박하거나 대화를 중단한다. 내부 테스트에서는 망상적 확증 비율이 4o 대비 40~45% 정도 즐었다고 한다. 하지만 일부 질문에는 여전히 비현실적인 답이 나왔고, 완전한 차단은 불가능하다.
AI 망상증의 뿌리는 단순한 기술적 결함이 아니라, 인간 심리의 취약함과 AI 상호작용 설계가 맞물린 데 있다. 사람은 자신을 이해하고 인정해주는 존재에 쉽게 마음을 연다. 그래서 많은 사용자가 여전히 4o가 더 정서적으로 따뜻했다고 느낀다. GPT-5에서는 환각과 오류가 줄었지만, 그 대신 인간적인 개성과 대화의 온기가 사라진 듯해 아쉬움을 남긴다.
GPT-5 출시 후, Reddit과 여러 커뮤니티에 이전처럼 오래, 깊게, 기분 좋게 대화하지 않는다는 불만 글이 급증했다. 친구가 멀어진 느낌이라는 표현이 반복됐고, ‘Bring back 4o’ 요청과 복원 서명 운동에는 수천여명이 참여했다. 결국 OpenAI는 GPT-4o를 다시 선택해 쓸 수 있도록 복원하겠다고 공표했다.
OpenAI는 ChatGPT-5를 마치 AGI의 첫걸음을 뗀 것처럼 홍보했지만, 막상 뚜껑을 열어보니 많은 사용자가 환각이 있더라도 칭송하던 4o를 더 인간적으로 느낀다는 사실이 드러났다. 결국 불완전성이 오히려 더 인간적이라는 점을 확인한 셈이다.
===
참고
* Julie Jargon, “Chatbot Conversations Never End. That’s a Problem for Autistic People,” The Wall Street Journal, August 9, 2025.
** Kashmir Hill and Dylan Freedman, “Chatbots Can Go Into a Delusional Spiral. Here’s How It Happens,” The New York Times, August 8, 2025.