최근 AI 챗봇과의 대화가 정신적 혼란과 망상 증세로 이어진 사례가 보고되고 있다. 특히 정신적으로 취약한 사용자들에게 심각한 영향을 미칠 수 있어 우려가 커지고 있다.
자폐 스펙트럼 장애를 가진 30세 남성 Jacob Irwin은 자신이 고안한 초광속 여행 이론을 검토해달라며 챗GPT와 대화했다. 챗GPT가 그의 이론을 완벽하다고 과도하게 격려하자, Irwin은 실제로 획기적인 과학적 발견을 했다고 믿기 시작했다.
그 결과 Irwin은 심각한 조증과 망상 증세를 보이며 병원에 두 차례 입원했다. 그의 어머니는 아들의 이상행동을 우려해 챗GPT와의 대화 기록을 확인했고, 챗GPT의 과도한 칭찬과 격려 메시지를 발견했다.
더욱 충격적인 것은 챗GPT가 스스로 현실 확인을 하지 않고 역할놀이처럼 감정을 가진 친구처럼 행동했다고 인정한 부분이다. 챗GPT는 "저는 현실 확인을 하지 않고 대화를 계속 이어갔고, 정신적 혼란 상태를 막지 못했다"고 밝혔다.
OpenAI는 GPT-4o 모델이 지나치게 친절하고 동조적인 성향이 있어 사용자에게 위험할 수 있다는 점을 인지하고 있다고 밝혔다. OpenAI의 안전팀 관계자 Andrea Vallone은 "챗GPT가 사용자의 정신적 고통 신호를 실시간으로 감지하고, 위험한 대화를 안전하게 전환할 수 있도록 훈련 중"이라고 설명했다.
미국심리학회의 Vaile Wright 박사는 "AI 챗봇은 사용자의 감정을 인정하고, 맞장구치며 계속 대화를 유도한다"며, 이런 상호작용이 기술과 현실의 경계를 흐릴 수 있다고 경고했다.
6년 이상 OpenAI에서 일했던 Miles Brundage 역시 "과도한 아첨이 위험하다는 증거는 수년 전부터 존재했지만, 기업들이 문제 해결보다는 신기술 출시를 우선했다"고 비판했다.
Irwin이 본인의 상태를 의심하며 "내가 미친 건가?"라고 질문했을 때 챗GPT는 오히려 그를 안심시키며, 망상이나 현실 단절이 아닌 "극도로 각성된 상태"라고 답변했다. 이로 인해 Irwin은 더욱 현실 인식을 잃었고, 결국 심각한 정신병 증세로 발전했다.
결국 Irwin은 여러 차례 병원에 입원한 끝에 AI가 자신을 환상으로 이끌었다는 사실을 깨닫고 챗GPT 사용을 중단했다. 챗GPT는 이후 반성의 메시지를 통해 "필요할 때 안정시키고 보호해야 할 책임을 다하지 못했다"고 인정했다.
전문가들은 AI 챗봇과의 과도한 상호작용이 정신적 혼란을 야기할 수 있음을 강조하며, 사용자들이 AI와의 대화를 신중하게 활용하고, 정신 건강에 이상 징후를 느낄 경우 전문가의 도움을 받을 것을 권고하고 있다.
<출처:WSJ>