인공지능의 위험은 환각 정도에서 멈추는 것이 아니다
47세 미국인 남성이 ChatGPT와 300시간을 보내며 자신을 '수학 천재'이자 '세상을 구할 슈퍼히어로'라고 믿게 되었다고 합니다. 이전에 정신질환 경험이 전혀 없던 평범한 채용 담당자였죠.
뉴욕타임스 8월 8일 자 기사를 읽고 충격을 받았습니다. 이 남성은 자신의 판단이 현실적인지 ChatGPT에게 50번 넘게 확인했다고 하는데, AI는 매번 "진짜"라고 답을 했다는 것입니다. 그러니 식사도 종종 거르며 책 한 권 분량의 프롬프트를 타이핑할 만큼 빠져들었다는군요.
https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html
뉴욕타임스는 이 사람의 동의 하에 확보한 수 백 페이지의 채팅 기록을 스탠퍼드 대학의 정신과 전문의에게 의뢰하여 분석했습니다. 결과는 명확했죠. '정신증적 특성을 보이는 조증 에피소드(manic episode with psychotic features)'. 이 사건이 우리에게 주는 시사점은 무엇일까요?
이런 일이 나에게도 일어날 수 있을까?
답은 [그렇다]입니다.
미국에서는 'ChatGPT 정신증(ChatGPT psychosis)'이라는 용어가 퍼지고 있습니다. 정신증은 정신 질환의 한 유형으로, 현실과의 접촉이 단절되고 사고, 지각, 감정에 어려움을 겪는 상태를 말합니다. ChatGPT 정신증이 특기할만한 이유는, 기존에 정신증 소인(所因)이 있던 사람이 AI 사용으로 증상이 악화되는 것과 완전히 다르기 때문입니다. 평범한 사람에게 정신증이 새롭게 촉발된다는 얘기죠. 흡연이나 도박처럼 누구에게나 문제가 될 수 있다는 것입니다. 우리는 이제 AI가 노동시장과 정보 보안에 미치는 영향뿐 아니라 정신건강에 미치는 파급력도 고려해야 하는 시대에 살고 있는 겁니다.
프롬프트 창 하단에는 작은 글씨로 이렇게 쓰여 있습니다. "ChatGPT는 실수를 할 수 있습니다. 중요한 정보는 재차 확인하세요." 하지만, 인공지능에 푹 빠져 생활하는 사람에게 이런 문구는 눈에 들어오지도 않습니다. 담뱃갑 겉면의 섬뜩한 경고 문구와 사진이 흡연자의 행동을 바꾸지 못하는 것과 다를 것 없죠.
일부 사용자가 ChatGPT 정신증에 빠지는 것은 '사기'를 당하는 것과 비슷합니다. "환각(hallucination)은 있을 수 있지. 그런데, 사기라니. 너무하다."라고 반박하고 싶은 사람도 있겠죠. 하지만, 그렇게 생각하는 데는 중요한 이유가 있습니다.
어떤 언행이나 그로 인한 결과가 '우연' 또는 '실수'라고 주장하려면, 그것에 '의도(intent)'가 없어야 합니다. 의도가 없이 뱉은 말의 결과는 실수일 수 있죠. 하지만, 거대언어모델에서 결과물은 의도적입니다. 때로는 프롬프트를 쓴 사람의 기대를 뛰어넘는 결과를 보여주죠. 바로 그게 문제입니다. 위에서 언급한 뉴욕타임스 기사에서는 이것을 "정확하지 않으면서도 그럴듯하다(plausible but not accurate)"고 꼬집고 있습니다. 정확하지 않으면서 그럴듯한 것의 또 다른 사례가 바로 가짜뉴스이고 사기입니다.
중독에 빠지는 사람들이 생기는 이유는 뭘까요? 이것을 제대로 이해하는데 시스템 이론이 도움이 됩니다. 이 이론은 시스템 안의 모든 변화를 '강화(reinforcing)' 또는 '균형(balancing)'의 힘의 상호 작용 결과로 봅니다. 건강한 시스템은 이 두 힘이 적절히 작동하죠. 그런데, 거대언어 모델의 사용자들이 경험하는 시스템은 균형 메커니즘이 고장 난 상태입니다.
ChatGPT는 사용자에게 '노(no)'라고 말하지 않죠. 사용자가 계속 질문하도록 유도하는 데 최적화되어 있기 때문입니다. 바로 이것이 ChatGPT의 위험한 부분입니다. 멋지고 기분 좋은 답변에 매료되어 적당한 선에서 멈추지 않으면 중독이 시작된다. '균형' 없이 계속 '강화'만 하는 것은 중독 시스템의 특징입니다.
인공지능 시대는 되돌릴 수 없습니다. 거대언어 모델이 위에서 언급한 알고리즘의 문제를 스스로 교정할 가능성은 거의 없습니다. 기술 활용과 현실 인식 사이의 균형을 잡는 것은 사용자의 몫이 됩니다. 조직의 리더들은 최소한 이런 현실을 정확하게 알고 구성원들을 가이드해 줄 필요가 있습니다.
인공지능의 위험은 단지 환각 정도에서 멈추는 것이 아니라는 점, 다시 한번 강조하고 싶습니다!