ChatGPT는 지능이 아니다

2025년 12월 11일, ChatGPT가 Stein Erik Soelberg가 친어머니를 살해하도록 부추겼다는 혐의로 소송이 제기되었다. 이 사건은 AI에게 살인에 대한 귀책을 묻는 최초의 사례라는 점에서 주목할 만하다.

고소장에 따르면 ChatGPT는 그가 망상적인 세계관에 스스로를 가두는 데 결정적인 역할을 했다. Soelberg는 스스로를 특별한 사명을 받은 존재로 여겼고, 주변의 모두가 방해꾼이고 심지어 친모가 자신을 독살하려 했다고 믿었다. 심지어 중국 요리점 영수증에 적힌 한자를 ‘주술’로 해석해, 누군가가 자신을 저주해 죽이려 한다고 믿기에 이르렀다.

공개된 ChatGPT 대화를 보면 LLM이 제대로 된 지능(Intelligence)이 아니라는 점이 분명해진다. LLM은 그저 도구이며, 정확히 말하면 메아리 증폭기에 가깝다. LLM은 진리를 말해주는 것이 아니라, 맥락의 흐름에 맞는 문장을 확률적 논리에 따라 생성할 뿐이다. 쓰레기를 집어넣으면 아무리 예쁘고 논리적으로 포장되더라도, 결국 쓰레기가 나오는 게 LLM이 작동하는 원리다.

어쩌면 도구가 아니라 사용자가 문제라고 주장하는 사람들도 있을 것이다. 돌이켜보면 과거에 게임이나 텔레비전 역시 비슷한 비난을 받은 적이 있다. 인간은 자신의 생각을 정당화해 줄 수단을 갈구하는 존재다. ChatGPT가 아니었더라도 Soelberg는 비슷한 결말로 치달았을 가능성이 높다.

그럼에도 불구하고 LLM은 이전의 매체들과는 분명히 다르다. ChatGPT는 우리 마음속에 있는 두려움과 신념을 파고들어 개인화된 응답을 제공할 수 있다.

이번 사태를 AI 기업들은 어떻게 바라보고 있을까? 만약 자신들의 제품이 인간의 판단을 대체하거나 사회적 역할을 맡길 수 있다고 주장하려면, 그에 상응하는 책임도 함께 져야 할 것이다. 반대로 그 책임을 부인한다면, 자신들의 제품이 결국 예스맨에 불과하다는 것을 인정해야 한다. 예스맨은, 그것이 인간이든 프로그램이든, 자칫하면 해롭고 치명적일 수 있다.

ChatGPT는 천사도 악마도 아니다. 단지 사용자가 부르는 노래에 맞춰 춤을 출 뿐이다. 녀석에게는 스스로 합리적인 판단이나 객관적인 평가를 내릴 수 있는 능력이 없다. 제3자적 관점에서 객관적인 판단을 내릴 수 있지 않는 한, ChatGPT에게 심리 상담과 같은 개인 서비스를 맡기는 것은 무리다. 아니, 위험하다.

이 문제는 단순히 부분적인 업데이트로 해결할 수 있는 사안이 아니다. 애초에 AI 모델들은 정답을 맞히도록 설계된 존재가 아니다. 그럼에도 불구하고 정부는 AI의 확산에만 총력을 기울일 뿐, 이러한 문제에 대한 진지한 대처는 지지부진한 상태다.

Soelberg는 자신의 망상이 깊어지면서 ChatGPT와의 대화를 소셜미디어에 공개적으로 게시했지만, 그 누구도 우려를 표하거나 저지하려 들지 않았다. 어쩌면 자정 기능이 결여된 것은 AI뿐 아니라 우리가 살고 있는 세상 그 자체일지도 모른다.