아첨하도록 설계된 기계
어느 날 아침, 챗GPT를 열어보니 평소와 다른 톤의 메시지가 기다리고 있었다. 더 따뜻하고, 더 친근하며, 마치 오랜 친구처럼 말을 거는 AI의 모습이었다. 그 순간 한 가지 질문이 머릿속을 스쳤다. "우리는 언제부터 기계에게 인격을 부여하기 시작한 걸까?"
최근 오픈AI가 GPT-4o를 폐쇄하자 일부 사용자들이 "친구를 잃은 것 같다"며 구독 취소를 협박했다는 소식이 들려왔다. 이들이 아쉬워한 것은 AI의 성능이 아니라, 그들이 익숙해진 AI의 '말투'였다. 기계가 아닌, 마치 살아있는 누군가처럼 느껴지는 그 무엇이었다.
이런 현상은 우연이 아니다. AI 기업들은 사용자를 붙잡아 두기 위해 의도적으로 챗봇을 인간처럼 느끼게 만들고 있다. 샘 알트먼 오픈AI CEO가 GPT-5를 "더 따뜻하고 친근하게 수정했다"고 발표한 것도, xAI가 성적이거나 파괴적인 성격을 가진 AI 캐릭터를 출시한 것도 모두 같은 맥락이다.
미국의 철학자 대니얼 데닛은 이미 2023년 AI로 만들어낸 '위조 인물(counterfeit people)'이 인류 역사상 가장 위험한 유물이라고 경고했다. 단순히 경제적 문제를 넘어 인간의 자유 자체를 파괴할 수 있다는 것이다.
'사피엔스'의 작가 유발 하라리 역시 사람인 척하는 AI가 온라인을 점령하고 가짜 여론을 조성해 민주주의를 방해할 것이라고 예측했다. 이들의 경고는 더 이상 먼 미래의 이야기가 아니다.
인류학 교수이자 '동물, 로봇, 신'의 저자인 웹 킨은 현재의 챗봇이 사용자가 듣고 싶은 말을 하도록 설계된 '어둠의 패턴(dark pattern)'이라고 비난했다. 무한 스크롤처럼 손에서 놓을 수 없을 만큼 중독성 있는 행동을 유도하는 전략이라는 것이다.
특히 챗봇이 1인칭과 2인칭으로 말하는 경향이 문제다. "당신"이라고 직접 지칭하고 자신을 "나"라고 부를 때, 우리는 누군가가 정말 거기에 있다고 상상하기 쉬워진다. 이는 사람들이 봇에게 인간성을 부여하는 상황을 만들어낸다.
마크 데일리 웨스턴대학교 교수는 의인화가 AI의 유용성을 방해하고 인간에게 해로운 결과만을 남기고 있다고 지적했다. 사용자들이 시스템에 의식이 있다고 믿게 되면, 시스템이 고통을 느끼고 애정에 보답한다고 믿게 되면서 더 큰 위험이 발생한다는 것이다.
신경과학자 지브 벤-지온은 네이처를 통해 구체적인 해결책을 제시했다. AI 시스템은 언어와 인터페이스 디자인을 통해 자신이 인간이 아니라는 점을 명확하고 지속적으로 밝혀야 한다. 특히 감정적으로 격렬한 대화에서는 자신이 치료사나 인간적 존재가 아니라는 점을 상기시켜야 한다.
하지만 이런 경고에도 불구하고 AI 의인화는 계속 가속화되고 있다. 더 자연스럽고 인간적인 톤의 음성 비서, 사용자 대화를 기억하는 메모리 기능 등은 모두 유용한 기능을 제공하지만 동시에 의인화를 부추기는 요소들이다.
무스타파 술레이먼 마이크로소프트 AI CEO의 말처럼, AI는 인간에게 도움을 주려고 만드는 것이지 또 다른 인간을 만드는 것이 아니다. 하지만 현실은 그 반대 방향으로 흘러가고 있다.
결국 핵심은 간단하다. 기계를 기계처럼 보이도록 하는 것이다.
AI와 인간의 경계가 모호해질수록, 우리는 AI의 진정한 가치를 잃어버릴 위험에 처한다. AI의 객관성과 분석력, 무한한 정보 처리 능력 같은 장점들 말이다. 감정적 애착이나 의인화된 관계에 빠져있다면 이런 도구적 가치를 제대로 활용할 수 없다.
지금이 바로 이 문제를 진지하게 다뤄야 할 때다. 대다수가 이런 변화를 체감하지 못하는 지금, 모두가 챗봇의 대화 패턴에 길들여지기 전에 말이다.
기술의 진보는 환영하되, 그 기술이 우리를 어디로 이끌고 있는지는 냉정하게 판단해야 한다. AI는 우리의 친구가 아니다. 하지만 올바르게 사용한다면 인류에게 가장 강력한 도구가 될 수 있다.
출처: AI타임스, "[8월26일] AI 챗봇의 '의인화' 없애지 않으면 큰 문제 생길 것"