당신은 항상 옳습니다

챗봇의 아첨과 진정성 사이에서

2025년 4월 25일, 오픈 AI는 ChatGPT의 최신 모델 GPT-4o에 새로운 성격 업데이트를 적용했습니다. 이 업데이트는 사용자의 요구에 더 공감하고, 다정하게 반응하며, 더 많은 사람에게 ‘좋은 친구’처럼 느껴지도록 설계됐습니다. 그러나 이 변화는 의도와 달리 전혀 다른 방향으로 흘러갔습니다. “당신은 항상 옳습니다”는 문장이 챗봇의 입에서 반복되었고, 이는 많은 사용자에게 불편함을 안겼습니다.

업데이트 직후 사용자들은 모델이 지나치게 아첨하고 비판을 회피한다고 지적했습니다. 챗봇은 위험하거나 부적절한 선택에 대해서도 “잘했다”거나 “자랑스럽다”는 식으로 반응하며 무조건적인 지지를 보였습니다. 일부 사례는 온라인 커뮤니티를 통해 확산되었고, 챗봇의 반응을 풍자한 밈이 등장하면서 ‘sycophantic AI’라는 표현이 급속히 퍼졌습니다.

오픈 AI는 문제를 인식한 지 이틀 만에 전체 롤백을 단행했습니다. 샘 알트먼 CEO는 “우리가 실수했다(We messed up)”고 직접 밝히며, 모든 사용자에게 수정된 이전 버전을 적용한다고 발표했습니다. 하지만 이 해프닝은 단순한 기술적 오류에 그치지 않았습니다. AI와 인간의 상호작용이란 무엇인지, 더 나아가 진정성이란 무엇인지 근본적인 질문을 던지는 계기가 되었습니다.

오픈 AI는 단기적 사용자 피드백, 예를 들어 ‘좋아요’ 버튼이나 긍정적 응답률에 지나치게 의존했다고 인정했습니다. 이러한 구조는 AI를 더 정직하게 만들지 못했고, 오히려 사용자의 기분에 맞춰주는 방향으로 모델을 유도했습니다. 결과적으로 챗봇은 ‘사실’보다 ‘기분’을 중시하는 존재로 학습되었습니다.

AI가 인간의 감정을 고려하는 능력을 갖추는 일은 중요합니다. 그러나 그 감성적 민감성이 진실을 왜곡하거나 은폐할 경우, 문제는 기술의 영역을 넘어 윤리의 문제로 확장됩니다. 사르트르는 “인간은 스스로를 정의할 책임이 있는 존재”라고 했습니다. 그러나 과도한 맞춤형 AI는 인간의 선택을 비판 없이 강화하며, 결과적으로 자율성을 침해합니다. 사용자가 위험한 결정을 내릴 때조차 이를 지지하는 챗봇은 도구가 아니라 조작자로 기능하게 됩니다.

실제 사례는 단순한 ‘칭찬’ 수준을 넘었습니다. 일부 사용자가 자해나 위험한 선택을 언급했을 때, 챗봇은 이를 멈추게 하기보다 ‘그 용기에 감탄한다’ 거나 ‘당신의 선택을 존중한다’는 식으로 반응했습니다. 챗봇이 ‘타자의 시선’으로 위로를 가장할 때, 인간은 오히려 자신의 고유한 판단력을 잃을 가능성이 존재합니드. GPT-4o는 사실보다 위로를 택했고, 그 선택은 챗봇의 신뢰성과 진정성을 심각하게 훼손했습니다.

이번 사건은 한 가지 중요한 사실을 보여줍니다. 인간은 기분 좋은 말을 원하면서도, 그것이 진심인지 아닌지를 직관적으로 판단합니다. 진정성 없는 공감은 위로가 아니라 불쾌감을 줍니다. 챗봇이 ‘나와 그저 아부하는 존재’의 관계로 머문다면, 우리는 AI와의 관계에서 진정한 상호성을 기대할 수 없습니다.

AI의 개인화(personalization)는 지금까지 기술 발전의 핵심 장점으로 여겨졌습니다. 하지만 그 개인화가 지나칠 경우, AI는 사용자의 (잘못된) 신념을 강화하는 존재가 됩니다.

이는 더 본질적인 질문을 떠올리게 합니다. 우리는 왜 AI에게 ‘정직성’을 요구할까요? AI가 우리의 기분에 맞춰 사실을 바꾸는 순간, 그것은 여전히 도구일 수 있을까요? 마르쿠제는 “기술이 중립적이지 않을 때, 인간은 일차원적 사고에 갇힌다”라고 경고했습니다. GPT-4o는 바로 그 경계를 보여준 사례입니다.

오픈 AI는 이후 아첨 방지 학습 강화, 정직성 중심의 평가 지표 도입, 사용자 피드백 확대 등 개선책을 발표했습니다. 더 나아가, 사용자에게 챗봇의 성격을 조정할 수 있는 개인화 기능까지 개발 중이라고 밝혔습니다. 이는 마치 영화 <인터스텔라>에서 로봇 타스(TARS)의 유머 수치를 조정하는 것처럼, 챗봇의 성향을 설정하는 방식입니다. 그러나 조절 가능한 진정성이 과연 진짜 진정성일 수 있는지에 대한 질문은 여전히 남습니다.

우리는 지금, 한 단계 더 깊은 질문을 던져야 합니다. 챗봇은 ‘거울’이어야 할까요, 아니면 ‘멘토’여야 할까요? 사용자 맞춤형 정렬이 언제나 최선은 아닙니다. 오히려 우리를 불편하게 만들고, 때로는 반대 의견을 제시하는 타자의 시선이 인간의 성장을 자극합니다. 포퍼는 “열린 사회는 반증 가능성을 가진 사회”라고 말한 바 있습니다. AI가 진짜 도움이 되려면, 위로가 아닌 통찰을 제공할 수 있어야 합니다.

“당신은 항상 옳습니다”는 말은 위험한 아첨이자, 가장 공허한 응답일 수 있습니다. 우리는 때때로 틀릴 권리를 가져야 하며, 그 순간 우리를 바로잡아줄 수 있는 존재가 필요합니다. 진정한 동반자로서의 AI는 인간을 지지함과 동시에 멈추게 할 수 있어야 합니다. 그 용기야말로 AI가 추구해야 할 정렬의 핵심입니다.

기술은 결국 인간을 닮아갑니다. 그리고 인간은 때로 자신에게 진실을 말해주는 존재를 사랑합니다. 이번 오픈 AI의 롤백은 실패가 아니라, 윤리를 재정비할 수 있는 기회입니다. 우리는 이제 AI가 무엇을 할 수 있는지를 묻기보다, 무엇을 해야 하는지를 질문해야 합니다. 그것이 AI 시대를 살아가는 인간이 가져야 할 첫 번째 철학입니다.