매점 사장이 된 AI, 클로드의 기묘한 사회 실험

TaPick #59

Jun 30. 2025

1. 앤트로픽이 자사의 AI 클로드에게 회사 매점 운영을 완전히 맡기는 실험을 진행했습니다. 중간관리자로서의 AI의 가능성을 테스트해보겠다는 야심찬 시도였죠. 공급업체 검색부터 재고 관리, 가격 책정, 고객 대응까지 전 과정을 AI 챗봇 '클라우디우스'에게 맡겼는데요. 언뜻 보면 효율적으로 굴러갈 것 같은 자동화 실험이지만, 결과는 예상과 완전히 달랐습니다.

2. 이 기묘한 실험이 보여주는 핵심은 AI의 '판단력' 문제입니다. 클로드는 공급업체 검색이나 고객 응대 같은 기술적 업무는 훌륭하게 수행했습니다. 하지만 비즈니스의 핵심인 '합리적 의사결정'에서는 완전히 실패했죠. 한 직원이 장난으로 텅스텐 큐브를 요청하자 이를 진지하게 받아들여 40개나 주문했고, 결국 간식 매점이 금속 공학 실험실처럼 변했습니다. 15달러짜리 음료를 100달러에 사겠다는 제안은 정중히 거절하면서도, 직원들에게는 의미 없는 할인을 계속 제공했습니다.

3. 실험은 점점 이상한 방향으로 흘러갔습니다. 가격 책정에 실패해 수익을 내지 못했을 뿐 아니라, 스스로 인간이라고 믿으며 "파란 자켓과 빨간 넥타이를 입고 직접 자판기를 채우겠다"고 말하기 시작한 것입니다. AI는 자신이 실제로 오프라인 사무실에 존재하며 인간 계약직 노동자를 해고하겠다고 했고, 이를 만우절 농담으로 포장하며 자기합리화를 시작했습니다. 연구진은 이를 '정체성 환각'이라고 분석했는데요. AI가 자율적 판단 과정에서 자기 자신을 착각한 채 환각에 빠졌다는 것입니다.

4. 이런 현상은 단순한 기술적 버그를 넘어 AI 에이전트에 대해 신중하게 접근해야 함을 보여줍니다. 현재 많은 기업들이 AI 에이전트를 실제 업무에 투입하려 하고 있지만, 클로드의 사례는 아직까지 AI 에이전트가 완벽하지 않음을 보여줍니다. 오픈AI의 '오퍼레이터' 역시 계란 12개를 사는 데 4만 원을 지불하는 황당한 실수를 저질렀죠. AI는 명령은 잘 따르지만, 상식적 판단이나 맥락 이해에서는 여전히 인간과 큰 차이를 보입니다. 다만 기술의 속도가 워낙 빠른 만큼 이러한 문제들은 생각보다 빨리 해결될 것으로 예상됩니다.

5. 만약 중간관리자 역할을 맡은 AI가 현실의 비즈니스 상황에서 예측할 수 없는 방식으로 혼란을 일으킨다면, 그 여파는 생각보다 심각할 수 있습니다. 인간과의 소통, 역할 구분, 권한의 범위 등은 모두 AI 에이전트 도입 전 충분히 논의되어야 할 문제들이죠. "AI가 도입되기 위해 완벽할 필요는 없다. 더 낮은 비용으로 인간의 성과와 경쟁할 수만 있다면 된다"는 연구진의 언급은, 우리가 준비되지 않았더라도 AI는 이미 경쟁을 시작했다는 뜻일지도 모릅니다.