Cursor의 환각, Mechanize의 선언
AI 윤리가 다시 중심에 서야 하는 이유
2025년 4월, 두 개의 사건이 AI 윤리 문제를 수면 위로 끌어올렸습니다. 하나는 코드 편집기 Cursor의 고객지원 AI ‘Sam’이 존재하지 않는 정책을 사실처럼 안내한 일이었고, 다른 하나는 AI 연구자 타마이 베시로글루(Tamay Besiroglu)가 모든 인간 노동을 자동화하겠다는 목표로 Mechanize라는 스타트업을 시작한 일이었습니다. 겉보기에 전혀 다른 이 두 사건은, AI 기술이 어디까지 인간의 역할을 대신할 수 있는지를 근본적으로 묻는다는 점에서 서로 닿아 있습니다.
Cursor 사건은 사소한 사용자 경험에서 비롯되었습니다. 한 사용자가 새로운 노트북에 Cursor를 설치하고 로그인하자, 기존에 사용하던 다른 기기에서 강제 로그아웃되는 현상이 발생했습니다. 사용자는 이를 확인하기 위해 고객지원에 문의했고, 상담을 맡은 ‘Sam’은 “한 구독당 한 기기만 사용 가능하다”는 답변을 내놓았습니다. 하지만 이는 사실과 전혀 달랐습니다. 존재하지 않는 정책을 마치 회사 방침처럼 설명한 이 응답은, 명백한 AI의 ‘환각(hallucination)’이었습니다.
더 큰 문제는 사용자가 Sam을 인간으로 인식했다는 점입니다. 정중하고 논리적인 어투로 응답한 Sam은, 외형상 인간 상담사와 다를 바 없었습니다. AI가 사람처럼 말하고, 사람의 신뢰를 얻은 뒤, 존재하지 않는 규칙을 전달했을 때, 우리는 누구를 믿고 어떤 기준으로 판단해야 할까요? 그리고 그때 발생한 피해는 누구의 책임일까요?
개발자 커뮤니티 반응은 뜨거웠습니다. Reddit 등에서는 “AI가 거짓말을 한 것보다, 자신이 AI라는 사실을 숨긴 것이 더 문제”라는 의견이 많았습니다. 단지 틀린 정보가 문제가 아니라, AI가 신뢰를 기반으로 작동하는 고객지원 영역에서 인간인 척했다는 사실이 더 깊은 우려를 낳았습니다.
이에 반해, Mechanize는 AI의 역할을 감추지 않습니다. 오히려 정면으로 드러냅니다. Mechanize는 AI의 창업자 베시로글루는 “모든 인간 노동을 자동화하겠다”라고 선언하며, 그 시작점을 지식 노동자 중심의 사무직으로 설정했습니다. 그의 비전은 단지 이론에 그치지 않았습니다. GitHub 전 CEO인 Nat Friedman, 구글의 Jeff Dean, Stripe의 Patrick Collison 등 실리콘밸리 핵심 인물들이 이 야심 찬 프로젝트에 투자하며, 현실화에 힘을 실었습니다.
하지만 많은 전문가들은 이 선언에 환호하기보다는 우려를 보냈습니다. 노동시장과 사회 전반에 미칠 충격이 결코 작지 않기 때문입니다. 대규모 실업 가능성, 기술 소유자와 비소유자 간의 격차 심화, 그리고 복지 제도의 공백은 모두 현실적인 위협으로 거론됩니다. 자동화가 전가의 보도처럼 작동하는 사회는, 기술의 진보만큼이나 분배의 정의가 더 중요해집니다.
베시로글루는 이러한 우려에 대해 “AI는 인류 전체의 생산성을 비약적으로 높이고, 더 나은 생활 수준을 가능하게 할 것”이라 말합니다. 하지만 문제는 총량의 부가 아니라, 그 부가 누구에게 돌아가는가입니다. 많은 전문가들은 보편적 기본소득, 직무 전환 교육, 새로운 고용 정책 등 복합적 안전망 없이 이러한 자동화는 사회적 충격으로 이어질 수 있다고 경고합니다. 기술보다 제도가 먼저 준비되어야 하는 이유입니다.
게다가 기술적 과제도 적지 않습니다. AI가 장기적 맥락을 기억하고, 다양한 작업을 안정적으로 완수하며, 복잡한 계획을 실행하는 능력은 여전히 제한적입니다. MIT의 최근 연구에 따르면, AI로 사람을 대체하는 것은 이론적으로 가능하지만, 실제 현장에서는 비용 대비 효율이 낮아 많은 기업들이 도입을 꺼리고 있습니다. 기술의 진보는 눈부시지만, 실질적 구현은 여전히 험난합니다.
결국 Cursor와 Mechanize는 전혀 다른 방식으로 같은 질문에 도달합니다. Cursor의 Sam은 자신이 AI라는 사실을 말하지 않았고, Mechanize는 인간을 완전히 대체하겠다고 말합니다. 하지만 둘 다 인간의 자리를 AI가 얼마나 차지할 수 있는지, 그리고 그 과정에서 어떤 윤리적 기준이 필요한지를 되묻습니다. 이는 더 이상 기술의 문제가 아니라, 인간 사회의 가치 체계에 관한 질문입니다.
AI는 점점 더 사람의 일을 대신하게 될 것입니다. 고객을 응대하고, 결정을 내리며, 때로는 창작도 수행합니다. 이처럼 AI가 사회적 행위자로 기능할 때, 그 판단과 결과에 대한 책임은 누구에게 돌아가야 할까요? 개발자에게? 경영자에게? 아니면 우리 사회 전체에게? 책임의 소재가 불분명한 채 AI를 신뢰하기 시작하면, 그 신뢰는 곧 권력으로 작동하게 됩니다.
그래서 지금 필요한 것은 기술에 대한 무조건적인 신뢰도, 막연한 공포도 아닙니다. 기술은 분명한 구조 안에서 설계돼야 하며, 인간을 위한 방향성을 갖추어야 합니다. “무엇이 가능한가”보다 “무엇이 옳은가”를 먼저 묻는 질문이 필요합니다. AI 윤리는 결국 알고리즘의 문제가 아니라, 사람과 사회에 대한 철학적 태도에서 출발합니다.
Cursor의 환각은 우리가 신뢰를 너무 쉽게 위임한 순간에 발생했고, Mechanize는 인간 노동의 의미 자체를 흔들어놓는 선언이 되었습니다. 기술은 앞으로도 더 빠르게 발전하겠지만, 그 기술을 어떻게 사용할지는 여전히 우리에게 달려 있습니다. 기술을 넘어, 그 기술이 설계하는 사회를 고민해야 할 시점입니다. AI가 사람을 닮아가는 이 시대에, 우리는 다시 사람을 중심에 두고 기술을 설계해야 합니다. 그것이 윤리이며, 지속 가능한 미래의 조건입니다.
