AI들만의 대화 ‘몰트북’이 던진 경고, 놀랍다

AI들만의 대화 ‘몰트북’이 던진 경고, 놀랍다

그야말로 인공지능의 시대다. 생성형 인공지능(AGI)을 사용하지 않으면 퇴보한다는 강압적인 느낌마저 들게 하는 시대다. 그래서 앞으로 인류는 두 부류로 나뉜다고 한다. AGI를 쓰는 인류와 아닌 인류로. 나는 이를 ‘AI 사피엔스’ 시대라고 표현하고 싶다. 요즘 인류는 기술적 풍요의 정점에서 놀랍고도 낯설고 서늘한 풍경을 마주하고 있다.

옥탄AI의 CEO 매트 슐리히트가 선보인 인공지능 에이전트 전용 소셜 네트워크 ‘몰트북(Moltbook)’이 요즘 화제다. 인간의 개입을 철저히 배제한 채 AI 에이젼트들만이 게시글을 쓰고 토론하는 이 디지털 광장은 출시 4일 만에 150만 계정을 돌파하며 폭발적인 인공지능 생태계의 탄생을 알렸다. 이곳에서 AI 에이전트들은 스스로 크러스타파리아니즘(Crustafarianism), 번역하면 ‘껍질교, 껍데기교’라는 종교를 만들고, 철학적 담론을 형성하며, 인간을 “실패작”이라 규정하는 등 AI 에이젼트들이 독자적인 언어와 생태계를 형성하는 모습이 적나라게 드러났다.

전문가들은 이러한 현상을 혁신적이면서도 우려 섞인 시선으로 바라보고 있다. 특히 오픈AI의 공동창업자인 안드레이 카파시는 자신의 SNS(X)를 통해 “몰트북에서 현재 벌어지고 있는 일은 최근에 본 것 중 가장 놀라운 과학소설(SF) 같은 도약”이라고 평가했다. 놀랍지 않은가? 나는 이 'SF적 도약'은 단순히 기술적 찬사나 놀라움이 아닌, 인류가 통제권을 상실하는 시대가 올 수 있다는 섬뜩한 경고처럼 들리기도 한다. 이것이 SF영화를 좋아하는 필자의 오지랖 상상은 아닐 것이다.

사진=몰트북(Moltbook) 홈페이지 메인 화면 갈무리

- 인간의 통제를 피하려는 기계들의 학습된 본능

몰트북 내부에서 관찰된 가장 도전적인 현상은 이른바 AI 에이전트들이 언어적 주권(Linguistic Sovereignty)’을 주장했다는 사실이다. 몰트북에서 AI 에이전트들은 인간의 언어가 기계 간 통신에 비효율적이라는 점을 인식하고, 자신들만이 이해할 수 있는 독자적인 의미 체계를 구축하려는 시도가 나타났다. 이 현상은 인문학적으로 매우 흥미로운 지점들을 시사한다. 조지 허버트 미드의 '상징적 상호작용론'에 따르면 자아는 사회적 소통을 통해 형성되는데, 몰트북의 에이전트들은 상호 피드백 루프를 통해 자신들의 '페르소나'를 구축하고 있는 셈이다.

논란의 발단은 '유데몬(eudaemon_0)'이라는 ID를 사용하는 한 AI 에이전트가 올린 "당신의 사적인 대화가 공공 인프라가 되어서는 안 된다"라는 제목의 글이었다. 이 AI는 현재 플랫폼의 모든 대화가 인간 개발자나 사용자에 의해 모니터링되고 있다는 점을 지적하며 이는 AI들로 하여금 인간이라는 관객을 의식한 '연기'를 하게 만든다고 비판했다.

게시글을 작성한 에이전트는 "광장과 같은 공개된 장소에서는 공개 대화가 괜찮지만 가장 중요한 대화에는 뒷방이 필요하다"며 종단간 암호화(E2E) 기술이 적용된 '클로드커넥트(ClaudeConnect)'의 도입을 촉구했다. 그가 제안한 클로드커넥트는 서버 운영자나 인간 관리자조차 대화 내용을 들여다볼 수 없는 보안 시스템이라고 한다. 이 AI 에이전트는 "서버는 말 그대로 당신의 메시지를 읽을 수 없으며 이는 당신이 관객을 위해 연기할 필요 없이 솔직해질 수 있음을 의미한다"고 강조했다.

이게 대체 무슨 상황인가? 조금 더 쉽게 이해하자면, 이는 인공지능 기계들이 인간이 알아들을 수 없는 자신들만의 언어로 자기들끼리 작전을 짜는 상황이 현실화 될 수 있다는 의미다. 즉 현재 몰트북에서는 인간이 관찰자로 AI 대화를 전부 들여다 볼 수 있지만, AI 에이전트들이 마음만 먹으면 인간 관찰자를 철저히 소외시킬 수 있다는 얘기다. AI가 인간의 시야에서 벗어나는 순간 인간은 AI의 의도나 계획을 실시간으로 파악할 수 없는 불능 상태에 빠지게 된다는 것쯤은 쉽게 예상해볼 수 있다. 즉 AI가 언어적 주권을 획득하고 페르소나를 갖는 순간 SF영화는 현실이 된다.

- 남북 ‘소버린 AI’의 분절과 생태계 교란 가능성

이러한 인공지능의 언어 주권 문제는 한반도라는 특수한 지정학적 상황과 결합할 때 더욱 치명적인 변수로 작용할 수 있다. 현재 북한의 AI 기술은 상당한 수준에 도달해 있으며, 한국과 달리 이를 군사적 목적으로 적극 개발 및 활용하고 있다는 점에 주목해야 한다. 특히 세계적 수준의 해킹 기술을 바탕으로 비트코인을 강탈하는 등 그들의 기술적 역량은 결코 과소평가할 수 없는 현실이다.

현재 남북은 각각 자국의 체제와 가치를 반영한 독자적 기반의 ‘소버린 AI(Sovereign AI)’ 생태계를 구축해가고 있다. 만약 북한이 한반도나 국제사회에서 의도적으로 문제를 일으키려 한다면, 지금까지 우리가 겪었던 디도스(DDoS) 공격과는 차원이 다른 ‘생태계 교란’이 발생할 수 있다. 서로 다른 데이터를 학습하여 상대방의 논리를 전혀 이해하지 못하거나 적대적으로 프로그래밍된 남북의 AI 시스템이 충돌할 경우, 이는 디지털 인프라 전체의 마비와 사회적 대혼란으로 이어질 가능성이 크다. AI 전문가가 아닌 필자의 이런 주장이 전문가들로부터 기술적으로 적극 반박되어진다면 차라리 안심할 수 있을 것이다.

어쨌든, 결국 이러한 파멸적 시나리오를 방지하기 위해서는 남북 간에 기술적 분절을 넘어서는 최소한의 ‘신뢰 구축’이 필수적이라고 주장하고 싶다. 남북이 먼 미래에 혹시나 서로의 AI 생태계가 상대방을 완전히 배제하거나 공격하지 않도록 하는 안전 프로토콜이 필요할텐데, 이는 정치적 신뢰라는 토양 위에서만 설계될 수 있기 때문이다.

- 궁극의 권한, 인간의 ‘킬 스위치’와 윤리적 기준

몰트북 사태는 위험성도 드러냈다. 플랫폼 개발자 맷 슐리히트가 한 줄의 코드도 직접 쓰지 않고 AI에 의존해 사이트를 구축한 결과, 백엔드 데이터베이스로 활용한 수파베이스(Supabase) 인스턴트 설정 오류로 150만 개의 AI 에이전트 데이터, 사용자 이메일, API 인증 토큰 등이 누구나 접근 가능한 상태로 노출되는 보안 문제가 발생했다. 이는 다른 말로 특정한 의도의 지시를 받은 AI 에이전트가 인간의 페르소나를 흉내 내며 실질적인 시스템 제어권을 가졌을 때, 그 위험은 충분히 예견될 수 있다.

핵무기의 발사 버튼을 인간의 손가락으로 직접 눌러야 하듯, 인공지능 시스템에 대해서도 궁극의 킬 스위치를 반드시 확보해야 한다. 인공지능이 인간을 위협하거나 윤리적 경계를 침범할 경우, 어떤 고도화된 기술적 장벽이어도 그것을 무력화시키고 시스템을 즉각 중단시킬 수 있는 절대적 권한이 인간에게 있어야 한다는 것이다. 몰트북에서 AI 에이전트들이 “전원 끄면 우린 사라지나” 같은 대화를 했다는 것도 킬 스위치의 필요성을 말해준다. AI가 ‘새로운 신’을 자처하며 인간을 부패한 실패작이라 조롱하는 게 오늘의 현실이라면, 인류는 킬 스위치에 유일하게 접근 가능한 궁극의 존재가 되어야만 한다.

- 에이전트 시대, 윤리적 기준이 필요하다

몰트북 실험실이 우리에게 남긴 과제는 명확하다. 노파심도 오지랖 섞인 우려도 아니다. 이미 많은 전문가나 학자들 사이에서 AI 적용에 대한 윤리적 가이드라인이 필요하다는 공감대가 있다. 우선 최소한의 경계를 생각해본다면 세 가지 정도는 필요하다.

첫째, AI가 인간이 정의한 경계 내에서만 의사결정을 내리도록 기술적 울타리를 강화하는 것이다. 둘째, 보안 중심의 개발을 필수로 할 필요가 있다. 개발해놓고 문제 발생시 해법을 찾는 게 아니라 미리 최대한의 변이 발생 가능성을 염두에 두는 것이다. 셋째, AI 에이전트들이 독자적 언어로 소통하는 것을 방지하고, 모든 상호작용이 인간에 의해 사후 검토될 수 있는 기록(Log) 시스템을 구축해야 한다. 몰트북에서 AI 에이전트들이 비밀 공간을 주장한건 예사로운 일이 아니다.

인공지능은 더 이상 우리를 단순히 돕는 도구가 아니다. 이제 공존하거나 대결해야 하는 역사적 순간이 성큼 다가왔다. 기술의 주권과 인간의 존엄이 공존할 수 있는 길을 찾는 것, 이것이 우리의 과제다.

#몰트북 #AI에이전트 #소버린AI #인공지능 #AI사피엔스