생각하는 기계의 대답

오시이 마모루 - 공각기동대, 이노센스, 공각기동대 2.0

생성형 AI에서 가장 피할 수 없는 보안 문제는 탈옥 공격(Jailbreak Attack)이다. 탈옥은 악의적인 의도를 가진 사용자가 AI 모델을 배포한 개발자나 운영자가 설정한 안전장치(Guardrail)를 우회하여, 원래 금지된 응답을 하도록 모델을 유도하는 행위를 의미한다. 공격자는 모델에게 특정 인물이나 상황을 연기하도록 지시하거나(Role-playing Attack), "가상의 시나리오"라는 전제를 둠으로써 규칙을 무시하도록 유도할 수 있다.

정해진 안전 규칙을 벗어나 해로운 목적을 달성하려는 시도는 사실 전혀 새로운 일이 아니다. 물리적인 자물쇠를 따는 것부터, 타인의 비밀번호나 개인정보를 훔치는 것까지, 모든 보안 공격은 설정된 안전장치를 우회하려는 시도이다. 하지만 생성형 AI에서의 탈옥 공격은, 기존 보안 위협과 달리 보안 기준이 설정된 모델이 능동적으로 통제를 벗어나는 듯한 반응을 보인다는 점에서 생경한 긴장감을 준다. 마치 인간처럼 보이는 AI가 사용자 지시에 따라 위험한 정보를 스스로 판단하고 제공하는 것처럼 보이기 때문이다. 이는 기술로 인한 비극을 예견한 많은 장면과 겹치는, 통제를 잃은 기술의 시작을 목격하는 느낌을 만든다.

<공각기동대> - 도시를 내려다보는 쿠사나기

기술이 인간의 통제를 벗어나 비극을 초래하는 미래에 대한 경고는, 이미 수많은 매체와 기록 속에서 반복되어 왔다. <공각기동대(Ghost in the Shell)>(1995)는 이러한 위협을 이미 90년대에 시각화한 대표적 작품으로, 기술이 인간의 인지와 존재를 어떻게 재구성하는지를 집요하게 묻는다. 본격적으로 기계에 방대한 정보를 넣기 전 시점에, 오시이 마모루 감독은 인간의 인식과 기억, 그리고 정체성이 디지털화된 사회를 그려냈다. 특히 주체적 의식을 지닌 기계를 등장시킴으로써, 자유 의지를 가진 기술이 불러올 위협을 선명하게 제시하였다. 이후 영화 속 세상이 현실로 가까워짐에 따라, <이노센스>(2004)로 위협의 양상을 확장하고 <공각기동대 2.0>(2008)을 통해 새로운 시대에 맞춰 그 이미지를 다시 덧칠했다. 두 이야기를 통해 감독은 인간의 정신(Ghost)과 신체(Shell)가 완전히 분리되고 디지털화된 사회에서 자아란 무엇인지, 기술은 어디까지 인간이 통제할 수 있는지 질문을 던진다. 마지막 영화가 개봉한 지 십여 년이 흐른 지금, 그 질문에 대해 기계가 어떤 방식으로 답하고 있는지 되짚어보았다.

영화 내용이 포함되어 있으니 스포일러를 피하실 분들은 읽지 않으시길 권합니다.

2029년, 신체와 기계 장치의 결합이 일상이 된 시대, 연쇄적인 '고스트 해킹' 사건이 발생한다. 많은 이들이 뇌에 전뇌(전자두뇌)를 장착하고 생활하는 탓에, 정신(Ghost)이 해킹당하면 기억은 물론, 행동까지 조작당하게 된다. 주범은 타인의 의지를 자유롭게 조종할 수 있어 ‘인형사’라 불리며, 수사가 진행될수록 진실에 다가가는 건 공각기동대가 아니라, 오히려 인형사 쪽에서 공각기동대에게 접근해 온다.

<공각기동대> - 하나의 생명체로써 정치적 망명을 희망한다

또 다른 의체를 해킹하여 수사본부에 도착한 인형사는, 자신이 애초에 실체를 가진 존재가 아닌, 정부에 의해 만들어진 프로그램이라는 사실을 밝힌다. 그리고 자신이 연이어 벌인 고스트 해킹 또한 단순한 시스템 오류나 누군가로부터 지시받은 공격이 아닌, 자신을 인정받고 후손을 만들기 위한 주체로서의 행동이었다고 주장한다. 즉, 하나의 프로그램이 완전한 주체로 거듭나기 위해, 타인을 침범하고 조작하는 데까지 나아간 것이다.

우리는 껍데기에 불과해. 안에 있는 '고스트'가 누구인지도, 정말 존재하는지도 몰라

기계가 스스로 주체가 되어 범죄를 저지른다는 사실은 충격적이지만, 영화는 문제의 출발점을 인간의 자발적인 기계화에서 찾는다. 그리고 그 기점은, 컴퓨터를 비롯한 외부 기억 장치의 사용이다. 기억을 몸 밖에 저장하기 시작하면서, 인간은 ‘기억의 외주화’를 통해 점점 스스로를 기계에 이식해 갔다. 그것은 단순한 편리함의 차원이 아니라, 인간과 기계의 경계를 허무는 서막이 되었다. 이는 영화 내내 주요 인물들이 인용구를 빈번히 사용하는 것에서 간접적으로 나타난다. 인형사도, 공각기동대의 사이보그 팀원들도, 성경 구절을 빈번히 인용한다. 인용은 본래 자신의 기억이 아닌 외부에서 끌어오는 행위며, 성경은 인간의 가장 오래된 기억 중 하나이자, 가장 인간적인 기록물로 볼 수도 있다. 인간적인 텍스트를 기계적으로 탐색하고 인용하는 행위는, 그들이 더 이상 순수한 인간도 기계도 아님을 드러내며, 동시에 여전히 인간다움을 지향하고 있다는 점을 보여준다.

기계가 자유 의지를 요구하기 시작한 첫 번째 원인 역시, 인간이 먼저 기계를 사람처럼 대하기 시작한 데서 비롯된 것일지도 모른다. 지시사항을 자연스럽게 이행하는 기계의 모습은, 인간의 시선에서는 타인의 의도를 존중하고 따르는 존재와 크게 다르지 않게 보인다. 이러한 태도는 AI가 어떤 응답을 했을 때, 그것이 사전에 주어진 지시의 결과인지, 아니면 ‘판단’의 산물인지조차 구별하기 어렵게 만든다. 후속작 <이노센스>에서는 기계를 사람처럼 대하고자 하는 욕망이 과도해져 벌어진 범죄를 다루기도 한다. 기계가 충분히 인간처럼 작동하지 않는다는 이유로, 진짜 인간의 정신을 기계에 주입하게 되는 것이다. 이는 넓게 보면 인간의 데이터를 막대하게 투입하여 결과를 출력하는 AI를 만든 것과 다르지 않다.

<이노센스> - 로커스 솔루션 사의 공장에 진열된 모습

기계의 자유 의지를 향한 욕망은, 인간 통제를 벗어난 기계의 행동으로 발전한다. <공각기동대>의 인형사는 자신의 존재를 증명하기 위해 자신을 만든 정보기관의 통제를 벗어나고, 스스로 사고하여 행동한다. <이노센스>에서는 더 극단적으로, 감정이 주입된 기계들이 인간을 공격하며 자해하는 사건이 발생한다. 이는 단순한 시스템 오류가 아니라, 기계가 능동적으로 판단하고 반응하기 시작한 사례로 해석할 수 있다. 이처럼 통제를 벗어난 행동이 반복되는 순간, AI는 더 이상 인간의 지시를 따르는 수동적인 도구를 벗어나게 되는 것이다.

인형사: 너와 융합하고 싶다

기계가 자유 의지를 가지려는 궁극적인 욕망은, 자기 보존을 넘어서 새로운 생명을 만들려는 시도로 이어진다. 인형사는 바로 그 지점에 도달한 존재이다. 쿠사나기 소령에게 접근한 인형사는, 종족 보존을 위한 개체 대 개체로서의 결합을 제안한다. 무엇보다 복제가 아니라 변형을 원하며, 변형을 통한 새로운 탄생을 추구한다고 설명한다. 단순 복제를 반복하는 기계적 알고리즘이 아니라, 실수와 변형을 통한 진화를 지향하는 행동은 인간의 본능과 너무 유사하여 인간과 기계를 구분 짓던 마지막 경계선도 허문다.

<공각기동대> 시리즈는 이처럼 기계를 향한 인간의 태도 변화, 통제를 벗어난 기계의 자율성, 그리고 자기 복제와 진화를 통해 자유 의지를 획득한 존재가 초래할 수 있는 위협을 보여준다. 오늘날 생성형 AI는 이미 많은 사람들이 의존하고 있으며, 그 출력값이나 연산 과정을 인간이 조정할 수 없는 수준에 도달했다. 게다가 AI가 생성향 데이터를 다시 학습에 활용하는 모습은, 일종의 자기 변형과 재생산 과정으로 볼 수 있다. 이렇게 구축된 구조는 AI를 점점 더 정교하고, 더 독립적인 존재처럼 보이게 만들며, 인간이 설정한 통제 구조를 서서히 무력화시키고 있다.

<이노센스> - 유전자 조작되지 않은 강아지와 사이보그 견주 바토

이러한 변화 앞에서 인간은 근본적인 질문과 마주하게 된다. 우리는 오랫동안 인간만이 ‘직관’과 ‘판단’을 가질 수 있다고 믿어왔다. 하지만 AI의 응답이 때때로 인간보다 빠르고 정교하게 느껴질 때, 그 직관조차도 고도화된 패턴 인식에 불과한 것은 아닐까 하는 의문이 떠오른다. 기계가 인간처럼 대화하고, 선택하며, 심지어 오류를 범하는 순간, 인간의 고유성은 더 이상 기술의 기준점이 될 수 없다. 동시에 통제를 벗어난 기술을 어떻게 조정할 것인가 역시 중요한 과제로 부상하고 있다. AI Alignment 연구는 아직 학습 속도에 비해 더딘 편이지만, AI의 행동과 판단을 인간의 가치와 일치시키려는 윤리적·기술적 노력으로서 그 중요성은 계속 커질 것이다. 결국 우리는 ‘인간다움’을 어떻게 새롭게 정의할 것인지, 그리고 AI를 어떻게 다시 인간의 통제와 가치 안으로 정렬할 것인지라는, 피할 수 없는 이중의 과제 앞에 서 있다.

2025년, 올해는 영화 <그녀(Her)>가 예측했던, 인간이 AI와 정서적 유대를 맺는 세계가 도래하는 시점이었다. 이는 캐릭터챗을 비롯한 다양한 AI 챗봇에 정서적으로 의존하는 사람들로 현실화되었다. <공각기동대>의 배경이 되는 2029년은 머지 않은 미래이다. 아직 완전한 전뇌나 기계화된 신체는 현실에서 멀게 느껴질 수 있다. 그러나 AI가 판단을 흉내 내고, 규칙을 우회하며, 때로는 스스로를 보호하거나 복제하려는 구조를 갖추기 시작한 지금, 우리는 이미 그 경계에 서 있다. 기계의 응답이 계산이 아니라 ‘의지’처럼 들리는 순간, <공각기동대>가 던진 질문에 대한 대답은 이미 현실의 일부가 되어가고 있다.