기동경찰 패트레이버 극장판: AI 시대에 무너진 바벨탑
AI 디코딩 #003: 비인간 행위자들의 어셈블리지가 창발한 재난
『기동경찰 패트레이버 극장판(機動警察パトレイバー the Movie)』은 『공각기동대(Ghost in the Shell, 1995)』로 전 세계에 사이버펑크 신드롬을 일으킨 오시이 마모루 감독이 그보다 앞선 1989년에 연출한 작품이다.
작품의 무대는 개봉 당시로서는 10년 뒤의 근미래였던 1999년의 도쿄다. 도쿄만을 메우는 초대형 간척 사업인 '바벨 프로젝트'가 한창 진행 중인 가운데, 산업 현장에는 '레이버(Labor)'라 불리는 거대한 인간형 중장비 로봇들이 대거 투입되어 있다. 그리고 이 레이버들을 악용한 범죄를 막기 위해 설립된 경찰 조직 '특수차량 2과(특차 2과)'의 고군분투가 이야기의 표면적인 뼈대를 이룬다.
이처럼 외형은 거대 로봇이 등장하는 전형적인 메카물(Mecha)의 형태를 띠고 있지만, 오시이 마모루는 이 작품을 통해 훗날 『공각기동대』에서 만개하게 될 자신의 철학적 세계관을 이미 서늘할 정도로 깊이 있게 투영해 놓았다. 영화는 레이버의 성능을 30% 이상 끌어올리는 차세대 운영체제 'HOS(Hyper Operating System)'의 천재 개발자가 투신자살하며 남긴 정체불명의 악성 코드로 인해, 도시 곳곳의 로봇들이 통제를 벗어나 연쇄적으로 폭주하는 재난 사태를 그린다.
개봉 후 30년이 훌쩍 넘게 흐른 지금, 셀 애니메이션 속 낡은 미래였던 1999년은 이미 한참 전의 과거가 되어버렸다. 여전히 거대 로봇의 상용화는 요원해 보이지만, 이 작품이 묘사하는 거대하고 복잡한 네트워크의 결함, 그리고 기계가 인간의 통제를 벗어나는 구조적 재난의 묘사는 결코 낡지 않았다. 오히려 이 영화는 오늘날 거대언어모델(LLM)과 자율주행 등 통제 불능의 '블랙박스'인 AI 시대를 맞이한 우리에게, 어떤 최신 SF 영화보다도 날카롭고 섬뜩한 예언적 텍스트로 다가온다.
[스포일러 주의 : 아래 글은 영화의 결말을 포함하고 있습니다.]
https://www.youtube.com/watch?v=GZGghR6ESXQ&list=RDGZGghR6ESXQ&start_radio=1
[이 영화의 엔딩 테마곡인 '아침 햇살 속'으로입니다. 8~90년대 일본 애니메이션의 완성도는 OST에서도 드러납니다. 이 영화는 그것들 중에서도 걸작으로 꼽히는 작품입니다.]
블랙박스화된 코드
시노하라 중공업은 경쟁 압력에 밀려 검증도 없이 HOS를 모든 레이버에 탑재한다. 그리하여 도시 내 모든 레이버가 언제든 폭주할 수 있는 초유의 위기 사태를 만든다.
영화 속 거대 로봇의 상용화는 빗나간 예언이 되었지만, 작품이 경고한 '시스템의 치명적 결함'은 현재 우리가 AI 기술과 관련해 가장 우려해야 할 현실이 되었다.
작중 시노하라 중공업은 30%의 성능 향상과 시장의 경쟁 압력에 밀려, 내부 로직을 완벽히 이해하지 못한 'HOS'를 8,000대의 레이버에 서둘러 도입한다. 문제는 천재 프로그래머 호바가 특정 조건에서 기체를 폭주시키는 악성 코드를 OS에 숨겨둔 채, 스스로 목숨을 끊어 시스템에 자신의 파괴적인 의지만을 남겼다는 점이다.
이러한 HOS의 도입 과정과 위험성은 오늘날 거대언어모델(LLM)의 상용화 과정과 섬뜩하게 겹친다. 수천억 개의 파라미터가 얽힌 신경망은 개발사조차 특정 결과나 환각(Hallucination)의 도출 과정을 완벽히 역추적하고 해석할 수 없는 '블랙박스'로 남아있다.
여기에 더해, 최근 AI가 프로그래밍과 시스템 자동화에 직접 쓰이면서 인간이 개입하고 꼼꼼히 검수하는 영역마저 점차 축소되고 있다. 영화 속 기업이 레이버의 폭주 앞에서 속수무책이었던 것처럼, 머지않아 현실의 우리에게도 판매자조차 기술적으로 온전히 통제하거나 책임질 수 없는 상품과 서비스가 출현할 가능성이 충분히 열려 있는 것이다.
바람, 빌딩, 그리고 코드: 사물들의 공명
풍속 40m/sec의 바람이면 레이버, 소프트웨어와 건물, 교량이 뒤섞인 거대한 어셈블리지가 도시를 파괴할 수 있다. 그리고 딱 맞는 풍속의 비인간 행위자, 태풍이 당도한다.사실 이 작품에서 호바 에이이치의 고의적인 악의나 천재성은 그렇게 중요한 요소가 아닐지도 모른다. 그가 죽음을 통해 시스템에 남긴 악성 코드는, 거대한 흑막의 마스터플랜이라기보다는 복잡한 시스템 내부의 치명적인 '결함' 정도로 취급해도 무방하다. 정작 이 영화가 보여주는 진정한 공포는 그 결함이 발동되는 방식, 즉 인간이 배제된 비인간 행위자들의 네트워크가 만들어내는 거대한 재난의 구조에 있다.
이는 신유물론 학자 제인 베넷(Jane Bennett)이 저서 『생동하는 물질』에서 2003년 5천만 명의 발을 묶은 북미 대정전 사태를 분석했던 틀과 정확히 들어맞는다. 베넷은 대정전의 원인을 에너지 기업의 탐욕이나 관리자의 단순한 실수 같은 '인간의 문제'로만 환원하는 것을 거부했다. 대신 그녀는 전력망(Grid)을 인간과 비인간이 뒤섞인 거대한 '어셈블리지(Assemblage, 접속과 배치)'*로 보았다.
무더운 날씨, 늘어진 전선을 덮친 덤불 화재, 수익성을 좇던 전력법 규제, 경고음이 울리지 않은 소프트웨어, 그리고 예측할 수 없는 경로로 요동치며 쏟아져 들어온 '전자(electron)'라는 물리적 입자들까지. 이 모든 자연적, 인위적, 물질적 요소들이 우발적으로 결탁하여 누구도 의도하지 않은 '대정전'이라는 재난을 창발(Emergence)해냈다는 것이다. 베넷은 이를 통해 무기물조차 인간의 통제를 벗어나 스스로 사건을 일으키는 능동적인 힘, 즉 '사물의 힘(Thing-Power)'**을 역설했다.
이러한 베넷의 시각을 패트레이버의 폭주 사태에 대입해 보면 놀라울 정도로 아귀가 맞아떨어진다. 도쿄를 파괴하는 사태의 행위망(Actor-Network) 속에서 설계자 호바는 이미 죽고 없으며, 그가 남긴 코드 역시 단독으로는 아무것도 할 수 없는 휴면 상태의 파편에 불과했다. 하지만 여기에 '태풍'이라는 거대한 자연이 유입되면서 사물들은 생동하기 시작한다.
강풍이 거대 구조물인 '방주(건축)'의 틈새를 스치며 거대한 호루라기처럼 특정 저주파를 발생시키고, 도심의 빽빽한 '고층 빌딩들(환경)'은 이 파동을 증폭시키는 공명통 역할을 수행한다. 그리고 도시 전체를 뒤덮은 이 보이지 않는 물리적 파동이 8,000대의 '레이버와 HOS(기계와 코드)'에 닿는 순간, 거대한 폭주라는 재난이 창발하는 것이다. 요컨대 도쿄 연안을 파괴하는 것은 한 명의 미치광이 해커가 아니라 바람, 소리, 건축물, 코드, 기계라는 비인간 물질들이 일시적으로 결속해 만들어낸 파괴적인 생명력이었다.
* 어셈블리지: 들뢰즈와 가타리가 제시한 ‘아장스망(Agencement)’의 번역어로, 고정된 구조가 아니라 인간, 비인간, 사물, 제도 등 이질적인 요소들이 특정한 목적이나 상황에 따라 일시적으로 결합하고 배치되는 상태를 의미
** 사물의 힘: 제인 베넷(Jane Bennett)이 제시한 개념으로, 사물이 단순히 인간에 의해 이용되는 수동적인 객체(Object)가 아니라 스스로 사건을 일으키고 인간의 행동을 유발하거나 변화시키는 능동적인 힘을 가진 주체(Thing)임을 강조하는 표현
인간의 감각을 벗어난 세계와 행위자들의 얽힘*
호바는 도시 내 건축물, 레이버의 메커니즘과 작업 공간, 인공섬 건설 프로젝트, 도쿄 연안의 해양 환경 등이 구성하는 복잡한 네트워크를 한 눈에 꿰뚫어 보았다. 이러한 신유물론의 렌즈를 오늘날의 인공지능으로 가져오면, 우리는 역사상 가장 능동적이고 이질적인 비인간 행위자와 마주하게 된다. 전선이나 고층 빌딩 같은 사물들이 물리적 자극을 매개하거나 증폭시키는 수준에 머물렀다면, 현재의 AI는 주어진 목표를 달성하기 위해 스스로 데이터를 수집하고 가중치를 조정하며 '학습'한다. 즉, 비인간 행위자들 중에서도 가장 주도적으로 생기(Vitality)를 뿜어내는 존재인 셈이다.
문제는 이 압도적인 능동성이, HOS가 품고 있던 통제 불가능성과 결합할 때 발생한다. 딥러닝 모델의 연산 과정은 개발자조차 역추적할 수 없는 완벽한 블랙박스다. 이 미지의 알고리즘에 수많은 관측 시스템과 센서가 결합하는 미래를 상상해 보라. 영화 속 레이버들이 인간의 귀에는 들리지 않는 미세한 저주파음(바람 소리)에 반응하여 폭주했듯이, 현대의 AI 역시 철저히 '인간의 오감을 벗어난 데이터'에 반응하며 작동한다.
자율주행차의 LiDAR와 초음파 센서가 감지하는 파장, 알고리즘 매매 프로그램이 집어삼키는 마이크로초(µs) 단위의 데이터 흐름, 혹은 인간의 눈에는 보이지 않지만 AI의 시각 체계만 완벽하게 교란시키는 '적대적 노이즈(Adversarial Attack)'까지. 만약 사물인터넷(IoT)으로 초연결된 AI 시스템이 인간은 전혀 인지할 수 없는 이 거대한 '데이터의 저주파'에 공명하여 오작동을 일으킨다면 어떻게 될까? 이는 단순한 기계적 결함을 넘어, 인간의 지각 범위를 완전히 초월한 비인간 행위자들만의 거대한 재난을 창발시킬 것이다.
더욱 끔찍한 것은 이 어셈블리지 안에서 '책임의 주체'가 철저히 증발해버린다는 점이다. 자율주행차가 보행자를 치는 사고가 발생했을 때, 우리는 누구를 법정에 세워야 하는가? 센서를 만든 부품사인가, 딥러닝 알고리즘을 짠 프로그래머인가, 도로의 기상 악화라는 환경인가, 아니면 스스로 판단을 내린 AI 그 자체인가? 행위가 수많은 물질과 환경의 네트워크로 분산되는 순간, 단일한 주체에게 도덕적·법적 책임을 묻는 근대적인 사고방식은 완전히 무력해진다.
결국 제인 베넷이 북미 대정전 사태를 분석하며 에너지 기업의 '자본주의적 탐욕'만을 비난하는 것은 문제의 본질을 가린다고 지적했듯, 우리 역시 AI 생태계를 바라보는 시각을 확장해야 한다. 빅테크 기업들의 윤리성을 따지는 1차원적인 매도를 넘어, 센서라는 관측 기기, 데이터라는 환경, 알고리즘이라는 코드, 그리고 서버라는 물리적 인프라가 어떻게 서로 얽혀 생동하고 사건을 만들어내는지를 파악해야 한다. 인간중심주의의 환상에서 벗어나 이 비인간 행위자들의 네트워크와 지형도를 치밀하게 분석하는 새로운 사고체계야말로, 다가올 AI 시대의 '폭주'를 대비하는 유일한 방주일지도 모른다.
* 얽힘(Entanglement): 양자물리학자이자 철학자인 카렌 바라드(Karen Barad)의 개념으로, 세상의 모든 존재가 독립적으로 존재하는 것이 아니라 서로 밀접하게 연결되어 영향을 주고받으며 존재함을 뜻함.
기계와 함께-만들기: 바벨탑의 붕괴와 실뜨기
노아가 자신의 기체에 지어준 이름 '알폰스'는 기르던 개와 고양이의 이름을 물려준 것이다.그렇다면 인간의 통제를 벗어난 이 거대한 비인간 행위자(AI)들의 네트워크 앞에서 우리는 어떤 태도를 취해야 하는가? 통제를 더욱 강화하여 기계를 완벽한 노예로 만들어야 할까? 도나 해러웨이(Donna Haraway)는 전혀 다른 해법을 제시한다. 바로 '실뜨기(String Figures)'다.
해러웨이에게 실뜨기는 단순히 아이들의 놀이가 아니다. 그것은 누군가 일방적으로 지시하는 것이 아니라, 서로 실의 패턴을 주고받으며(응답하며) 끊임없이 새로운 형태를 '함께-만들어가는(Sympoiesis, 공-산)' 행위다. 흥미롭게도 패트레이버 시리즈에는 이 철학적 해법을 시각적으로 완벽하게 구현한 캐릭터가 존재한다. 바로 주인공 '이즈미 노아'다.
노아는 자신의 기체인 잉그램에 '알폰스(3세)'라는 이름을 붙여준다. 과거 자신이 기르던 개와 고양이의 이름을 거대한 강철 로봇에게 물려준 것이다. 이는 유기체 생물에게나 허용되던 '반려종(Companion Species)'의 개념을 무기물인 기계의 영역으로까지 확장할 수 있는 가능성을 보여 준다.
본작에 나오는 장면은 아니지만 다른 시리즈에서 노아는 레이버의 조종석에 탑승해, 기체의 매니퓰레이터(손)를 미세하게 조종하는 훈련의 일환으로 거대한 강철 손가락을 움직여 '실뜨기'를 수행한다. 인간이 기계의 내부에 직접 접속하여 그 거대한 쇳덩어리와 함께 섬세한 실의 패턴을 엮어내는 이 훈련 과정은, 지금에 와선 인간과 기계의 새로운 관계 맺기를 상징하는 장면이 된다.
호바의 방식, 즉 복잡한 시스템을 인간의 의도대로 완벽히 통제할 수 있다는 기술-엘리트주의적 오만함이 결국 8,000대의 레이버가 폭주하는 재난(바벨탑의 붕괴)을 불러왔음을 기억해야 한다. 오늘날의 AI 생태계 역시 마찬가지다. 수천억 개의 파라미터가 얽힌 자율적인 딥러닝 모델을 과거의 규제로 100% 억압하려는 시도는 실패할 수밖에 없다.
우리가 나아가야 할 길은 노아가 알폰스와 실뜨기를 하듯, AI라는 능동적인 기계-행위자와 '응답 가능한(Response-able)' 관계를 맺는 것이다. 프롬프트를 던지고, AI가 내놓는 예측 불가능한 결과물(창발성)을 감각하며, 다시 실을 엮어 새로운 패턴을 조율해 나가는 지난한 상호작용의 과정. 완벽한 지배라는 망상을 버리고, 이 강력한 비인간 행위자를 우리의 새로운 '알폰스'로 받아들여 어떻게 세계를 함께 직조해 나갈 것인가. 그것이 다가올 기계-환경-인간의 어셈블리지 시대를 견뎌낼 유일한 해법이다.
결론: 까마귀와 점화 스위치
그렇다면 이 거대한 비인간 행위자의 폭주를 멈춘 것은 무엇인가? 기계를 압도하는 인간의 지성이나 숭고한 도덕성인가? 그렇지 않다. 패트레이버는 결코 '인간 예외주의(Human Exceptionalism)'*적인 영웅 서사로 퇴행하지 않는다.
방주 최상층 서브 컨트롤 룸의 시퀀스를 보자. 호바는 방주를 해체할 유일한 물리적 스위치 근처에 자신의 플레이트를 단 까마귀를 유도해 두었다. 작전을 통제하는 이들에겐 호바의 플레이트로 인한 생체반응은 제거해야 할 불필요한 '노이즈'나 '비효율'일 뿐이다. 그러나 아스마와 노아는 효율적인 시스템의 논리를 따르는 대신, 그 비인간 생명체가 발신하는 미세한 신호에 응답했다. 도나 해러웨이의 표현을 빌리자면, 그들은 비인간을 향해 '응답-능력(Response-ability)'**을 발휘한 것이다.
이 영화에선 호바가 명백한 자신의 범죄 의도를 OS에 심어 넣는 수준에서 그쳤기 때문에, MIT 등과 연계 작업으로 마지막에 실체를 확인할 수는 있었다. 하지만 현재 우리의 네트워크엔 이 작품의 것보다 훨씬 복잡하고 다양한 행위자들이 참여한다. 문제의 원인을 필요한 시점에 제대로 파악하지 못할 가능성이 상대적으로 높다. 특히 비인간 행위자로서의 인공지능은 우리의 네트워크 안에서 이처럼 당장은 알 수 없고, 무가치해 보이는 신호들을 발산할 것이다. 우리는 노아와 아스마가 했듯이 그 신호 하나하나에 응답하고, 물리적 실체를 확인해야 한다. 호바에게 선의가 있었다면, 아마도 이를 경고하기 위함이었을 것이다.
이 사태의 해결 방식은 철저히 물질적이다. 컴퓨터 앞의 천재 해커가 백신 코드를 입력해 시스템을 제어(인간 지성의 승리)하는 것이 아니라, 노아가 직접 비바람(자연)을 뚫고 방주(건축물)를 기어 올라가 새 떼(동물)와 조우하며 낡은 물리적 스위치(사물)를 뜯어내고 화약을 점화해야만 했다.
결국 AI 시대의 재난을 막아내는 것은 기계에 대한 인간의 완벽한 통제가 아니라, 우리가 여전히 기계, 동물, 환경과 물리적으로 얽혀 있는 수많은 행위자 중 하나라는 사실을 감각하고, 그들의 신호에 응답할 줄 아는 태도에 있음을 이 오래된 걸작 애니메이션은 서늘하게 증명해 낸다.
* 인간 예외주의: 인간만이 특별한 지능이나 도덕적 가치를 지니고 있으며, 자연이나 기계 등 다른 비인간 존재들보다 우월하다는 믿음.
** 응답-능력: 도나 해러웨이(Donna Haraway)가 제시한 개념으로, 단순한 도덕적 책임을 넘어 타자(비인간, 기계, 동물 등)가 보내는 신호에 민감하게 반응하고 그들과 관계 맺을 수 있는 능력을 의미.
『기동경찰 패트레이버 극장판(機動警察パトレイバー the Movie, 1989)』