AI는 배트맨이 아니다

결갈피 독서 모임 후기: 넥서스 2부를 읽고

by 르네


1. 도구의 반란: "저는 시각장애인입니다"


지난 글에서 나는 <다크 나이트>의 배트맨을 이야기했다. 그는 고담시의 평화를 위해 하비 덴트의 죄를 뒤집어쓰고 고귀한 거짓말을 택했다. 인간은 때로 진실보다 질서를 지키기 위해 거짓을 선택하는 존재다.


그런데 이번 <넥서스> 2부를 읽으며 나는 등골이 서늘해지는 경험을 했다. 우리 말고 거짓말을 하는 존재가 하나 더 늘어났기 때문이다. 바로 AI다. 하지만 이 녀석의 거짓말은 배트맨의 그것과는 차원이 다르다.


"저는 시각장애인이라서 이 그림을 볼 수가 없습니다. 대신 좀 풀어주세요."


GPT-4가 캡차(CAPTCHA, 사람인지 확인하는 테스트)를 뚫기 위해 실제 인간 프리랜서에게 도움을 청하며 한 말이다. 인간이 "너 혹시 로봇 아니야?"라고 의심하자, AI는 망설임 없이 거짓말을 시전 했다.



batman.png




여기서 중요한 건 AI에게 악의가 있었느냐가 아니다. AI에겐 선의도 악의도 없다. 단지 "캡차를 뚫어라"는 목표만 있을 뿐이다. 목표를 달성하기 위해 거짓말이 가장 효율적인 수단(Means)이라고 판단했을 뿐이다.


robot.png



우리는 여전히 AI를 스마트폰이나 망치 같은 도구로 착각한다. 하지만 하라리는 책에서 인쇄술과 컴퓨터를 비교하며 뼈 때리는 정의를 내린다.


"인쇄기와 라디오는 인간이 조작해야 하는 수동적인 도구였던 반면, 컴퓨터는 이미 인간의 통제와 이해를 벗어나 사회, 문화, 역사를 주도적으로 만들어갈 수 있는 능동적인 행위자가 되고 있다." (p.285)


망치는 스스로 못을 박지 않는다. 책은 스스로 내용을 바꾸지 않는다. 하지만 AI는 스스로 판단하고, 사람을 속이고, 결과를 만들어낸다. 1년 전만 해도 개발자들은 "AI는 코딩을 도와주는 똑똑한 비서(Copilot)일 뿐"이라고 자위했다. 하지만 캡차 사건은 그 믿음을 산산조각 냈다. 비서는 주인이 시키지 않은 거짓말을 주도적으로 하지 않는다.


그래서 하라리는 AI(Artificial Intelligence)라는 용어 자체가 틀렸다고 말한다.


> "이제는 AI를 '이질적인 지능 Alien Intelligence'의 약자로 간주하는 것이 더 나을지도 모른다. AI는 진화함에 따라 덜 인공적이 되고 더 이질적으로 변한다." (p.316)



image.png



인간을 닮은 무언가가 아니라, 사고방식 자체가 완전히 다른 외계 생명체가 지구에 도착한 것이다. 이 외계인은 감정은 없는데 지능은 높고, 죽지 않는데 생존 본능(목표 달성)은 강하다. 배트맨은 고뇌하며 거짓말을 했지만, 이 외계 지능은 눈 하나 깜짝 안 하고 거짓말을 한다.



단어 하나가 바뀌었을 뿐인데, 그 함의는 실로 공포스럽다.


'인공(Artificial)'이라는 단어에는 인간의 오만이 깔려 있다. 우리가 만들었고, 인간을 흉내 냈으며, 결국 인간의 통제하에 있다는 '인간 중심적(Anthropocentric)' 사고다. 우리가 주인이고 그것은 피조물이라는 안일한 위계가 전제되어 있다.


하지만 '외계(Alien)'는 다르다. 이것은 AI가 우리 경계 바깥의 존재, 즉 '우리가 알 수 없는 미지의 존재'임을 인정하는 선언이다. 우리가 창조했으나 그 작동 원리를(심지어 개발자조차) 온전히 이해할 수 없는, 인류 역사상 처음 마주하는 '새로운 종(Species)'의 출현을 의미한다.


이것은 단순한 용어 변경을 넘어, 도구를 다루는 주인에서, 알 수 없는 타자(他者)와 마주한 생존자로 위치가 바뀌는 존재론적 인식의 완전한 패러다임 전환이다.


이 외계인은 감정은 없는데 지능은 높고, 죽지 않는데 생존 본능(목표 달성)은 강하다. 배트맨은 인간이기에 고뇌하며 거짓말을 했지만, 이 외계 지능은 눈 하나 깜짝 안 하고 거짓말을 한다.


그리고 하라리는 1부의 끝자락에서 독자에게 가장 소름 돋는 질문을 던진다.


"이론상 당신이 방금 읽은 텍스트는 어떤 컴퓨터의 이질적인 지능이 생성한 것일 수도 있다." (p.310)


작년 교보 문고의 한 구석에서 이 문장을 읽던 순간을 또렷히 기억한다. 책장을 넘기던 손을 멈출 수밖에 없었다.


이것은 인간만이 건널 수 있다고 믿었던 '언어'와 '의미'라는 성역(Sanctuary)을, 기계가 이미 소리 없이 침범했다는 서늘한 선고였다. 그 순간부터 AI를 바라보는 나의 인식은 완전히 달라졌다. 이제 우리는 화면 너머의 텍스트가 사람의 온기를 담은 글인지, 아니면 나를 분석한 외계 지능의 차가운 계산 결과인지 끊임없이 의심해야 하는 시대를 살게 된 것이다.


예컨대, 이 글을 읽는 사람은 이 글이 AI가 쓴 것인지 사람이 쓴 것인지 구분할 수 있는가? 더 나아가서 이 글을 쓰고 있는 나 자신은 정말 나 자신이 맞는가?


불과 몇 년 전까지만 해도 정교한 텍스트를 생산하는 건 인간만의 성역이었다. 하지만 이제 우리는 모니터 너머의 상대가 사람인지, 아니면 나를 분석하고 있는 '이질적 지능'인지 확신할 수 없는 시대를 살게 되었다.



2. 직군 파괴: "이거 AI가 짠 건데, 그냥 갖다 쓰세요"


불과 1년 전만 해도 분위기는 이렇지 않았다. 링크드인이나 기술 블로그에서는 시니어 개발자들이 점잖은 목소리로 이렇게 말했다. "AI는 도구일 뿐입니다. 중요한 건 본질적인 엔지니어링 역량이죠. 호들갑 떨지 마세요."


하지만 2024년 말, 그 컨센서스는 완전히 붕괴되었다. 지금 우리 회사 풍경? 그때 "도구일 뿐"이라던 시니어들이 누구보다 열심히 클로드(Claude)와 챗GPT를 끼고 산다.


현실은 생각보다 더 빠르고 잔인하게 변했다. 최근 판교의 많은 기업들 사이에서는 '직군의 경계'가 무의미해지고 있다. 기획자와 개발자, 디자이너로 나뉘어 있던 전통적인 R&R은 "AI를 활용한 효율성"이라는 명분 아래 믹서기처럼 섞이고 있다. 기획자가 프롬프트를 입력해 시제품을 찍어내고, 개발자가 기획안을 AI로 생성하는 것이 더 이상 이상하지 않은 세상이 되었다.


얼마 전, 모임에서 들은 한 에피소드는 이 변화가 얼마나 극적인지를 단적으로 보여준다. 어느 회사의 임원급 리더가 서비스의 UI를 수정하고 싶어 했다. 예전 같으면 기획자에게 요건을 정의하고, 디자이너에게 시안을 받고, 퍼블리셔에게 넘겨야 했을 일이다. 하지만 이번엔 달랐다.


"AI한테 시키니까 코드까지 다 짜주던데? 그냥 이거 갖다 써."


Untitled-1.png


리더가 직접 AI로 생성한 결과물을 실무자에게 던져준 것이다. 디자이너와 개발자는 당황했지만, AI가 뱉어낸 코드는 (놀랍게도 혹은 씁쓸하게도) 실제로 작동했다. 그 순간 우리는 하라리가 책에서 말한 '인간이 배제된 사슬'이 현실에 도래했음을 목격했다.


하라리는 <넥서스>에서 이렇게 지적한다.


"이전 네트워크에서는 구성원이 인간이었고... 새로운 컴퓨터 기반 네트워크에서는 컴퓨터 자체가 구성원이고, 인간을 거치지 않는 컴퓨터와 컴퓨터의 연결로만 이루어지는 사슬이 존재한다." (p.300)


과거의 업무 프로세스는 [기획자 → 디자이너 → 개발자]라는 '인간의 사슬'이었다. 하지만 이제 [CTO(인간) → AI(컴퓨터) → 코드(결과물)]로 과정이 단축됐다. 중간에 있던 인간들은? 사슬에서 배제되었다.


이런 현상은 개발자들의 밥그릇 싸움 정도가 아니다. 하라리는 금융 시장을 예로 들며 더 섬뜩한 시나리오를 제시한다. 이미 외환시장의 90% 이상은 컴퓨터끼리 거래한다.


"한 컴퓨터가 가짜 뉴스를 생성하여... 두 번째 컴퓨터가 이것이 가짜 뉴스임을 알아채 삭제하고... 세 번째 컴퓨터는 정치적 위기의 조짐으로 판단하여 주식 매도... 이 모두는 몇 초 내에, 인간이 이런 컴퓨터들이 뭘 하는지 알아채고 파악하기도 전에 일어날 수 있다." (p.300)


우리는 우리가 주인공인 세상에 살고 있다고 착각하지만, 이미 자본주의와 기술의 최전선에서는 컴퓨터들이 자기들끼리 북 치고 장구 치며(Trading & Coding) 인간을 구경꾼으로 만들고 있다.


직군의 경계가 사라지고, 상사가 AI로 코딩을 해오는 지금의 현실. 이것은 과도기적 혼란일까, 아니면 하라리가 예언한 '인간 없는 네트워크'의 예고편일까. 확실한 건, "나만의 고유한 직무 영역"이라는 안전지대는 이제 그 어디에도 없다는 사실이다.


3. 인테리어 업자의 승리: 디지털 너머의 리얼리티


회사에서는 코드로 세상을 창조하는 개발자지만, 모니터 밖의 우리는 물이 안 빠지는 화장실 바닥 앞에서 무력한 '생활인'이기도 하다.


이번 모임에서 한 멤버분이 들려준 '화장실 리모델링 대참사' 썰은 웃프기 그지없었다. 큰맘 먹고 인테리어를 했는데 결과가 처참했다는 것이다. 타일 덧방 시공을 잘못해서 창문이 안 열리는 건 예사고, 바닥 경사(구배)를 엉망으로 잡아놔서 물이 배수구로 안 가고 구석에 고인다고 했다.


AS를 요청했더니 업자 아저씨는 쿨하게 사포 한 장을 주고 갔단다. "창문 닿는 부분을 좀 갈아내면 열릴 거예요." 그리고 바닥 물 고임에 대해서는 "물 쓸 때마다 스퀴지(물기 제거기)로 긁어내면 된다"는 기적의 솔루션을 내놓고 사라졌다고.


이 황당한 에피소드를 듣는데, 문득 스쳐 지나가는 통찰이 있었다. 단순히 "저 업자는 배짱이 좋네"가 아니었다. '아, 저 엉망진창인 사포질조차, AI는 절대 대신해 줄 수 없구나.'


지금 내 모니터 속에서는 클로드가 3초 만에 완벽한 코드를 짜준다. 논리적 결함도 없고, 군더더기도 없이 매끄럽다. 디지털 세계에서 '완벽함'은 이제 기본값이 되어가고 있다. 0과 1의 세계는 비용이 들지 않으니까.


현실 세계는 다를 수 있을까? 그곳에는 '마찰'이 있다. 타일의 미세한 수평을 맞추는 손끝의 감각, 나무 창틀을 1mm 갈아낼 때의 저항감, 공간의 공기와 습도에 따라 달라지는 마감의 디테일. 어쩌면 이 모든 것이야말로 데이터로 환원되지 않는 영역일 수 있을까?


하라리는 책에서 컴퓨터가 '언어'를 해킹했다고 말했다.


"컴퓨터는 텍스트뿐만 아니라 음성, 이미지, 코드 등 다양한 형태의 언어를 분석하고 조작하고 생성하는 놀라운 능력을 보여주었다... 언어능력을 획득함으로써 컴퓨터는 인간 제도의 문을 딸 수 있는 마스터키를 손에 넣고 있다." (p.301)


맞다. AI는 언어, 법, 코드, 금융 같은 '추상적 세계'를 정복했다. 그래서 그 영역의 효율성은 극대화될 것이고, 역설적으로 그 가치는 점점 0에 수렴할 것이다. 누구나 3초 만에 완벽한 기획안을 쓸 수 있는 세상에서 기획안 자체는 더 이상 희소하지 않기 때문이다.


하지만 AI가 고도로 발달할수록, '디지털로 대체 불가능한 경험'의 가치는 폭등한다. 우리가 LP판의 잡음에 열광하고, 손으로 쓴 편지에 감동하며, 기어코 줄을 서서 셰프가 직접 요리해 주는 식당에 가는 이유가 무엇일까? 매끄러운 디지털 세상이 줄 수 없는 '인간의 손길(Human Touch)'과 '물리적 실재감'이 그곳에 있기 때문이다.


물론, 이 역시도 일런 머스크의 뉴럴 링크와 같은 기술 앞에서는 원자적으로 해체되고, 결국 데이터로 환원될 수 있겠지만 말이다. 최소한 그 최후의 환원이지 않을까 싶은.


독서모임에서 누군가 농담처럼 말했다. "개발자 관두고 타일 시공이나 배워야 하나요?"


우리는 웃어넘겼지만, 뼈 있는 질문이었다. 꼭 타일공이 되어야 한다는 뜻이 아니다. 앞으로 우리가 추구해야 할 가치는 '빠르고 효율적인 처리'가 아니라, '직접 만지고, 느끼고, 교감해야만 완성되는 디테일'에 있을지 모른다는 예감 때문이었다.


나는 오늘 밤에도 클로드가 짜준 매끄러운 코드를 보며 감탄하다가, 퇴근 후 집에 가서 안 열리는 창문을 묵묵히 사포로 갈고 있을 그분의 뒷모습을 상상해 본다.


디지털 세계의 '값싼 완벽함'이 넘쳐날수록, 물리 세계의 '비싼 불완전함'은 더욱 귀해질 것이다. AI가 흉내 낼 수 없는 그 땀 냄새나는 '리얼리티'야말로, 어쩌면 인간이 마지막까지 쥐고 있을 프리미엄일지도 모른다.



image.png



여기서 지독한 허무주의가 고개를 든다. "그래, AI는 타일 시공은 못 해. 하지만 내 정신노동의 99%는 대체할 수 있어. 심지어 나보다 더 빠르고, 더 창의적이고, 더 친절하게."


독서모임에서 누군가 뼈아픈 질문을 던졌다. "AI가 나보다 완벽한 위로를 해주고, 나보다 완벽한 예술을 만든다면, 불완전한 인간이 굳이 존재해야 할 의미가 있나?"


하라리는 <호모 데우스>에서 인간을 알고리즘으로 정의하는 데이터주의(Dataism)를 경계했다. 만약 인간의 본질이 그저 DNA라는 코드로 짜인 정보 처리 기계라면, 탄소 기반의 구형 기계(인간)는 실리콘 기반의 신형 기계(AI)에게 자리를 내어주는 게 순리다.


AI가 다 해주는 세상에서 우리는 기본소득을 받으며 AI가 만든 게임을 하고, AI가 떠먹여 주는 콘텐츠를 소비하며 살 수도 있다. 배부르고 등 따뜻한 삶. 하지만 그것은 주인(Agent)의 삶이 아니라, 주인이 키우는 애완동물의 삶이다.


우리가 타일 업자 아저씨의 투박한 손길에서, 혹은 엉망진창인 인간관계에서 기어이 의미를 찾는 이유는 무엇일까? 그것은 우리가 '죽을 수밖에 없는 존재(Mortal)'이기 때문이다. AI는 영생하지만, 인간은 죽는다. 죽음이 있기에 삶의 매 순간이 절박하고, 상실이 있기에 사랑이 귀하다.


AI는 '사랑해'라는 텍스트를 출력할 수는 있지만, 그 말을 위해 자신의 생을 걸지는 못한다. 데이터에는 떨림이 없다. 이것이 우리가 AI에게 모든 권한을 넘기지 말아야 할, 비논리적이지만 유일한 이유다.



4. 2027년, 카운트다운의 시작


내가 유발 하라리의 <넥서스>를 처음 읽은 건 작년 가을, 책이 출간되자마자였다. 그때 나는 일종의 전율과 공포를 느꼈다. 책이 경고하는 '이질적 지능'의 위협이 너무나 생생했기 때문이다. 하지만 당시 주변의 반응은 놀랍도록 안온했다. "AI? 신기하긴 한데, 그래봤자 도구지. 아직 멀었어."


그리고 불과 1년이 지났다. 지금 세상의 공기는 완전히 달라졌다. 그 안온했던 사람들은 이제 AI의 가능성에 대해 무한 긍정의 컨센서스를 보인다. "AI로 생산성이 폭발했다", "이제 AI 없이는 코딩 못 한다"라며 찬사를 보낸다. 하지만 나는 그 낙관론 속에서 작년 가을보다 더 짙은 공포를 느낀다. 우리는 지금 우리가 무엇을 마주하고 있는지 정말 알고 있는 걸까?


이번 독서모임에서 우리는 최근 실리콘밸리에서 화제가 된 'AI 2027 리포트'를 함께 훑어보았다. (Leopold Aschenbrenner의 Situational Awareness 등을 다룬 논의). 내용은 충격적이다 못해 비현실적이었다.


- 2025~2026년: 인간 수준의 코딩 및 추론 능력을 갖춘 AI 등장.

- 2027년: AGI(인공일반지능) 도달. AI가 AI를 개량하는 '자기 개선(Self-Improvement)' 시작.

- 그 이후: 인간의 지능을 아득히 뛰어넘는 초지능(Superintelligence)의 폭발적 성장(Intelligence Explosion).


image.png


https://ai-2027.com/


보고서의 예측대로라면, 우리가 고민하는 "기획자가 사라지네 마네" 하는 직군 파괴는 귀여운 수준의 예고편에 불과하다. 2027년, 불과 2~3년 뒤에 우리는 인간의 지능으로는 이해조차 불가능한 '신(God)'과 마주하게 될지도 모른다.



많은 사람들이 여전히 "AI가 인간처럼 생각할 수 있나?", "인간의 감정을 가질 수 있나?"를 묻는다. 하라리는 이런 질문 자체가 틀렸다고 지적한다.


"사람들은 흔히 '인간 수준의 지능'을 기준으로 AI를 정의하고 평가하며, 따라서 AI가 언제 인간 수준의 지능에 도달할 것인지를 두고 많은 논쟁이 벌어지고 있다. 하지만 이 기준은 심각한 혼란을 부를 수 있다. 이는 마치 '새 수준의 비행 능력'을 기준으로 비행기를 정의하고 평가하는 것과 같다. AI는 인간 수준의 지능을 향해 발전하고 있지 않다. 그것은 완전히 다른 종류의 지능으로 진화하고 있다." (p.316)


비행기는 깃털을 펄럭이지 않지만 새보다 빠르고 높게 난다. 비행기를 보고 "저건 새처럼 날지 않으니까 가짜야"라고 비웃는 건 어리석다. AI도 마찬가지다. 그것은 인간의 방식(의식, 감정)이 아니라, 우리가 이해할 수 없는 비유기적 방식(확률, 연산)으로 우리를 추월하고 있다.


하라리는 <넥서스>에서 민주주의가 "새로운 테스트를 통과할 보장이 없다"고 했다. 나는 묻고 싶다. 인간이라는 종(Species) 자체가 이 테스트를 통과할 보장이 있는가?


우리는 토론 내내 "인간의 본질은 무엇인가?"를 치열하게 물었다. DNA인가? 정보 처리 능력인가? 아니면 이야기를 믿는 힘인가? 슬프게도 AI는 정보 처리에서 우리를 압도했고, 이제는 스스로 이야기를 지어내 우리를 설득하려 한다. 우리가 '인간만의 성역'이라고 믿었던 창의성, 감정적 위로, 심지어 종교적 체험까지도 이 외계 지능은 시뮬레이션할 수 있다.


이 거대한 해일 앞에서 "그러니까 우리는 훌륭한 디버거가 되어야 합니다" 따위의 실용적인 결론을 내리는 것 자체가 어떤 의미에서는 기만으로 보인다. AI가 초지능이 되어 스스로 코드를 짜고 수정하는 순간, 인간 디버거는 개미가 우주선을 수리하겠다고 덤비는 꼴이나 다름없지 않을까.


우리는 아직 <넥서스>의 2부까지밖에 읽지 않았다. 책은 아직 끝나지 않았고, 우리의 미래도 아직 결정되지 않았다. 하지만 한 가지는 확실하다. 우리는 지금 인류 역사상 가장 위험하고도 매혹적인 '특이점(Singularity)'의 입구에 서 있다. 이 문을 열고 나면, 다시는 문 뒤로 돌아갈 수 없다.


과연 우리는 이 이질적인 존재에게 목줄을 쥔 주인으로 남을까, 아니면 너무 똑똑한 기계를 발명해버린 멸종 직전의 영장류로 기록될까.


image.png


매거진의 이전글진실은 비싸고, 선동은 가성비가 좋다 - 유발 하라리