제3부: 알고리즘의 제국 - 누가 우리의 생각을 훔치는가
제7장 감응 없는 사회 - 기술 봉건제와 분배의 위기
1절. 끊어진 고리, 그리고 다가오는 위기
우리는 방금 두 편의 짧은 이야기를 통해 인류 지성의 가장 위대하고 아름다운 순간을 엿보았다. 수천 개의 희미한 별빛 속에서 우주의 광대한 뼈대를 읽어낸, 당시에는 제대로 된 직함조차 없이 잊힐 뻔했던 여성 천문학자 헨리에타 리비트. 그리고 자신의 세계를 가득 채운 완전한 침묵 속에서 인류 전체를 위한 벅찬 환희의 송가를 빚어낸 고독한 작곡가 루트비히 판 베토벤. 그들의 삶은 우리에게 ‘생각’이란 고독한 천재의 머릿속에서 번개처럼 터져 나오는 신비로운 영감이 결코 아님을 분명하게 보여준다. 생각은 과정이다. 그것은 뜨거운 질문과 차가운 데이터, 그것들과의 고통스러운 씨름과 비판적인 대화가 서로의 꼬리를 물고 끝없이 이어지는, 역동적인 순환의 고리다.
우리는 이 창조적인 과정을 ‘생각의 건축술’, 즉 다섯 단계로 이루어진 나선형 계단으로 그려보았다. 첫째, 우리의 가장 깊고 내밀한 내면에서 길어 올린 ‘감응 담긴 질문’으로 문을 열고, 둘째, 세상의 모든 조각들, 즉 ‘날것의 데이터’를 겸허하게 모은다. 셋째, 이 혼돈스럽고 이질적인 재료들을 ‘감응적 해석’이라는 뜨거운 가마솥에 넣고 끓여 하나의 의미 있는 가설을 빚어내고, 넷째, 그 소중한 가설을 다시 세상의 차가운 비판 앞에 던져 ‘더 깊어진 질문’으로 담금질한다. 그리고 마침내 다섯째, 이 모든 고통스러운 여정을 통과한 하나의 결과물을 세상에 내놓아 다른 이들을 위한 새로운 출발점이자 단단한 발판이 되는 ‘정당화된 판단’에 이른다.
이 나선 계단이야말로 인류가 수만 년에 걸쳐 시행착오를 통해 발전시켜 온 가장 위대한 발명품일지도 모른다. 그것은 우리를 동굴의 어둠 속에서 끌어내어 달 표면에 발을 딛게 했고, 짐승의 단순한 울음소리를 정교한 시와 장엄한 교향곡으로 승화시켰다. 그런데 만약, 이 아름답고도 연약한 고리가, 이 힘겹게 쌓아 올린 나선 계단이 중간에서 끊어진다면 어떻게 될까? 만약 우리가 이 힘들고 더딘 계단을 한 칸 한 칸 오르는 대신, 버튼 하나만 누르면 눈 깜짝할 사이에 정상으로 데려다주는 초고속 엘리베이터를 갖게 된다면 어떻게 될까?
우리는 이미 그런 시대를 살고 있다. 인공지능이라는 이름의 눈부신 엘리베이터가 우리 앞에 도착했다. 그리고 우리는 그 압도적인 편리함과 눈부신 속도에 매료되어, 우리 자신의 두 다리로 계단을 오르는 법, 그 과정에서 단련되는 근육과 인내심을 점차 잊어가고 있다. ‘생각의 고리’는 지금, 인류 역사상 그 어느 때보다 심각하고 근본적인 단절의 위기에 처해 있다.
첫 번째 단절: 질문의 죽음
‘생각의 고리’를 작동시키는 첫 번째 동력, 그 모든 것의 시작은 바로 ‘감응 담긴 질문’이다. 이 질문은 결핍과 고뇌, 경이로움과 사랑이라는, 우리의 유한하고 상처받기 쉬운 육신이 예측 불가능한 세계와 부딪히며 만들어내는 뜨거운 마찰열에서 태어난다. 하지만 현대 사회, 특히 알고리즘이 지배하는 우리의 환경은 우리에게서 이 ‘생산적인 고통’과 ‘창조적인 결핍’을 교묘하게 앗아가고 있다.
우리의 교육 시스템을 보라. 사실 근대적 의미의 학교는 애초부터 아이들에게 자신만의 고유한 ‘왜?’를 묻도록 격려하기 위해 만들어진 공간이 아니었다. 그것은 거대한 산업 사회를 매끄럽게 돌리기 위해, 지시에 순응하고 규격화된 임무를 수행할 ‘표준화된 부품’을 대량 생산하기 위해 고안된 시스템이다. 따라서 학교는 아이들의 내면에서 우러나온 자연스러운 질문을 억누르고, 교과서 저자와 출제위원이 만들어낸 인공적이고 탈맥락적인 질문만을 던진다. 그리고 그 이미 정해진 ‘정답’을 얼마나 빠르고 정확하게 암기하여 시험지에 옮겨 적는지를 평가한다.
이 시스템 속에서 ‘좋은 학생’이란, 자신만의 엉뚱하고 위험한 질문을 던지는 학생이 아니라, 질문 없이 정답을 가장 효율적으로 찾아내는 학생, 즉 역설적으로 ‘가장 기계를 닮은 인간’이었다. 문제는 이제 그 정답 찾기의 영토에, 인간보다 수만 배는 더 빠르고 완벽하게 정답을 뱉어내는 진짜 기계(AI)가 등장했다는 점이다. 애초에 ‘감응 담긴 질문’을 거세당한 채 기계적인 정답 출력기로 훈련받아 온 우리는, 정답만을 쏟아내는 이 거대한 알고리즘 앞에서 가장 먼저 무용지물이 될 치명적인 위기에 처해 있다.
우리의 미디어 환경은 한술 더 떠 아예 질문이 태어날 공간 자체를 지워버리고 있다. 불과 십여 년 전만 해도 우리는 지식의 바다를 항해하기 위해 스스로 검색창(Search Box) 앞에 서야 했다. 깜빡이는 커서 앞에서 “나는 무엇을 모르는가?”, “어떤 키워드를 조합해야 원하는 답을 얻을 수 있을까?”를 고민하는 것 자체가 작지만 주체적인 사유의 시작이었다. 하지만 오늘날 틱톡, 유튜브 쇼츠, 인스타그램 릴스와 같은 무한 스크롤의 ‘피드(Feed)’ 환경은 검색창마저 치워버렸다. 사용자가 질문을 던지기도 전에, 도파민을 자극하는 영상과 정답들이 끊임없이 입안으로 떠먹여 진다. 1장의 원시인이 우주의 패턴을 어렴풋이 읽어내기까지 필요했던 수많은 밤의 고요함, 베토벤이 위대한 답을 낳기까지 견뎌야 했던 완전한 침묵의 시간은 이제 허락되지 않는다. 우리는 단 1초의 지루함도 견디지 못하고 정보의 홍수 속에서 허우적대며, 정작 자신의 내면 가장 깊은 곳에서 길어 올려야 할 단 하나의 소중한 질문을 던질 기회조차 잃어버렸다.
그리고 마침내, AI는 이제 우리의 질문에 답하는 것을 넘어, 우리가 무엇을 질문해야 할지까지 예측한다. 나의 건강 데이터를 분석하여 “최근 수면의 질이 낮아졌습니다. 맞춤형 명상 프로그램을 추천해 드릴까요?”라고 묻는다. 나는 “나는 왜 요즘 이토록 불안하고 잠을 이루지 못할까?”라는 고통스럽고 실존적인 질문을 스스로에게 던지기도 전에, 깔끔하게 포장된 해결책을 제시받는다. ‘감응’이 담긴 질문은 문제 상황에 대한 나의 주체적인 반응이자 고통스러운 씨름의 시작이지만, AI는 내가 그것을 깊은 고통으로 느끼기 전에 효율적인 마취제를 놓아버린다.
비바람을 견디며 스스로 가지를 뒤틀고 뻗어 나가는 야생 나무의 장엄한 아름다움은 거세된 채, 우리는 온실 속 정원수처럼 안전하고 윤택하게 관리될 것이다. 하지만 온실 속의 정원수는 스스로 깊은 뿌리를 내리거나 거친 껍질을 두를 필요가 없기에, 온실의 유리가 깨져 스며든 한 줄기의 낯선 틈새바람이나 미세한 온도의 변화 앞에서도 속절없이 시들어 죽고 마는 치명적인 취약성을 안게 된다. 스스로 질문을 던지고 고통과 씨름하며 길러내야 할 삶의 ‘면역력’을 알고리즘에 모두 양도해버린 인간 역시, 기계가 예측하지 못한 아주 작은 불확실성이나 삶의 위기 앞에서 뿌리째 무너져 내릴 수밖에 없을것이다. 질문이 죽어버린 세계, 그곳은 한없이 연약하고 평온한 지옥이다.
두 번째 단절: 생각의 외주화(Outsourcing)
‘생각의 고리’의 두 번째와 세 번째 단계는 날것의 데이터를 모아, 혼돈의 가마솥에서 의미 있는 가설을 끓여내는 고통스럽고 지난한 과정이다. 헨리에타 리비트는 눈이 빠질 듯한 고통 속에서 수천 장의 유리 건판과 씨름했고, 베토벤은 수백 개의 버려진 악상과 전쟁을 치르며 정신이 피폐해져 갔다. 바로 이 ‘생산적인 좌절’의 과정 속에서 그들의 생각은 강철처럼 단련되고, 깊어지고, 마침내 세상에 없던 새로운 모습으로 빛나며 태어났다.
하지만 인공지능은 우리에게서 이 고통스럽고 창조적인 과정을 통째로 ‘외주화’할 것을 제안한다. 한 대학생이 “셰익스피어의 <햄릿>에 나타난 복수의 윤리학”에 대한 중요한 학기말 리포트를 써야 한다고 상상해 보자. 과거의 학생이라면 도서관에서 수십 권의 책을 빌리고, 아리스토텔레스의 <니코마코스 윤리학>과 칸트의 <실천이성비판>의 난해한 문장들과 씨름하며 치열하게 분투했을 것이다. 수없이 길을 잃고 좌절하는 그 고통스러운 과정 속에서, 그는 마침내 세상의 다른 누구도 아닌 바로 자신만의 고유한 해석을 찾아냈을 것이다.
하지만 AI 시대의 학생은 다르다. 그는 AI 챗봇에게 단 한 줄의 세련된 명령어를 입력한다. “셰익스피어의 햄릿에 나타난 복수의 윤리학에 대해, 아리스토텔레스의 중용 사상과 칸트의 정언명령 개념을 중심으로 비교 분석하는 5000단어 분량의 리포트 초안을 작성해 줘.” 단 몇 분 뒤, 완벽한 구조와 유려한 논리, 그럴듯한 각주까지 달린 리포트가 생성된다.
물론 오늘날 대학마다 AI 표절 검사 시스템이 도입되어 있기에, 학생들은 이것을 그대로 복사해 제출하는 어리석은 짓은 하지 않는다. 대신 그는 표절 검사기를 피하기 위해 AI가 잡아준 완벽한 논리 구조와 뼈대를 바탕으로, 문장을 살짝 비틀고 유의어로 교체하며 자신의 투박한 문체를 덧입히는 이른바 ‘세탁(혹은 편집)’ 작업을 수행한다. 이 정교한 위장술 덕분에 그는 표절 검사를 무사히 통과하고 A+ 학점을 받았을지 모른다.
하지만 그는 과연 무엇을 배웠는가? 그가 이 리포트를 완성하기 위해 들인 시간과 노력은 결코 ‘사유의 노동’이 아니었다. 그것은 단지 기계의 눈(탐지기)을 속이기 위한 ‘편집의 노동’이었을 뿐이다. 그는 햄릿의 실존적 고뇌에 ‘감응’하지 않았고, 칸트의 엄격함 앞에서 좌절하지 않았다. 혼돈의 가마솥에서 의미를 끓여내는 그 뜨거운 과정을 통째로 AI에게 외주화해버림으로써, 그는 지식의 ‘생산자’가 아니라 AI가 생산한 지식의 세련된 ‘유통업자’이자 ‘윤색가’로 전락했다.
이것이 바로 수많은 AI 전문가들이 그토록 경고하는 ‘디스킬링(Deskilling)’, 즉 기술적 탈숙련화의 무서운 본질이다. 내비게이션에 전적으로 의존하는 운전자가 점차 지도를 읽고 낯선 길을 개척하는 능력을 잃어버리듯, 생각의 뼈대를 세우는 과정을 기계에 의존하는 인간은 논리를 구축하고 이질적인 아이디어를 연결하는 뇌의 근육을 잃어버리게 된다. 우리는 똑똑한 기계를 얻는 대가로, 스스로 바보가 되는 길을 걷고 있는지도 모른다.
세 번째 단절: 비판의 실종
‘생각의 고리’의 네 번째 단계는 내가 힘들게 만든 가설을 다시 세상의 차가운 비판 앞에 던져 담금질하고 단련시키는 과정이다. 창발적인 사상가는 자신의 생각이 틀렸음을 증명하려는 ‘악마의 변호인’과 기꺼이 논쟁한다. 하지만 인공지능이 만들어내는 결과물은 너무나 완벽하고, 방대한 데이터를 기반으로 하고 있어 우리 같은 평범한 인간이 비판할 엄두조차 내기 어렵게 만든다.
5장에서 딥 블루와의 역사적인 대결에서 위대한 챔피언 가리 카스파로프를 무너뜨린 것은 기계의 순수한 계산 능력이 아니었다. 기계가 둔 이해할 수 없는 수에서 ‘신과 같은 심오한 의도’를 지레짐작하며 스스로 심리적으로 무너진 카스파로프 자신의 상상력이었다. 이처럼 우리는 기계의 압도적인 산출물 앞에서 주눅이 들어 비판적 사고를 무장해제 해버린다. 심리학자들은 이를 ‘자동화 편향(Automation Bias)’이라고 부른다.
여기에 현대 인공지능이 가진 기술적 본질, 즉 ‘블랙박스(Black Box)’ 속성이 더해지면 인간의 비판은 원천적으로 봉쇄된다. 수억, 수조 개의 매개변수(Parameter)가 얽혀 결론을 도출하는 딥러닝 인공지능은, 심지어 그것을 만든 개발자조차 ‘왜’ 그런 결과가 나왔는지 명확히 설명하지 못한다.
한 젊은 의사가 환자의 CT 사진을 판독하며 자신의 직관(감응)으로는 희미한 암세포의 그림자를 느꼈다고 가정해 보자. 하지만 최첨단 AI 시스템이 “99.8% 확률로 정상”이라는 판정을 내놓는다. 만약 그 상대가 인간 선배 의사였다면, 그는 “선배님, 저는 이 부분이 의심스러운데 왜 정상이라고 보셨습니까?”라고 묻고 치열하게 토론(변증법)할 수 있다. 하지만 거대한 블랙박스인 AI에게는 논쟁을 걸 수 없다. AI는 그저 압도적인 확률값만을 뱉어낼 뿐, 그 험난한 사유의 궤적을 인간의 언어로 정당화해주지 않기 때문이다. 결국 이미 과중한 업무로 피곤에 지친 의사는 AI의 권위에 굴복하고 만다. 만에 하나 나중에 오진으로 밝혀지더라도, “저는 세계 최고의 성능을 가진 AI 시스템이 내린 객관적인 판단을 따랐을 뿐입니다”라고 자신의 책임을 회피할 수 있는 달콤한 유혹이 있기 때문이다.
이 과정이 반복되면, 이 젊은 의사는 점차 자신의 눈으로 CT 사진 속 미세한 그림자의 차이를 읽어내는 섬세한 능력을 잃어버리게 될 것이다(디스킬링). 그리고 그는 더 이상 환자의 역사와 삶 전체를 보며 최선의 결정을 내리기 위해 고뇌하는 ‘치유자’가 아니라, AI가 내린 진단서를 환자에게 정확히 전달하는 ‘기술자’ 혹은 ‘정보 전달자’로 전락할 것이다. 이것이 과연 피할 수 없는 미래일까? AI의 차가운 '설명'이 인간의 따뜻한 '정당화'를 대체하는 것이 아니라, 이 둘이 반드시 서로를 보완하도록 강제할 수는 없을까? 의료, 사법, 금융처럼 인간의 삶에 중대한 영향을 미치는 영역에서만큼은, 기계의 판단이 반드시 인간의 고유한 '감응 통과'를 거쳤음을 인증하고 그 책임을 명확히 하는, 새로운 '판단의 구조'를 설계해야 하지 않을까? 그렇지 못한다면 ‘생각의 고리’에서 가장 중요한 비판과 재검증의 단계가 사라지면서, 인간은 더 이상 책임지는 주체가 아니라 거대한 시스템의 순응적인 부품이 되어버린다. 블랙박스 앞에서는 대화가 성립하지 않으며, 대화가 없는 곳에서 비판은 실종된다.
네 번째 단절: 책임의 증발과 도덕적 크럼플 존
마침내, 생각의 나선 계단의 마지막 층계, 즉 세상에 하나의 단단하고 신뢰할 수 있는 벽돌을 내놓는 ‘정당화된 판단’의 단계마저 붕괴한다.
생각의 과정을 완전히 외주화한 학생의 리포트는 누구의 지적 재산인가? AI의 블랙박스 진단을 그대로 따른 의사의 오진으로 환자가 사망했다면 그 책임은 누구에게 있는가?
‘생각의 고리’ 전체가 토막 나버린 세계에서, ‘판단’은 더 이상 한 인간이 자신의 이름과 명예, 존재를 걸고 세상에 내놓는 무거운 행위가 아니다. 그것은 누구도 온전히 책임지지 않는 익명의 정보 조각이 된다. 하지만 현실 세계에서 사고가 발생했을 때, 그 피해는 결코 추상적으로 증발하지 않는다. 누군가는 반드시 피를 흘리고 법정에 서야 한다. 바로 이 지점에서 현대 기술 사회의 가장 잔인한 민낯이 드러난다.
문화인류학자 매들린 엘리시(Madeleine Elish)는 이 비극적인 현상을 ‘도덕적 크럼플 존(Moral Crumple Zone)’이라는 서늘한 개념으로 설명한다. 자동차가 충돌할 때 승객(엔진과 핵심 부품)을 보호하기 위해 스스로 찌그러지며 충격을 흡수하도록 설계된 앞범퍼 공간을 ‘크럼플 존’이라 부른다. 엘리시에 따르면, 오늘날 거대한 AI 시스템이 참사를 일으켰을 때, 그 시스템을 설계한 막강한 거대 기업과 알고리즘은 뒤로 숨어버린다. 그리고 그 거대한 기계의 가장 말단에서 시스템의 지시를 따를 수밖에 없었던 연약한 ‘인간 작업자’(오진을 내린 평범한 의사, 자율주행차의 보조 운전자, 알고리즘의 지시대로 배달을 하던 노동자)가 도덕적, 법적 비난의 충격을 온몸으로 흡수하며 찌그러진다는 것이다.
우리는 생각의 고통스러운 과정을 기계에 넘겨주는 대가로, 기계가 저지른 오류의 책임만을 독박 쓰는 억울하고 무력한 범퍼로 전락하고 있다. 이것이 바로 우리가 다음 장에서 본격적으로 마주하게 될, 알고리즘이 군림하고 인간이 책임을 뒤집어쓰는 ‘기술 봉건제’의 서막이다.
결론: 갈림길에 선 인류
우리는 지금 인류 지성사의 거대한 갈림길에 서 있다.
하나의 길은 넓고 편안하며 내리막길로만 이루어진 ‘퇴행의 길’이다. 질문하는 능력을 알고리즘 피드에 빼앗기고, 생각의 고통을 AI에 외주화하며, 블랙박스 앞에서 비판의 칼날을 거둔 채, 최종적인 참사가 벌어지면 거대 시스템을 대신해 찌그러지는 도덕적 크럼플 존이 되는 길. 이 길의 끝에서 우리는 전능한 기계의 보살핌 아래 고뇌 없는 안락함을 누릴지 모르나, 그것은 주체성을 상실한 가축의 평온함일 뿐 인간의 존엄은 아닐 것이다.
또 다른 길은 좁고 험난하며 가파른 오르막으로만 이루어진 ‘재창조의 길’이다. AI라는 강력한 도구를 거부하는 것이 아니라, 그것을 우리 자신의 ‘생각의 고리’를 단련시키는 스파링 파트너로 삼는 길. 쏟아지는 피드 속에서도 멈춰 서서 스스로 질문을 던지고, AI가 찾아준 데이터를 내 안의 ‘감응’이라는 뜨거운 용광로에서 녹여내며, 블랙박스의 결론을 기어코 의심하고, 최종적인 판단 앞에서는 내 이름과 존재를 걸고 온전한 책임을 지는 길.
이 두 번째 길은 훨씬 더 고통스럽다. 그것은 끊임없는 자기 의심과 겸손, 그리고 타인에게 미룰 수 없는 무거운 책임을 요구한다. 하지만 이것이야말로 수만 년 전 인류가 어두운 동굴 밖으로 걸어 나오며 시작했던 그 위대하고 고독한 사유의 여정을 계속 이어나갈 수 있는 유일한 길이다.
그렇다면 우리는 구체적으로 어떻게 이 두 번째 길을 걸어갈 수 있는가? 어떻게 이 거대한 ‘생각 파괴자’를 통제하여 인간의 존엄을 지켜낼 수 있는가? 그 구체적인 구조적 모순과 새로운 사회의 청사진을 파헤치기 위해, 우리는 이제 알고리즘이 건설하고 있는 거대한 제국의 심장부, ‘기술 봉건제’의 서늘한 실체 속으로 들어가야 한다.