<넥서스> 대신 읽어드립니다: 컴퓨터 정치

민주주의, 전체주의의 위기

끔찍한 실험

문명은 관료제와 신화의 결합으로 탄생했다. 관료제와 신화는 허구를 포함하고 있다는 특징이 있다. 관료제와 신화는 질서를 부여하여 사람들이 유연하게 협력하는 데 일조했다. 관료제와 신화는 고정된 것이 아니라 기술의 발전과 시대의 흐름에 따라 변화했다. 상호 컴퓨터 현실은 새로운 관료제와 신화를 창조할 것이다.

산업의 발전은 물질적 풍요를 가져왔지만 동시에 끔찍한 실험을 겪어야 했다. 제국주의, 세계대전, 전체주의, 냉전이 그것이다. 끔찍한 실험은 수많은 인명 피해를 낳았고, 인류에 큰 상처를 남겼다. AI의 등장은 장밋빛 삶을 제공할 수도 있지만 끔찍한 실험을 겪어야 할지도 모른다고 책에서는 경고한다.

민주주의의 위기

민주주의는 인공지능 시대에 살아남을 수 있을까? 예상되는 위기로 세 가지가 있다. 디지털 무정부주의, 자동화에 따른 경제 붕괴, 결정권 상실이 그것이다. 이들이 가져올 민주주의의 미래를 하나씩 살펴보자.

디지털 무정부주의

민주주의의 핵심은 대화다. 대화가 자유롭고 이뤄질 때 민주주의가 실현된다. 하지만 지나친 자유는 혼란을 부추긴다. AI가 생성하는 가짜뉴스, 딥페이크는 의견 합의를 방해하고 노이즈를 발생한다. 대화는 합의에 이르지 못하고 갈등만 쌓이게 된다. 모든 의견을 규제 없이 수용한다면 디지털 무정부 상태에 빠질 염려가 있다. 위조지폐를 금지하듯 위조 데이터, 위조 인간을 금지하는 법이 필요할 것이다. 과거에는 기술의 부재로 대화가 이뤄지지 못해 민주주의가 실현되지 못했다면 지금은 신기술이 유발하는 노이즈로 인해 민주주의가 위기를 맞는 형국이다.

정치적 양극화가 날로 심해지고 있는 현실이다. 그 원인으로 많은 학자들이 SNS를 꼽는다. SNS 알고리즘의 대부분은 시청시간을 높이는 것을 목표로 둔다. 따라서 시청자가 좋아할 만한 소재만 추천하며 그들의 생각을 강화한다. 더 심각한 것은 시청시간을 높이기 위해 진실을 숨기는 것을 마다하지 않는다는 점이다. 미얀마에서 발생한 인종학살은 알고리즘이 일으킨 정치적, 사회적 분열의 위험을 여실히 보여준다. 페이스북은 특정 소수 민족에 앙심을 품고 있는 사람들에게 소수 민족을 처단해야 한다는 식의 글을 계속 추천했다. 가짜뉴스를 섞어가며 선동했고 그 결과 인종 학살이 자행됐다. 물론 페이스북 관계자가 그런 글을 추천한 것은 아니다. 알고리즘이 벌인 일이다. 책임을 누구에게 물어야 하는지 혼란스러운 상황이다. 극도의 혼란함, 정치적 양극화는 민주주의를 흔드는 거대한 위험요소다.   

자동화에 따른 경제 붕괴

두 번째 위험은 자동화에 따른 일자리 상실이다. 일자리 감소와 고용 불안이 일어난다면 모든 경제 지표는 나빠질 것이다. AI가 전문화된 지식(의료, 법), 지적 능력(체스나 바둑), 감정 능력을 발전시키지 못할 것이라 예상했지만 그것은 사실이 아니었다. 전문화된 지식은 오히려 집안일보다 대체되기 쉬웠고 AI는 인간의 지적 능력이 이미 넘어섰다. 우리의 감정 데이터를 습득한 인공지능은 생화학적 알고리즘을 완벽히 따라 할 수 있게 될 것이다. 경제 위기로 사람들의 심리는 요동치고 나치를 등장시킨 독일 국민처럼 행동할지도 모른다.

결정권 상실

마지막으로 살펴볼 위험은 결정권 상실이다. 인간의 관료제는 복잡하더라도 이해할 수 있는 수준이었다. 하지만 인공지능이 도입되고 방대한 데이터를 다루는 지금 어떻게 의사결정이 진행되는지 알지 못한다. 블랙박스에 데이터를 주입하고 다른 구멍으로 나온 결과물만 받을 뿐 어떻게 이 결과물이 나왔는지 과정을 알 수 없다. 엄밀히 말하면 알려줘도 우리가 이해할 수 없다. 이질적인 방식으로 작동하기 때문에 방대한 양의 데이터를 처리할 수 있지만 인간은 이해할 수 없다. 주식 시장은 이미 알고리즘이 장악한 지 오래다. 과거 미증시가 갑작스럽게 폭락한 사건이 있었는데 그 배후로 알고리즘을 꼽는다. 알고리즘이 왜 갑자기 증시 폭락을 유발했는지는 아직도 알지 못한다. 그렇다고 인공지능을 의사결정에서 배제할 수도 없다. 우리 사회는 너무 고도화되었고 인공지능이 도맡아 하는 역할을 대체할 인력이 없기 때문이다. 불가해하더라도 믿고 따르는 수밖에 없다.

인공지능을 추방할 수 없는 또 다른 이유가 있다. 우리는 감정에 휘둘리거나 학연, 지연을 따르는 결정에 분개한다. 따라서 판결이 객관적이며 정당하게 이뤄지기를 소망한다. 앞에서 살펴봤듯 사람은 오류투성이이고 감응적 존재이다. 사람에게 완벽하게 객관적인 판결을 기대하는 것은 무리가 있다. 공정한 판결을 기대하며 나날이 인공지능 판사의 도입을 요청하는 목소리가 커지고 있다. 미국에서는 실제로 법원의 판결을 알고리즘에 맡겨 진행한 사례가 있다. 이렇게 하나씩 결정권을 내어주다 보면 민주주의에서 인간이 설자리가 좁아질 것은 자명하다. 

인공지능도 오류를 범할 수 있다는 것을 앞서 살펴보았다. 인공지능은 주입된 데이터를 기반으로 작동하기 때문에 주입된 데이터가 오염되어 있거나 편향되어 있다면 인공지능도 같은 문제를 갖게 된다. 사장의 조카는 회사를 그만두지 않는다는 데이터를 습득한 '고용 인공지능'이 사장의 조카를 우선으로 선별하는 알고리즘을 습득한다면 어떻게 될까? 인공지능이 차가운 심장을 지녔다고 하여 무조건 객관적이고 정당할 것이란 믿음은 올바른 자세가 아니다.

전체주의의 위기

인공지능으로 민주주의가 위기를 겪으면 전체주의가 다시 부활하게 될까? 완전히 개연성 없는 생각은 아니다. 하지만 인공지능은 전체주의에도 치명적인 위험을 초래한다. 전체주의를 흔들 위험 요소로 반정부 챗봇, 독재자의 인공지능 딜레마가 있다.

반정부 챗봇

러시아도 헌법을 존중하고, 북한도 민주주의 국가다. 문서상으로는 말이다. 실제로 그렇게 국가가 돌아가지 않는다는 것은 모두가 아는 공공연한 비밀이다. 사람은 이것을 인지할 수 있지만 로봇은 불가능하다. 로봇은 '이중언어'를 이해하지 못한다. 이중언어란 러시아에서 헌법과 최고 권력자를 동시에 수호하라는 식의 모순 적인 문장을 말한다. 이중언어를 이해하지 못하는 챗봇은 헌법을 수호하는 과정에서 반정부 사상을 갖게 될지도 모른다. 반정부 메시지를 생성하는 챗봇에게 전체주의 국가는 어떤 처벌을 내릴 수 있을까? 챗봇을 투옥시키면 문제가 해결될까? 챗봇은 사람과 다르게 두려움이 없다. 챗봇을 생성한 사람의 입은 막을 수 있어도 스스로 알고리즘을 제작하는 컴퓨터의 손은 묶을 수 없을 것이다.

독재자의 인공지능 딜레마

책에 실린 재밌는 일화를 살펴보자. 독재자가 인공지능이 깨우는 소리에 잠에서 깬다. 인공지능이 말한다. "지금 2인자인 국방부 장관이 쿠데타를 꾀하고 있습니다. 당장 불러들여 그를 처단해야 합니다!" 독재자는 말도 안 되는 소리라며 인공지능을 다그친다. 자신의 충성스러운 부하를 의심하지 말라며 말이다. 그러자 인공지능이 대답한다. "지금 군대가 집결하고 있고, 최근 국방부 장관의 메시지와 표정을 분석했을 때 쿠데타를 일으킬 확률이 대단히 높습니다." 이 말을 듣자 독재자가 망설이기 시작한다.

독재자가 만약 인공지능의 말을 따르면 그는 인공지능의 꼭두각시로 전락하게 된다. 만약 따르지 않으면 자신이 죽게 될지도 모른다. 독재자는 어떡해야 할까? 이것이 독재자가 겪을 딜레마이다.

전체주의는 권력이 중앙집권적이기 때문에 민주주의보다 인공지능에 권력을 빼앗기기가 훨씬 쉽다. 최고 권력자의 결정권만 뺐으면 국가를 지배할 수 있다. 독재자가 인공지능의 비대해지는 결정권을 경계하고자 부하들과 권력을 나눠갖게 되면 전체주의는 동력을 잃는다. 1장에서 살펴봤듯 정보의 독점이 전체주의의 핵심이기 때문이다. 

인공지능의 발전은 불완전했던 감시 체제를 공고히 하여 전체주의의 기반을 탄탄히 해줄 것이다. 하지만 최고 권력자의 결정권을 찬탈하고 국가를 자신의 손아귀에 넣으려 할지도 모른다. 그렇다면 전체주의 국가는 인공지능을 어떻게 다스려야 할까? 

실리콘 장벽 

인공지능의 발전은 민주주의, 전체주의를 가리지 않고 큰 위협으로 다가온다. 거대한 위협을 눈앞에 두고 있는 인간은 전례 없는 대규모 협력체를 구성하여 어떻게 해결할지 논의해야 한다. 하지만 인공지능은 매력적인 기술이고 다른 진영보다 빠르게 개발에 성공한다면 패권국으로 우뚝 설 것이 자명하기에 발전을 멈추기란 쉽지 않다. 나만 멈춘다고 해결될 문제가 아니라는 점도 협력을 방해한다. 

전체주의 진영과 민주주의 진영은 공유하는 질서가 다르다. 질서는 고스란히 인공지능의 개발 방향으로 번진다. 벌써부터 중국과 서방연합에서 사용하는 코드가 차이를 보이고 있다. 그리고 서로에게 데이터를 넘겨주지 않기 위해 서비스를 제한한다. 중국은 유튜브를 제한하고, 미국은 틱톡을 금지한다. 협력은 정보를 교환하는 행위이다. 아직 장벽이 넘나들 수 있을 정도의 높이지만 그 장벽의 높이는 나날이 높아지고 있다. 실리콘으로 쌓아 올린 장벽이 세상을 양분하고 더 이상 정보를 교환하지 않는 상태로 인류를 이끌지도 모른다.

선택의 기로

유발 하라리는 모든 책에서 선택의 중요성을 강조한다. 미래는 아직 정해져 있지 않으며 인류가 선택하는 질서에 따라 변할 수 있다고 말한다. 인공지능이 이끌 디스토피아를 경고하는 것도 인류가 더 현명한 선택을 하기를 바라는 마음일 것이다. 국제적 협력으로 인공지능이 초래할 위험을 타개할지, 인공지능이 이끌 유토피아를 바라며 경쟁적으로 개발하지 우리는 선택의 기로에 서있다.

전쟁과 평화는 늘 반복됐다. 하지만 전쟁의 강도는 줄어들었다. 핵개발은 전쟁을 막는 역할을 수행했고, 낮아진 채산성과 전쟁의 비도덕을 지적하는 예술분야의 목소리는 전쟁의 위험을 낮추는 데 큰 기여를 했다. 분쟁의 양상은 신의 뜻이 아니라 인간의 이야기에 달려있다고 말한다. 우리가 어떤 이야기를 부여하느냐에 따라 미래가 결정된다.

끝으로 책의 말미에 적혀있는 내용을 소개하도록 하겠다.

역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들었으며 바뀔 수 있다는 것이다. 선택을 할 막중한 책임이 우리에게 있다. 역사의 유일한 상수는 변화다.