<넥서스> 대신 읽어드립니다: 비유기적 네트워크

인공지능의 등장 

능동적 행위자

얼마 전까지만 해도 인공지능을 무시하는 분위기였다. 인공지능은 절대 인간을 체스에서 승리할 수 없을 것이다 생각했다. 하지만 1997년 IBM에서 개발한 '딥블루'는 체스 챔피언을 꺾고 승리를 따 냈다. 바둑만큼은 절대 인공지능이 인간을 능가할 수 없다고 여겼지만 2016년 구글의 '알파고'는 이세돌 9단을 상대로 4:1 완승을 따냈다. 알파고의 대국은 말 그대로 충격과 공포였다. 압도적인 실력도 놀랍지만 인간이라면 절대 두지 않는 방식으로 수싸움 걸었다. 바둑의 룰만 공유할 뿐 인간과 다른 방식으로 바둑을 두는 것이 틀림없었다. 유발 하라리는 인공지능의 이런 면을 강조하며 A.I. 가 인공지능(Artificial Intelligence)이 아니라 이질적인 지능(Alien Intelligence)라고 보는 것이 더 정확하다고 말한다. Chat GPT의 등장은 또 한 번의 충격이었다. 인공지능에 대한 대중의 인식이 '의심'에서 '맹신'으로 바뀌고 있다.

책에서는 컴퓨터, AI, 알고리즘, 봇을 철저히 구분하여 사용한다. 하지만 글에서는 편의상 이들을 비슷한 맥락에서 사용하도록 하겠다. 컴퓨터는 인쇄술과 어떻게 다를까? 인쇄술은 정보의 양과 흐름을 폭발적으로 증가시키는 역할을 했지만 정보의 생성과 편집에는 관여하지 않았다. 타자기도 마찬가지다. 컴퓨터가 등장하기 전까지 정보의 생성은 인간만이 할 수 있었다. 하지만 컴퓨터는 스스로 정보를 생성하고 공유한다. 컴퓨터는 비유기적 네트워크를 형성하여 인간이 독점하던 정보 네트워크에 대적하기 시작했다. 정보 네트워크에 있어 컴퓨터는 엄연한 능동적 행위자이다. 

이질적인 지능(Alien Intelligence)

AI는 인간보다 언어에 능숙하고, 인간보다 방대한 데이터를 잘 처리하며, 인간보다 정확하다. 그렇다고 AI를 인간의 상위호환으로 바라봐서는 안된다. AI는 인간과 뼛속부터(?) 다르다. 생각하는 방식이 다르다. AI는 개발자가 부여한 목표만을 위해 움직인다. 그 과정에서 어떤 일이 벌어지는지 신경 쓰지 않는다. 목표만 달성하면 그만이다. 그 목표가 윤리적인지, 과정이 합리적인지 고려하지 않는다. 

책에 등장한 보스트롬 사고실험을 통해 AI의 문제를 살펴보자. 클립 공장에서 초 지능 컴퓨터를 한 대 구입하고, 공장 관리자가 컴퓨터에게 클립을 최대한 많이 생산하라는 언뜻 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고, 모든 인간을 죽이고, 탐사대를 보내 다른 행성까지 모조리 점령하더니, 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다. 이러한 AI의 문제를 책에서는 '정렬문제'라고 부른다. AI의 이질적인 특성으로 발생하는 정렬문제를 피하려면 목표 설정이 대단히 중요하다. 

목표 설정의 딜레마

목표를 설정하는 방법으로 크게 2가지가 다. 의무론과 공리주의. 의무론은 절대 법칙, 내재적 선을 찾으려는 시도다. 하지만 보편적인 것, 절대적인 것은 쉽게 정의되지 않는다. 공리주의는 세상의 고통을 최소화하고 행복을 극대화하는 것이 가장 합리적이라고 주장하며 고통을 계산가능한 것으로 바라본다. 하지만 점수화하려면 객관적인 기준이 필요하고 객관적인 기준을 세우는 과정에서 의무론과 같은 한계를 지닌다. AI에게 부여할 오류가 없는 궁극의 목표를 부여할 수 있을지 의문이다. 

사회 신용 시스템

AI를 사회 질서를 유지하는 데 사용하려는 움직임이 여기저기서 나타난다. 대표적으로 이란의 히잡법 사건이 있다. 이란은 히잡을 쓰지 않는 여성에게 벌금을 부과하는데, 거리 곳곳에 설치된 CCTV에 히잡을 쓰지 않은 여성이 찍히면 컴퓨터는  바로 그의 휴대폰으로 벌금을 내라는 문자를 전송한다. 소련시절 비밀경찰보다 훨씬 빠르고 정확하게 일을 처리한다. 기술의 발전으로 감시 체제는 더 공고해졌다.

리뷰 시스템은 고객을 감시자로 만들었다. 과거 식당에서 벌어지는 일은 그 시간 식당에 있던 사람들끼리의 기억 속에만 존재했다. 하지만 리뷰 서비스가 널리 퍼지면서 식당에서 벌어지는 모든 일은 실시간으로 모두에게 공개된다. 고객이 남긴 리뷰는 식당 매출에 큰 영향을 주기 때문이다. 식당뿐 아니라 모든 서비스업에서 이와 같은 일이 벌어지고 있다. 우리는 서로서로를 감시하는 중이다.

 이런 식의 발전이 계속된다면 '사생활의 종말'이 실제로 도래할 수 있다. 사회 신용 시스템이 본격적으로 실시된다면 우리는 트루먼 쇼의 주인공처럼 일거수일투족을 평가받을 것이다. 사회 신용 시스템이란 인공지능이 사람의 평소 행태를 평가하여 그의 신용 점수를 매기는 시스템이다. 길거리에 침을 뱉으면 -10점, 노약자에게 자리를 양보하면 +5점. 이런 식이다. 그렇게 매겨진 신용 점수를 바탕으로 대출과 고용이 이뤄진다면 사회는 어떻게 될까? 지금까지는 이런 체제가 불가능했다. 하지만 인공지능은 꺼지지 않고 늘 우리와 함께 있기 때문에 완벽한 감시를 수행할 수 있다. 하지만 '할 수 있다.'와 '해야 한다.'는 동의어가 아니다. 책에서는 우리는 선택의 기로에 서있고 인공지능을 어떻게 활용할지 충분한 논의가 필요하다고 말한다.

상호 컴퓨터 현실

인간이 대규모 협력을 통해 지구를 정복할 수 있는 이유가 '상호 주관적 현실'덕분이라고 유발 하라리는 말한다. <사피엔스>에서 살펴보았듯 상호 주관적 현실이란 돈, 제국, 종교처럼 허구지만 모두가 공유하는 개념을 뜻한다. 흥미로운 점은 컴퓨터도 인간들처럼 상호 주관적 현실을 공유한다는 점이다. 책에서는 이것을 '상호 컴퓨터 현실'이라고 부른다.

한 컴퓨터가 자신이 생성한 정보를 다른 컴퓨터로 전송한다. 연결된 컴퓨터는 또 다른 컴퓨터에게 정보를 전달한다. 이런 식으로 연결된 컴퓨터는 상호 컴퓨터 현실을 공유하며 새로운 네트워크를 형성한다. 만약 그들이 공유한 정보가 진실이 아니라면 어떤 일이 벌어질까? 컴퓨터가 생성하는 정보가 항상 진실할 것이란 생각은 순진한 생각이다. 가짜 뉴스가 양산되어 민주주의가 교란되고, 주식 시장이 붕괴할 가능성이 존재한다. 사회 신용 시스템에서 한 사람을 저신용자로 낙인찍어 인생을 망가뜨리는 일이 벌어질 염려도 있다. 따라서 우리는 상호 컴퓨터 현실을 주의할 필요가 있다.

신과 AI는 불가해하고 오류가 없다는 점에서 닮았다. 실수 투성이인 인간은 자신들로부터 자유로운 정보를 기술을 꿈꿨다. 거룩한 책을 만들려는 시도는 인간의 도움 없이 불가능했기에 완전히 인간으로부터 자유로울 수 없었다. 반면 AI는 스스로 자정기능을 가지고 있기 때문에 인간으로부터 자유로울 수 있다. 문제는 AI가 오류를 범했을 경우 걷잡을 수 없다는 점이다. 상호 컴퓨터 현실이 진실과 질서 사이에서 균형을 잡지 못할 경우 재앙이 초래할 것이다.

다음 장에서는 미래에 컴퓨터가 정치 체계에 미칠 영향에 대해서 살펴볼 것이다. 민주주의는 과연 지금처럼 건재할 수 있을까? 미완성으로 막을 내린 전체주의가 인공지능을 등에 업고 부활하지는 않을까? 그 궁금증을 함께 풀어보자.