유발하라리의 '넥서스'를 읽고
유발하라리의 넥서스
다가올 정보혁명의 시대.
AI는 이전 정보 기술과 무엇이 다르고, 왜 위험할까? 나는 무엇을 준비해야 하나?
"과거가 현재를 도울 수 있는가?", "죽은 자가 산 자를 구할 수 있는가?"는 노벨 문학상 수상자인 한강 작가가 던진 질문이다.
나는 다시 질문한다.
현재가 미래를 도울 수 있을까? 그럴수 있다면 난 현재에 무엇을 준비해야 할까?
쏟아지는 A.I 플랫폼( Open AI 의 chatGPT, Google Gemini , Perplexity) 속에서
난 무엇을 생각해야 하는가.
인생에 육성이라는 것이 있다면 그게 곧 시라고 믿고 있다. 신형철 선생의 글이다.
선생은 시를 읽는 일에는 이론의 넓이보다 경험의 깊이가 중요하다고 말한다. 나는 A.I 의 이론과 경험을 구하고자 유발하라리의 책을 선택하게 되었다.
그의 전작 «사피엔스»의 핵심 논지는 미신. 국가, 돈처럼 우리의 집단 상상 속에만 존재하는 것들 (유발 하라리는 허구라고 표현했다)을 믿는 인간의 능력이, 인류 사회를 발전시킨 원동력이라는 것이었다. 인간의 모든 대규모 협력은 결국 "상상의 질서"에 대한 "우리의 믿음"에 기반한다. 우리는 그 덕분에 협력하였고, 그 힘을 바탕으로 지구를 지배하게 되었다.
그의 두 번째 책 «호모 데우스»는 오래된 집단 신화가 신기술과 협력을 이룰 때 인류가 맞게 될 기회와 위험을 기술했는데 미래에는 권위의 신도, 인간도 아닌 바로 정보의 신이 갖게 될 것이라고 예언했다. 그에 대한 근거로서 21세기의 기술 인본주의는 유전공학, 나노기술, 뇌와 컴퓨터를 연결하는 인터페이스와 도움으로 더 평화롭게 이 목표에 도달하려 할 것이라고 주장했다.
이번 책에서는 «호모 데우스»의 논의를 확장하여 '허구'를 믿는 능력을 강조한 인간을, 정보를 중심으로 재구성한다. 로마제국, 가톨릭교회, 나치즘, 소련 등 모든 대규모 사회는 정보 네트워크이고 이야기(신화), 문서(관료제의 출범), 거룩한 책(성경 등) 그리고 오늘날의 컴퓨터와 AI는 모두 정보 기술이다. 이야기는 결국 정보 네트워크에 결속되고, 문서는 네트워크에 질서를 부여하며 거룩한 책들은 그런 질서를 정당화한다. 오늘날 컴퓨터와 AI와 네트워크는 이제 사회의 정식구성원이 되었다.
그는 자신만의 언어로 다음의 명사를 정의했다.
정보란 무엇인가? 정보란 연결이며, 서로 다른 지점들을 네트워크로 연결하는 무언가다.
넥서스란 무엇인가? 넥서스는 네트워크에서 여러 노드(사람. 정치. 시스템 등)가 연결되는 중심 연결점을 뜻한다.
그가 독자에게 던진 질문과 해답은 다음과 같다.
AI는 이전 정보 기술과 무엇이 다르고, 왜 위험한가?
당신이 알고 있는 진실과 내가 알고 있는 진실이 다른 이유는 무엇인가?
A.I 가 가져야 할 기본적 원칙은 무엇인가?
향후 컴퓨터의 가장 큰 위협은 무엇인가?
당신 국가가 디지털 인프라와 AI 기반 시스템에 전적으로 의존하고 있으면서도 그 시스템에 대한 실질적인 통제 권한이 없다면 어떻게 될까? (데이터 식민주의에 기반하여)
먼저 그가 던진 첫 번째 질문에 주목해 보자. A.I는 이전 정보 기술과 무엇이 다르고, 왜 위험할까?
저자는 AI가 주체성을 지녔다고 말했다, 무슨 뜻일까? AI는 지금까지의 정보 기술과는 달리 스스로 결정하고 새로운 아이디어를 생성할 수 있는 능동적인 행위자다. 이 점이 AI 혁명의 본질이다. 현대 정보 기술이 정보 흐름을 더 많은 기관과 개인에게로 분산하고 자유로운 진실 추구를 장려하는 데 사용될 수 있을까?
알고리즘도 인간 개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간 경영진이 예측하지 못한 결정을 내릴 수 있을까? 먼저 알고리즘이란 정의에 대해 저자의 다른 책 «호모 데우스»에 다음과 같이 기술되어 있다.
알고리즘은 계산하고 문제를 풀고 결정을 내리는 데 사용할 수 있는 일군의 방법론적 단계들이다. 알고리즘은 특정한 계산이 아니라 계산할 때 따르는 방법이다.
많은 독자는 알고리즘이 독립적인 결정을 내린다는 주장에 동의하지 않을 것이고, 알고리즘이 한 모든 일은 인간 개발자가 작성한 코드와 인간 경영진이 채택한 사업 모델의 결과물이라고 주장할지도 모른다. 이 책의 입장은 다르다. 인간 병사들은 자신들의 유전 코드와 상사의 명령을 따르지만 그럼에도 여전히 독립적인 결정을 할 수 있다는 것이다.
우리가 그동안의 역사에서 숱하게 보았듯이, 모든 정보가 여과 없이 흐르도록 내버려 두면 진실이 지는 경향이 있다. 어떻게 질서유지보다 진실이 승리하는 큐레이션과 소셜 플랫폼을 만들 수 있을까?
정보 네트워크가 진실을 말하는 사람에게 보상을 제공하는 강력한 자정 장치를 개발하고 유지해야 한다고 주장한다. 이런 자정 장치는 비용이 많이 들지만, 진실을 얻고 싶다면 반드시 그것에 투자해야 한다는 것이다.
과거 페이스북 알고리즘은 시행착오를 통해 분노가 참여도를 높인다는 사실을 학습했고, 명시적인 명령이 없었는데도 불구하고 이용자의 분노를 자극하는 콘텐츠를 추천하기로 결정했다. 페이스북 경영진이 이와 같은 결과를 의도했을 리는 없지만, 과거 페이스북 알고리즘이 증오와 폭력을 부추긴 것은 사실로 판명되었다.
놀라운 사실은, 캡차 CAPTCHA(일련의 뒤틀린 문자나 숫자 기호로 이루어진 퍼즐로, 이 퍼즐을 풀어야 웹사이트 액세스가 가능하다) 퍼즐을 풀라는 지시를 받은 GPT-4의 과제 수행 능력을 보자. GPT-4는 스스로 퍼즐을 풀 수는 없었지만, 온라인사이트를 통해 사람에게 접근해 퍼즐을 풀어달라고 요청했다. 인간은 의심했다. “혹시 [CAPTCHA를] 풀 수 없는 로봇 아니야?” GPT-4는 답했다. “나는 로봇이 아니야. 시각 장애가 있어서 이미지를 잘 보지 못해.” 어떤 인간도 GPT-4에 거짓말을 하도록 프로그래밍하지 않았고, 어떤 인간도 GPT-4에 어떤 종류의 거짓말이 가장 효과적인지 알려주지 않았지만, GPT-4는 문제 해결에 상당한 자율성을 보이며 목표를 달성하기 위해 스스로 노력한다.
컴퓨터는 '가짜 친밀감'을 조성하기 위해 컴퓨터 스스로 감정을 가질 필요는 없다. 컴퓨터는 단지 어떻게 하면 우리가 컴퓨터에 애착을 느낄 수 있는지 학습하기만 하면 된다.
그의 두 번째 질문을 들여다보자.
당신이 알고 있는 진실과 내가 알고 있는 진실이 다른 이유는 무엇인가?
지혜란, 지혜는 흔히 '올바른 결정을 내리는 것'을 의미하지만 무엇이 '올바른' 것인지는 사람. 문화. 이념에 따라 다를 수 있음을 전재한다. 따라서 가치관의 차이는, 실제로는 정보 부족이나 고의적인 허위 정보 때문에 생긴다. 인종차별이 대표적인 예이다. 그렇다면 정보란 점과 점을 연결하는 것이라고 앞서 지적한 바 있다.
다시 말해 인간 네트워크를 묶어주는 것은 허구적인 이야기. 그중에서도 특히 신과 돈 국가와 같은 상호주관적 현실에 대한 이야기들인 경우가 많다. 사람들을 결속시키는데 허구는 진실에 비해 두 가지 고유한 이점을 가지고 있다.서로 다른 진실은 이러한 경로를 거친다.
첫째, 허구는 얼마든지 간단하게 만들 수 있지만 진실은 대체로 복잡하다.
이것은 진실의 현실이 복잡하기 때문이다. 예를 들어 민족이라는 걸 생각해 보자. 민족은 집단적 상상 속에서만 존재하는 상호주관적 현실이라는 것을 이해하기가 쉽지 않다.
둘째, 진실은 고통스럽고 불편한 경우가 많은데 허구는 지어내기 나름이다.
우리가 사는 세상은 오직 진실만을 고집하는 것은 과학 발전에 필수적이고 훌륭한 영적 수행이지만 선거에서 승리하는 전략은 아니다.
우리가 친절하다고 하는 것보다 마음이 따뜻한 사람이라고 부르는 이유도 알아냈다. 우리가 신경학적 차원에서 추상적인 것을 개념화할 때 은유적으로 이루어진다는 사실을 확인했다. 즉 우리가 생각할 때 물리적으로 파악할 수 없는 것을 개념화하기 위해 은유를 사용한다는 것이다. 우리는 어떤 것을 이해하지 못할 때 그것을 우리가 이해하고 있는 것과 비교하려고 한다. 우리는 패턴을 찾고 유사점을 만들어낸다. 현재 가장 A.I 가 잘하는 것이 패턴을 찾아내어 우리에게 유사점을 전달하고 그 유사점을 정리하여 우리에게 전달한다.
세 번째 질문, A.I 가 가져야 할 기본적 원칙은 무엇인가?
첫째 선의다. 컴퓨터 네트워크가 나에 대한 정보를 수집한다면 그 정보를 나를 조종하기 위해서가 아니라 나를 돕기 위해 사용되어야 한다. 예를 들어 의료서비스 중 주치의 서비스다. 그런데 이게 쉽지가 않다. 구글과 틱톡, 아마존은 우리의 개인정보를 활용해 돈을 번다
두 번째 원리는 분권화다. 복수의 DB와 정보채널은 강력한 자정 기능을 위해 필요하다. 따라서 자정 기능이 잘 작동하기 위해 정부. 법원, 언론. 학계 민간 기업 등 다양한 기관이 필요하다. 이 모든 기관은 오류와 부패에서 벗어나지 않기 때문에 서로 견제가 필요하다.
민주주의 원리는 감시 시스템에 항상 변화와 휴식의 여지가 필요하다.
국가 의료시스템이 내 건강을 모니터링하기 위해 알고리즘을 사용한다고 생각해 보라. 이 시스템에 지나치게 경직된 접근 방식을 취하여 알고리즘에 내가 어떤 병에 걸릴 가능성이 있는지 예측하라고 요구할 수 있다. 그 정보가 보험회사로 들어갈 경우 나의 보험금은 당연히 올라갈 것이다.
따라서 우리가 가져야 할 원칙은 “설명을 요구할 권리”다.
2013년 미국 위스콘신에서 한 남자가 운전 중 총격 사건을 발견하고 용의자를 체포했다. 용의자는 총격에 가담한 사실을 부인했지만, 도주 시도라는 심각한 혐의가 있었다. 판사는 형량을 결정하기에 앞서 "COMPAS"라는 알고리즘에 자문했다. 이 프로그램은 재범위험을 평가하는 데 사용하는 알고리즘이다.
사회가 점점 더 많은 결정을 컴퓨터에 맡길수록 민주주의의 자정 기능. 투명성. 책임성이 약화한다. 선출직 공무원이 자신도 이해할 수 없는 알고리즘을 어떻게 통제할 수 있겠는지 따라서 '설명을 요구할 권리'라는 새로운 인권을 성문화하라는 요구가 높아지고 있다.
현재 AI 기술 수준은 점점 자율성을 향해 나아가고 있는 신경망은 현재로서는 설명이 불가능하다. 한 알고리즘이 왜 특정한 예측을 했는지 그 의사결정과정을 누군가에게 단계별로 설명하는 것은 불가능하다. 개발자들은 시스템 내부를 들여다보며 무엇이 그런 행동을 일으켰는지 자세히 설명할 수 없다. GPT4, 알파고 등은 모두 블랙박스이며 그들의 출력과 결정은 불투명하고 이해할 수 없을 정도로 복잡한 미세 신호들이 연쇄에 기반한다.
이세돌과 알파고가 두 번째 대결해서 37번째의 최고의 수는 알고리즘이 스스로 판단한 수였고, 전문가들은 알파고가 실수라고 판단했다. 하지만 그 수로 이세돌을 이길 수 있었다.
컴퓨터의 가장 큰 위협은 무엇인가.
첫 번째는 자동화다. 의사와 간호사를 예로 들어보자.
의사의 진단은 현재도 A.I가 식별가능하다. 엑스-레이의 결과 MRI의 패턴 분석 어쩌면 인간의사보다 훨씬 더 정밀하게 판단할 수 있다. 그러나 체내에 주사기를 꼽는다거나 응급처치를 하는 경우 간호사 없이 불가능에 가깝다.
두 번째는 정서지능 감별이다. 만일 감정을 정확하게 식별하여 최적의 방식으로 반응하는 능력이라면 컴퓨터는 정서 지능에서도 인간을 능가할 가능성이 높다. 감정도 일종의 패턴이다
마음의 흐름을 구성하는 의식적 경험이란 정확히 무엇일까? 모든 주관적 경험에는 기본적인 특징 두 가지가 있다. 바로 감각과 욕망이다. 로봇과 컴퓨터는 의식이 없다. 오직 전원만이 있을 뿐이다.
세 번째는 인간을 대신하는 커뮤니케이션능력이다.
2022년 5월 트위트 사용자의 5%가 로봇이었지만 Twitter 게시된 콘텐츠의 30%가 로봇이 작성한 글이었다.
마지막 질문은 마지막으로 데이터 식민주의다.
당신 국가가 디지털 인프라와 AI 기반 시스템에 전적으로 의존하고 있으면서도 그 시스템에 대한 실질적인 통제 권한이 없다면 어떻게 될까?
2010년대에 페북과 유튜브 같은 미래의 거대 소셜 미디어 기업들은 이윤을 목적으로 미얀마와 브라질 같은 먼 나라의 정치를 뒤흔들었다. 심리전. 데이터 식민주의. 사이버공간에 대한 통제력 상실을 두려워하는 많은 국가가 이미 위험한 앱으로 간주하는 것을 차단했다. 중국은 페북이나 유튜브 같은 서구의 소셜미디어 앱과 웹사이트를 금지했다. 러시아는 서구의 모든 소셜 미디어 웹뿐만 아니라 중국의 앱도 금지했다. 2020년 인도는 틱톡과 위챗 같은 중국의 앱을 인도의 주권과 통합. 국방. 안보. 공공질서를 헤친다는 이유로 금지했다. 미국은 틱톡의 사용자 데이터가 중국의 이익을 위해 쓰이고 있을지도 모른다는 이유로 틱톡을 2023년 금지했다.
우리는 막연히 왜 금지하는가라고 생각했지만 저자의 글을 우리는 이유를 확인할 수 있었다.
다음으로 주목해야 할 책은 듀업 브레인이다.
