넥서스 - 유발 하라리

그리고 Lex Fridman과 그의 인터뷰

유발 하라리를 단숨에 세계적인 역사학자, 스타로 만들어준 그의 책 '사피엔스'를 읽고 나서, 종교를 사람들을 응집하기 위한 수단 관점에서 분석하며 이야기를 풀어나가는 것에 엄청난 충격을 받았던 기억이 난다. 아마도 한 권의 책을 읽기 전과 이후 내 세계관에 가장 큰 변화를 춘 책이었던 것 같다.

이번 책 '넥서스'를 읽고 나서도 비슷한 경험을 했다. 책을 읽기 전에는, AI 기술 개발의 속도를 늦춰야한다는 사람들의 말에 - 기술 자체가 문제가 아니라, 그 기술을 사용하는 사람들의 의도에 문제가 있는 것이니 개발 자체를 늦출 필요는 없지 않나? 라고 생각했었고, 책을 다 읽은 지금은 AI 기술이 가지는 잠재적인 위험성에 격렬하게 공감하고, 제도적으로 어떤 제동을 걸어야한다는 견해가 생겼다.

https://youtu.be/Mde2q7GFCrw?si=_pGWShcI89U02i9F

책을 읽고 나서 본 그의 인터뷰에서 그는 - 앞으로 인간이라는 종이 1-2세기 안에 멸종할 것으로 본다고 한다. 전에는 이런 말을 미디어에서 접하면 - 너무 극단적인 생각 아닌가? 싶었는데 지금은 충분히 그럴 가능성이 있어보인다.

인터뷰 말미에, 삶의 의미가 무엇이냐고 물어보는 인터뷰어의 질문에 그는 이렇게 이야기한다.

삶의 의미는 어떤 스토리가 아니다. 우주는 어떤 이야기처럼 구성되어있는 것이 아니다. 산다는 것은 우리의 감정과 고통 등의 감각을 충분히 느끼고, 그에 반응하는 것이다. 삶을 이해하고 싶다면, 삶의 의미를 어떤 스토리에서 찾는 것이 아니라 (종교적인 의미), 말로 표현되지 않는 방식으로 관찰해야한다. 그리고 고통을 느끼는 것은 중요하다. 그것이 나의 고통이던, 타인의 고통이던.

하루에 2시간 동안 명상을 하고, 1년에 2달씩 침묵 수행을 한다는 유발 하라리. 우리의 삶이 얼마나 많은 허구적인 이야기로 뒤덮여 있는지, 그리고 그 허구를 비워내면 감각에 집중할 수 있다. 삶은 고통이라는 부처의 말과 일맥상통하는 부분이 있는 것 같다.

나조차도 하루종일 움직일 땐 팟캐스트, 오디오북을 듣고, 쉴땐 영상을 보거나 책을 읽으며 내 하루를 온통 이야기로 가득 채운다. 요가를 하거나, 자기 전을 빼곤 가만히 내 생각과 감각을 느끼는 시간이 별로 없는데, 이 책과 인터뷰를 계기로 앞으로 감각을 느끼는 시간들을 의도적으로 늘려봐야겠다.

책을 한 마디로

디지털화된 지능이 우리 일상생활로 들어오고 있는 이 상황에 너무나 시의적절한 책. 누구에게나 일독을 권합니다.

핵심 아이디어

우리 사피엔스가 세상을 지배하는 것은 우리가 지혜로워서가 아니라 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문이다.

저울을 진실 쪽으로 기울이기 위해 따로 노력을 기울이지 않는다면, 정보의 양과 속도가 증가할수록 비교적 드물고 값비싼 진실한 정보가 그보다 훨씬 흔하고 값싼 유형의 정보에 파묻힐 가능성이 높다. 자유로운 정보 시장에서는 진실보다 분노가 우세할 가능성이 높기 때문이다. 진실이 승리하려면, 균형추를 팩트쪽으로 기울일 수 있는 힘을 가진 큐레이션 기관을 설치해야 한다. 하지만 카톨릭교회의 역사에서 보았듯이, 그런 기관은 큐레이션 권한을 이용해 자신에 대한 비판을 틀어막을 가능성이 있다.

어떤 이야기는 상호주관적 현실을 창조할 수 있다. 통증과 같은 주관적 현실은 한 개인의 마음속에 존재하는 반면, 법이나 신, 국가나 기업, 화폐와 같은 상호주관적인 현실은 수많은 사람들의 마음을 연결하는 곳에 존재한다. 수많은 사람들이 그것에 대해 이야기를 나누면 생기고, 이야기하지 않으면 사라진다. 즉 상호주관적 현실은 정보를 교환할 때 생긴다.

힘은 진실과 질서 모두에서 나오지만, 현실에서 폭탄 제조법이나 매머드 사냥법을 아는 사람들에게 지시를 내리는 쪽은 대개 이데올로기를 구축하고 질서를 유지하는 방법을 아는 사람들이다. 실제로 로버트 오펜하이머가 프랭클린 델러노 로스벨트에게 복종했지 그 반대가 아니었다. 마찬가지로 베르너 하이젠베르크가 아돌프 히틀러에게복종했고, 이고리 쿠르차토프는 이오시프 스탈린의 결정을 따랐으며, 현대 이란의 핵물리학 전문가들은 이슬람교의 시아파 신학 전문가들의 명령을 따른다.

컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다. 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 가해야 한다는 것이다. 계산기에 잘못 정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 잘못 정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.

프레임워크

인간 정보 네트워크의 역사는 승리의 진군이라기보다는 진실과 질서 사이에서 균형을 맞추는 아슬아슬한 줄타기였다.

칸트 vs 밀 = 정언명령 vs 공리주의의

마음에 드는 문장

인간의 삶은 자기 개선 노력과 자기 수용 사이의 균형 잡기다. 인간은 번뇌하기 마련이다.

역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들었으며 바뀔 수 있다는 것이다. 모든 오래된 것은 한때 새로운 것이었다. 역사의 유일한 상수는 변화다.

정치는 주로 우선순위를 정하는 문제다.

인상 깊은 일화

나폴레옹과 조지 w. 부시 모두 정렬 문제의 희생자였다. 그들의 단기적인 군사 목표가 자국의 장기적인 지정학적 목표에 부합하지 않았던 것이다. 정치적 목표가 분명해야 군대가 그 목표를 달성하기 위한 군사전략을 결정할 수 있다.

인간은 매우 복잡한 존재이고, 건강한 사회질서는 우리의 미덕을 함양하면서도 부정적인 경향을 억제할 수 있는 방법을 모색한다. 하지만 소셜 미디어 알고리즘은 우리를 단순히 관심을 채굴하는 광산으로 본다. 그 알고리즘들은 인간의 다면적인 감정(증오, 애정, 분노, 기쁨, 혼란 등)을 단 하나의 포괄적인 범주인 '참여도'로 환원했다.

책 중에서

정보는 네트워크를 하나로 결속시키는 접착제다. 하지만 사피엔스는 수만 년 동안 신, 마법에 걸린 빗자루, ai같은 것들에 대한 허구, 환상, 집단 망상을 꾸며내고 퍼뜨리는 방법으로 대규모 네트워크를 구축하고 유지해왔다. 인간 개개인은 자신과 세상에 대한 진실을 추구하는 경향이 있어도, 대규모 네트워크는 허구와 환상에 의존하여 사회 구성원들을 묶고 질서를 유지한다. 나치즘과 스탈린주의는 이렇게 탄생한 것이다. 두 체제는 이례적인 망상으로 결속된 이례적으로 강력한 네트워크였다. 조지 오웰이 남긴 유명한 말처럼 무지가 힘이 된 것이다.

- 허구: 종교, 돈, 비트코인, 국가 ... 눈에 보이지 않는 가상의 것들, 사회적 약속

순진한 정보관은 더욱 강력한 정보 기술 개발을 정당화함으로써 컴퓨터 시대와 인터넷 세계의 준공식적인 이데올로기가 되었다. 이들을 가장 간명하게 요약한 말을 꼽자면 "전 세계의 정보를 정리하여 모두가 편리하게 이용할 수 있도록 하는것"이라는 구글의 사명 선언문일 것이다. 괴테의 경고에 대한 구글의 답변은 이렇다. 스승의 비밀 주문 책을 슬쩍한 한 명의 제자는 재앙을 초래할 수 있지만, 많은 제자들이 전 세계 모든 정보에 자유롭게 접근할 수 있을 때 그들은 일을 도와줄 마법의 빗자루를 만들어낼 뿐만 아니라 그것을 지혜롭게 다루는 방법도 배울 것이다.

- 그러니까, 사람의 의지가 문제이지, 사람이 쓰는 도구의 기능이 부족해서 우리가 이 많은 사회 문제들을 못풀고 있는 것이 아니다.

- 기후변화의 현실을 인정하는 것과 해결 방법을 찾는 것은 다른 문제다. 우리에게는 항상 여러 가지 선택지가 있으며, 그중에서 무엇을 선택하느냐는 진실의 문제가 아니라 욕망의 문제다.

AI의 힘은 기존의 인간 갈등을 증폭하여 인류를 분열시킬 가능성이 있다.

정치학자 카스 무데는 포퓰리즘은 "사회가 궁극적으로 '순수한 국민'과 '부패한 엘리트'라는 두 개의 상호 적대적인 동질적 집단으로 나뉜다고 생각하는 이데올로기"라고 설명했다.

과학은 개인적인 탐구가 아니라 제도적인 협업이다.

우리가 보통 이념적, 정치적 갈등으로 여기는 것은 많은 경우 대조적인 정보 네트워크들의 충돌이다.

기관과 사회의 성격은 신화 제작자와 관료의 상충하는 요구 사이에서 균형을 어떻게 잡느냐에 달려 있다.

역사는 과거를 연구하는 것이 아니라 변화를 연구하는 것이다. 역사는 우리에게 무엇이 그대로이고, 무엇이 변하며, 어떻게 변하는지 가르쳐준다.

지금 우리는 유기적 정보 네트워크에서 비유기적 정보 네트워크로 이동하고 있다.

각 개인은 서로 다른 세계관을 가지며, 그것은 그 사람의 성격과 인생사가 교차하며 형성된다.

- 그러니까, 어떤 사람의 어떤 경험을 내가 이해한다고 해도, 내가 그 사람의 성격으로 그 경험을 경험한 것이 아니므로, 100% 이해한 것일 수 없다는거지.

진실은 현실을 1대1 비율로 재현하는 것이 아니다. 오히려 진실은 현실의 특정 측면을 알리고 다른 측면은 어쩔 수 없이 무시하는 것이다.

- 진실은 편집된 현실?

점성술의 예는 오류, 거짓말, 환상, 허구도 정보라는 것을 보여준다. 순진한 정보관이 주장하는 것과 달리, 정보는 진실과 딱히 관련이 없으며, 정보가 역사에서 하는 역할은 실존하는 현실을 그대로 재현하는 것이 아니다. 오히려 정보가 하는 일은 별개의 것들을 하나로 묶어서 연인이든 제국이든 새로운 현실을 만들어내는 것이다. 정보의 결정적인 특징은 재현이 아니라 연결이며, 따라서 정보란 서로 다른 지점들을 네트워크로 연결하는 무언가다.

- 글쿠나, 나도 여러가지 내가 경험한 정보들을 연결하는 네트워크구나.

네트워크 실패는 허위 정보 때문에 일어나는 것이 아니라, 생물학적 네트워크 자체의 해체를 뜻한다. 국가, 정당, 뉴스 네트워크도 마찬가지다. 이들의 존재도 현실을 부정확하게 표현할 때보다 구성 요소들 간의 연결이 끊길 때 위험에 처한다.

모든 생명 형태는 유전자 '오류'덕분에 존재한다. 진화라는 기적이 일어날 수 있는 것은 DNA가 현존하는 현실을 재현하지 않고 새로운 현실을 만들어내기 때문이다.

저울을 진실 쪽으로 기울이기 위해 따로 노력을 기울이지 않는다면, 정보의 양과 속도가 증가할수록 비교적 드물고 값비싼 진실한 정보가 그보다 훨씬 흔하고 값싼 유형의 정보에 파묻힐 가능성이 높다.

석기시대부터 실리콘 시대까지 정보의 역사를 살펴보면, 연결은 지속적으로 증가했지만 진실이나 지혜도 함께 증가하지는 않았다. 순진한 정보관의 믿음과 달리 호모 사피엔스가 세계를 정복한 이유는 정보를 현실의 정확한 지도로 바꾸는 데 탁월한 재능이 있어서가 아니었다. 오히려 사피엔스의 성공 비결은 정보를 활용하여 많은 개인을 연결하는 일에 탁월한 재능을 발휘한 것이다.

우리 사피엔스가 세상을 지배하는 것은 우리가 지혜로워서가 아니라 대규모로 유연하게 협력할 수 있는 유일한 동물이기 때문이다.

사람들은 자신이 특정인과 연결된다고 생각하지만 실제로는 그 사람에 대한 이야기와 연결되는 것이고, 이야기와 실제 인물 사이에는 대개 거대한 간극이 존재한다.

가족은 인간이 아는 가장 강력한 유대 관계다. 이야기가 낯선 사람들 사이에 신뢰를 구축하는 한 가지 방법은 서로를 가족으로 상상하게 만드는 것이다. 예수 이야기는 예수를 모든 인류의 부모처럼 묘사하면서 수억 명의 기독교인들에게 서로를 형제자매로 여기도록 권하고 공동의 가족 기억을 만들어냈다.

현대의 수많은 연구가 보여주듯이, 가짜 기억을 반복적으로 말하다 보면 결국에는 진짜 기억으로 받아들이게 된다. 서로를 모르는 두 유대인이 처음 만나도 그들은 자신들이 같은 가족이고 이집트에서 함께 노예 생활을 했으며 시나이산에 함께 있었다고 느낄 수 있다. 이런 유대감이 수백 년 동안 여러 대륙에 걸친 유대인 네트워크를 지탱해주었다.

- 그래서 유대인 네트워크가 대단한 것이구나!

어떤 이야기는 상호주관적 현실을 창조할 수 있다. 통증과 같은 주관적 현실은 한 개인의 마음속에 존재하는 반면, 법이나 신, 국가나 기업, 화폐와 같은 상호주관적인 현실은 수많은 사람들의 마음을 연결하는 곳에 존재한다. 수많은 사람들이 그것에 대해 이야기를 나누면 생기고, 이야기하지 않으면 사라진다. 즉 상호주관적 현실은 정보를 교환할 때 생긴다.

역사는 상호주관적인 이야기들을 통해 형성되기 때문에 때로는 대화를 통해 각 측이 믿는 이야기를 바꾸거나 쌍방이 받아들일 수 있는 새로운 이야기를 만들어냄으로써 분쟁을 피하고 평화를 지킬 수 있다.

역사의 경로는 결정론적인 권력관계보다는, 매력적이지만 유해한 이야기를 믿는 데서 비롯되는 비극적인 실수에 의해 결정되는 경우가 많다.

힘은 진실을 아는 것만으로 얻어지지 않는다. 많은 사람들 사이에서 사회질서를 유지할 수도 있어야 한다. 당신이 원자폭탄을 만들고 싶다고 치자. 만드는 데 성공하려면 당연히 정확한 물리학 지식이 필요하다. 하지만 우라늄 광석을 채굴할 사람, 원자로를 만들 사람, 건설 노동자, 광부, 물리학자에게 음식을 제공할 사람들도 필요하다. 맨해튼 프로젝트는 직접적으로만 약 13만 명을 고용했으며, 그 프로젝트를 위해 일한 사람을 다 합치면 수백만 명이 넘는다.

- 그래서 리더쉽의 가치가 높은 것.

힘은 진실과 질서 모두에서 나오지만, 현실에서 폭탄 제조법이나 매머드 사냥법을 아는 사람들에게 지시를 내리는 쪽은 대개 이데올로기를 구축하고 질서를 유지하는 방법을 아는 사람들이다. 실제로 로버트 오펜하이머가 프랭클린 델러노 로스벨트에게 복종했지 그 반대가 아니었다. 마찬가지로 베르너 하이젠베르크가 아돌프 히틀러에게복종했고, 이고리 쿠르차토프는 이오시프 스탈린의 결정을 따랐으며, 현대 이란의 핵물리학 전문가들은 이슬람교의 시아파 신학 전문가들의 명령을 따른다.

인간 정보 네트워크의 역사는 승리의 진군이라기보다는 진실과 질서 사이에서 균형을 맞추는 아슬아슬한 줄타기였다.

- 질서를 유지하는 쪽으로 현실이 편집되어 진실로 전달되다가, 더 이상 그 질서에 순응하지 않는 사람들이 많아질 때 질서를 깨는 방향의 진실이 전달되는구나.

모든 새로운 정보 기술에는 예상하지 못한 병목이 있다. 다시 말해 새로운 정보 기술은 오래된 문제를 해결하지만 새로운 문제도 일으킨다.

기록 관리자는 세상의 새로운 질서를 고안해야 한다. 그 질서를 관료제라고 부른다. 새로운 질서를 만들어 그것을 세상에 도입하는 과정에서 관료제는 관료제만의 특징적인 방식으로 사람들이 세상을 보는 관점을 왜곡했다. 관료주의는 결코 완벽하지 않지만, 대규모 네트워크를 관리할 방법으로 관료주의보다 더 나은 대안이 있을까?

신화와 관료제는 모든 대규모 사회를 떠받치는 두 개의 기둥이다. 하지만 신화는 매혹을 불러일으키는 반면 관료제는 의심을 사는 경향이 있다. 관료제가 제공하는 서비스에도 불구하고, 이로운 관료제조차 대체로는 대중의 신뢰를 얻지 못한다. 관료제라는 단어 자체가 많은 사람들에게 부정적인 어감을 준다.

개인적인 수준에서 종교는 위안을 주고 생명의 미스터리를 설명하는 등 많은 다양한 기능을 수행할 수 있다. 하지만 역사적으로 종교의 가장 중요한 기능은 사회질서에 초인적 정당성을 부여하는 것이었다. 유대교, 기독교, 이슬람교, 힌두교 같은 종교들은, 그 종교의 사상과 규칙은 오류 없는 초인적 권위자가 만든 것이기 때문에 오류 가능성이 전혀 없으며 그러므로 오류를 범할 수 있는 인간이 그것을 의심하거나 변경해서는 안 된다고 주장한다.

책은 내용에 변화가 없는 고정된 텍스트를 엮은 것으로, 항상 덩어리째 움직이고 동일한 사본이 여럿 존재한다. 따라서 책은 구전되는 이야기와도, 관공서의 문서와도, 기록 보관소와도 차별된다.

아이디어의 완전한 자유 시장은 진실을 희생시키고 분노와 선정주의의 확산을 부추길 수 있다. 왜 그런지 이해하기는 어렵지 않다. 인쇄업자들과 서적상들은 코페르니쿠스의 천구의 회전에 관하여에 나오는 지루한 수학보다는 마녀의 망치의 선정적인 이야기로 훨씬 더 많은 돈을 벌었다.

자유로운 정보 시장에서는 진실보다 분노가 우세할 가능성이 높기 때문이다. 진실이 승리하려면, 균형추를 팩트쪽으로 기울일 수 있는 힘을 가진 큐레이션 기관을 설치해야 한다. 하지만 카톨릭교회의 역사에서 보았듯이, 그런 기관은 큐레이션 권한을 이용해 자신에 대한 비판을 틀어막을 가능성이 있다.

자정 장치는 거룩한 책과는 정반대로 작동하는 정보 기술이다. 거룩한 책은 오류가 없어야 하지만, 자정 장치는 오류가 생길 가능성을 받아들인다.

판사가 범죄자를 교도소에 보내는 것도 자기 교정이 아니다.

과학이 비교적 빠른 속도로 발전하고 있는 것은 제도적 실수를 기꺼이 시인하는 태도 덕분이다. 일단 증거가 확인되면 정설로 인정되던 이론이 몇 세대 내에 폐기되고 새로운 이론으로 대체된다.

독재는 중앙 정보 허브가 모든 것을 지시하는 네트워크인 반면, 민주주의는 다양한 정보 노드 사이의 지속적인 대화다.

권위적이고 강압적인 지도자들의 정치적 행보는 민주주의를 이용해 권력을 잡은 지도자가 그 다음에 자신의 권력을 이용해 어떻게 민주주의를 망가뜨리는지 보여준다. 에르도안은 '민주주의는 전차와 같다. 타고 가다가 목적지에 도착하면 내리면 된다'고 말했다.

선거는 진실을 발견하는 방법이 아니라는 점을 잊어서는 안 된다. 선거는 오히려 사람들의 상충하는 욕구를 조정하여 질서를 유지하는 방법이다. 선거는 진실이 무엇인지가 아니라 국민의 다수가 원하는 것이 무엇인지 확인하는 절차다.

기후변화의 현실을 인정하는 것과 해결 방법을 찾는 것은 다른 문제다. 우리에게는 항상 여러 가지 선택지가 있으며, 그중에서 무엇을 선택하느냐는 진실의 문제가 아니라 욕망의 문제다.

민주주의는 국민만이 권력의 정당한 원천이라는 데 동의하지만, 국민은 결코 단일한 실체가 아니며 따라서 단일한 의사를 지닐 수 없다는 이해에서 출발한다. 다수 집단을 포함해 어떤 집단도 다른 집단을 국민에서 배제할 권리가 없다. 이래서 민주주의를 대화라고 하는 것이다. 대화를 나누려면 여러 정당한 목소리가 존재한다는 전제가 필요하다. 하지만 국민의 정당한 목소리가 오직 하나뿐이라면 대화는 불가능하다. 오히려 그 하나의 목소리가 모든 것을 지시하게 된다. 따라서 포퓰리즘은 '국민의 힘'이라는 민주주의 원리를 따르는 것처럼 보이지만 실제로는 민주주의를 유명무실하게 만들고 독재 정권을 수립하려고 한다.

정치적 대화에 참여하는 사람들의 비율이 높아질수록 네트워크가 민주적으로 변한다. 민주주의는 사람들이 자유롭게 대화할 수 없을 때만이 아니라 사람들이 들으려 하지 않거나 들을 수 없을 때도 죽는다.

수렵채집 시절, 그들은 소유물이 거의 없었고 가장 중요한 자산은 개인 기술과 친구들이었으므로, 족장이 독재자로 변하면 그곳을 떠나면 그만이었다.

- 지금 나, 지식노동자도 비슷한 상황이다. 가장 중요한 자산은 토지, 부동산이 아니라 장소에 구애받지 않는 나의 사고와 네트워크이므로, 내가 속한 곳이 마음에 들지 않으면 다른 곳을 선택할 수 있다. 이런 장점을 염두해두고 한 선택은 아니지만 국제 결혼을 해서 더 옵션이 생기기도 했다.

대중매체는 대규모 민주주의를 가능하게 만들었을 뿐, 필연으로 만들지 않았다. 대중매체는 다른 유형의 정치체제도 가능하게 만들었다. 현대의 새로운 정보 기술은 무엇보다도 대규모 전체주의 정권의 문을 열었다. 기술은 단지 새로운 기회를 열어줄 뿐이며, 어느 쪽으로 갈지는 우리에게 달렸다.

스탈린주의가 진실을 무시했기 때문에 실패했다거나, 결국 실패했으니 다시는 그런 종류의 체제가 등장할 수 없다고 생각한다면 순진한 것이다. 질서를 듬뿍 넣고 진실은 약간만 첨가해도 정보 시스템은 잘 굴러갈 수 있다. 스탈린주의와 같은 체제가 끼치는 도덕적 피해를 혐오한다면, 그런 체제가 비효율적이기 때문에 필패할 것이라는 생각으로 손 놓고 있어서는 안 된다.

미얀마 - 전염성 강한 반로힝야족 메시지들은 불교 승려 위라투 같은 '인간 극단주의자'들에 의해 만들어졌지만 어떤 게시글을 추천할지 결정한 것은 페이스북 알고리즘이었다. 국제사면위원회는 '알고리즘이 페이스북 플랫폼에서 폭력, 증오, 차별을 부추기는 콘텐츠를 선제적으로 증폭하고 추천했다'는 사실을 밝혀냈다. 2018년 UN 사실 조사단은 페이스북이 증오로 가득한 콘텐츠를 유포함으로써 민족 청소 운동에 "결정적인 역할"을 했다고 결론지었다.

문자, 인쇄술, 라디오의 발명은 사람들이 서로 연결되는 방식을 혁명적으로 바꾸었지만 네트워크에 새로운 유형의 구성원을 도입한 것은 아니었다. 인간 사회는 문자와 라디오가 발명되기 전이나 후나 똑같은 사피엔스들로 구성되었다. 반면 컴퓨터의 발명은 네트워크의 구성을 혁명적으로 바꾸었다. 물론 컴퓨터는 네트워크의 기존 구성원들이 새로운 방식으로 연결하도록 돕는다. 하지만 컴퓨터는 무엇보다도 정보 네트워크의 새로운 비인간구성원이다. 컴퓨터는 인간보다 더 강력한 구성원이 될 잠재력을 가지고 있다.

2022년에 최고 기술 기업들은 미국에 로비하는 비용으로 거의 7천만 달러를 썼고, 유럽 연합 기관에 로비하는 비용으로 1억 1천3백만 유로를 썼다. 이는 석유회사와 제약회사가 지출한 로비 비용을 앞지르는 액수다.

고객은 항상 옳다와 유권자가 가장 잘 안다는 원리는 고객, 유권자, 정치인이 자기 주변에서 무슨 일이 일어나고 있는지 안다는 것을 전제로 한다. 이 원리는 틱톡과 인스타그램을 사용하기로 선택한 고객들이 이 선택의 영향을 충분히 이해하고 있으며, 애플과 화웨이를 규제할 책임이 있는 유권자와 정치인이 이 기업들의 사업 모델과 활동을 완전히 이해하고 있다고 전제한다. 또한 사람들이 새로운 정보 네트워크를 속속들이 알고 있으며 그것을 지지한다고 전제한다. 진실을 말하자면 우리는 그렇지 않다.

화석연료 기업이 석유를 채굴하는 국가들에 세금을 내듯이, 거대 기술 기업들도 데이터를 채굴하는 국가에 세금을 내야 한다.

한 개인이나 법인이 은행에는 돈이 별로 없지만 거대한 정보 데이터 은행을 소유하고 있다면, 그 사람 또는 법인은 그 나라에서 가장 부유하거나 가장 힘 있는 존재일 수 있다. 이론상 이들이 보유한 정보의 가치를 화폐로 정량화할 수 있지만, 이들은 자신의 정보를 달러나 페소로 환전할 리 없다. 정보로 원하는 것을 얻을 수 있는데 왜 달러가 필요하겠는가?

가치가 화폐가 아니라 데이터로 저장되는 데이터 기반 경제에서 돈에만 과세할 경우 경제와 정치 상황에 왜곡이 일어나게 된다. 나라에서 가장 부유한 개인이나 법인 중 일부가 자신의 부를 수십억 달러가 아니라 페타바이트 규모의 데이터로 가지고 있다는 이유로 세금을 전혀 내지 않는 일이 일어날 수 있다.

캘리포니아 홈브루 컴퓨터클럽

권위주의 정부와 비정한 기업을 위해 일하는 엔지니어들은 시민과 고객을 하루 24시간 감시함으로써 중앙 권력을 강화하는 도구를 개발할 것이다.

컴퓨터가 정보 네트워크의 중요한 구성원이 되면서, 진실을 발견하고 질서를 유지하는 임무가 점점 더 컴퓨터로 옮겨 가고 있다. 예를 들어, 기후변화에 대한 진실을 밝히는 일은 점점 컴퓨터만이 할 수 있는 계산에 의존하며, 기후변화에 대한 사회적 합의를 도출하는 일은 점점 더 우리의 뉴스 피드를 선별하는 추천 알고리즘과 뉴스 기사, 가짜 뉴스, 허구를 작성하는 창의적인 알고리즘에 의존하고 있다. 현재 우리는 기후변화와 관련하여 정치적 교착상태에 빠져 있다. 이는 어느 정도 컴퓨터가 교착상태에 빠져 있는 탓이다. 한 집단의 컴퓨터들이 실행한 계산은 생태 재앙이 임박했다고 경고하지만, 또 다른 집단의 컴퓨터들은 그런 경고에 의문을 제기하는 동영상을 추천한다. 어느 쪽 컴퓨터들을 믿어야 할까?인간 정치는 이제 컴퓨터 정치이기도 하다.

내 목표는 알고리즘 패턴 인식의 더 불길한 잠재력에 주목함으로써 이런 유토피아 비전과 균형을 맞추는 것이다.

- 내 생각과 비슷

물고기가 물속에 살듯이, 인간은 디지털 관료제 속에서 살아가며 끊임없이 데이터를 들이마시고 내뱉는다. 우리가 하는 모든 행위는 데이터 흔적을 남기고, 그것들은 패턴을 파악하기 위해 수집되고 분석된다.

정보는 대개 진실을 드러내기보다는 질서를 유지하는 데 쓰인다.

- 힘의 질서

유튜브 알고리즘은 수백만 명을 대상으로 시행차공를 거듭한 끝에 페이스북 알고리즘이 학습한 것과 동일한 패턴을 발견했다. 즉 분노를 유발하는 내용은 참여도를 높이지만 온건한 내용은 그렇지 않은 경향이 있었다. 이에 따라 유튜브 알고리즘은 수백만 명의 이용자들에게 터무니없는 음모론을 추천하는 동시에 온건한 콘텐츠는 무시하기 시작했다.

유튜브 알고리즘 자체가 거짓말과 음모론을 꾸며내거나 극단적인 콘텐츠를 만들어낸 것은 아니다. 적어도 2017~8년에는 그런 일은 인간이 했다. 하지만 알고리즘은 인간이 그런 식으로 행동하도록 부추기고, 이용자 참여를 극대화하기 위해 그런 콘텐츠를 추천했다.

- just like startups focus on making money rather than realizing their initial visions once they get external funding. It's all about building communities, making tight network.

인간은 매우 복잡한 존재이고, 건강한 사회질서는 우리의 미덕을 함양하면서도 부정적인 경향을 억제할 수 있는 방법을 모색한다. 하지만 소셜 미디어 알고리즘은 우리를 단순히 관심을 채굴하는 광산으로 본다. 그 알고리즘들은 인간의 다면적인 감정(증오, 애정, 분노, 기쁨, 혼란 등)을 단 하나의 포괄적인 범주인 '참여도'로 환원했다.

수십억 명의 전두엽을 연결해 인간의 의식을 고양하고 인류 공동의 관점을 퍼뜨릴 수 있다고 믿었어.

나폴레옹과 조지 w. 부시 모두 정렬 문제의 희생자였다. 그들의 단기적인 군사 목표가 자국의 장기적인 지정학적 목표에 부합하지 않았던 것이다. 정치적 목표가 분명해야 군대가 그 목표를 달성하기 위한 군사전략을 결정할 수 있다.

컴퓨터의 문제는 특별히 사악하다는 것이 아니라 특별히 강력하다는 데 있다. 컴퓨터가 강력해질수록 우리가 컴퓨터의 목표를 정의할 때 궁극적인 목표에 정확히 부합하도록 신중을 가해야 한다는 것이다. 계산기에 잘못 정렬된 목표를 설정했다면 큰일은 나지 않는다. 하지만 잘못 정렬된 목표를 초지능 기계에 설정한다면 그 결과는 디스토피아일 수 있다.

AI가 심리적 대량 살상 무기를 만드는 것과 같은 훨씬 파악하기 어려운 위험들도 있다.

- 불면증, Stop reproducing, anxiety

문명은 관료제와 신화의 결합으로 탄생한다.

적어도 한 세기의 비극을 겪은 후에야 대부분의 사람들은 제국주의가 끔찍한 발상이었으며, 산업사회를 건설하고 필요한 원자재와 시장을 확보하는 더 나은 방법이 있다는 것을 깨달았다. 산업사회를 구축하는 경쟁적인 방식들이 존재한다는 사실 자체가 (자본주의 vs 공산주의) 막대한 비용을 초래하는 충돌의 불씨였다. 두 차례의 세계대전과 냉전은 무엇이 올바른 방법인지를 두고 벌어진 논쟁으로 볼 수 있다. 이 논쟁의 모든 참가자는 전쟁을 치르는 새로운 산업적 방법을 실험하며 서로에게 배웠다. 하지만 이 논쟁 과정에서 수천만 명이 죽었으며, 인류는 멸망에 위험할 정도로 가까이 다가갔다.

자유민주주의의 최대 장점은 강력한 자정 기능을 갖추고 있다는 것이다.

인간의 삶은 자기 개선 노력과 자기 수용 사이의 균형 잡기다.

데이터에서 패턴을 찾아내는 것은 AI가 인간보다 잘하는 일이다.

우리가 특정 대상을 의식적인 존재로 간주하는 것은 증거가 있기 때문이 아니라, 정서적 애착을 형성하기 때문이다.

21세기를 버텨내기 위해 가장 중요한 인간의 능력은 유연성일 가능성이 높고, 민주주의는 전체주의 체제보다 유연하다.

사람들은 더 이상 세상을 이해할 수 없을 때, 그리고 소화할 수 없는 엄청난 양의 정보에 압도될 때 쉽게 음모론에 빠지고, 자신들이 이해하는 대상인 '인간'에게 구원을 요청한다.

-> 포퓰리즘이 인기를 얻기 딱좋을 때

더 많은 데이터를 고려할 수 있는 능력은 자산이다. 실제로 인간이 지닌 편견들의 문제는 딱 한두 가지 데이터 포인트에만 집중하고 다른 정보는 무시하는 데 있다. 은행과 여타 기관이 점점 더 알고리즘에 의존해 결정을 내리는 이유는 바로 알고리즘이 인간보다 더 많은 데이타 포인트를 고려할 수 있기 때문이다.

가난한 개도국들은 AI와 자동화로 인해 특수한 어려움에 직면할 것이다. AI 기반 경제에서는 디지털 선두 주자들이 대부분의 이익을 가져가는 데다 그 부로 자국의 노동력을 재교육하여 훨씬 더 많은 이익을 낸다. 반면 뒤처진 국가에서는 미숙련 노동자의 가치가 하락하는 데다 노동력을 재교육할 자원이 없어서 더욱 뒤처지게 된다. 그 결과 샌프란시스코와 상하이에서는 많은 새로운 일자리와 막대한 부가 창출되지만, 세계의 다른 많은 지역은 경제적 파탄에 직면할 수 있다.

21세기 초, 전 세계 정부의 평균 군사비 지출은 전체 예산의 약 7퍼센트에 그쳤고, 초강대국인 미국조차 연간 예산의 약 13퍼센트만을 자국의 군사 패권을 유지하는 데 썼다.

역사의 중요한 교훈 중 하나는 우리가 자연스럽고 영원하다고 생각하는 많은 것들이 사실은 인간이 만들었으며 바뀔 수 있다는 것이다.

모든 오래된 것은 한때 새로운 것이었다. 역사의 유일한 상수는 변화다.

정치는 주로 우선순위를 정하는 문제다.