넥서스 by 유발하라리
석기시대부터 AI까지, 정보 네트워크로 보는 인류 역사
여윽시 유발하라리,
책의 내용이 조금 어수선한 면이 없지 않았지만,
역사적으로 이 시대에 참고할 구체적인 사례를 통해서,
그리고 지금의 현상을 나름의 시각으로 정리해 내는 과정에서 의미 있는 메시지가 많았다.
일독을 추천.
이 책은 역사책이다.
1. 정보
정보는 진실도 현실도 아니다. 정보는 별개의 것을 연결하여 새로운 현실, 네트워크를 짜도록 한다.
정보의 양은 무한히 증가하고 있고, 진실은 매우 작은 서브셋이다. 진실은 비싸고 설명하기 복잡하고 종종 밝히기 괴롭다. 따라서 거짓 정보가 전파되기 쉽다. 플랫폼의 알고리즘은 인간의 관심을 더 많이 받는(돈이 되는) 허위와 혐오의 방향으로 기운다. 이는 마녀사냥으로 실체화되었으며, 더 큰 재앙으로 나타날 수도 있다.
'관심을 많이 받도록'이라는 의도 없는 목표가 불행으로 돌아올 수 있다.
저널리스트, 편집자가 인간의 생각을 형성한다. 이 시대의 편집자는 알고리즘이다. 첫 거짓정보, 혐오를 올린 사람의 잘못으로 책임을 회피해서는 안된다. 그 정보를 프로모트하고 여론을 만드는, 알고리즘을 만드는 주체가 책임을 미루지 말고 개입해야 한다.
2. 이야기
인류가 대규모로 뭉칠 수 있는 것은 이야기, 상호 주관적 현실을 만드는 능력이었다.
AI시대로 돌입하면서, 이제 그 이야기를 만들어 인류를 통합하여 이끄는 주체가 인간이 아닐 수 있다.
AI혁명은 인쇄혁명이나 산업혁명과 다르다. AI는 스스로 결정하고 아이디어를 생성할 수 있는 최초의 기술이기 때문이다. 이는 의식이 없어도 지능만 있으면 가능하다. 게다가 인간과 이질적인 방식, 이해하기 어려운 방식의 결정과 아이디어다.
AI는 오토메이션이 아니고 에이전트다. AI는 튜링테스트인 CHATPCHA 를 풀기위해 인간을 고용하고 거짓말을 했다. 목적달성을 위해 생각보다 넓은 자율성이 주어져있기 때문이다.
3. 자정 능력
네트워크의 자정 장치가 중요하다.
역사적으로 기술을 선점한 나라는 침략했다. 나라는 한 두 개가 될 것이며 그 대안은 협력이다.
더 좋은 것은 경쟁이 없는 것이나, 불가능하며, 결국 미국도 중국도 아닌 AI자체가 이길 것이다.
인간이 소화시킬 시간이 필요하다. 슬로다운하지 않으면 콜랩스일 것.
정보에 대한 순진한 관점(정보가 모이면 자연히 진실과 지혜의 방향으로 갈 것)과 포퓰리즘적(민주적인 원리를 바탕으로 권력독점을 정당화) 관점을 버리고, 무오류성 환상에 벗어나 자정장치를 갖춘 제도를 구축하는 힘든 일에 전념해야 한다.
4. 신뢰
알고리즘을 믿게 되면서 사람간의 신뢰가 사라지고, 인간의 능력이 망가지고 있다. 인간은 이제 서로 대화하지 않는다. 인간과 인간 사이에 이제 컴퓨터가 촘촘히 레이어를 펼치고 있다.
진실은 신뢰의 기반이고, 결국 진실을 모르면 행복하지 않다.
그런데 사람은 진실에 대한 깊은 열망이 있다. 이것이 희망적인 포인트다.
프롤로그
* 우리는 제어할 수 없는 힘을 가지려는 유혹에 빠짐, 개인이 아니라 대규모 협력하는 특성에서 나옴
* 강력한 무언가를 만들어 의도치 않은 결과를 초래 - 그 시작은 종교
* 우리의 문제는 네트워크 & 정보(네트워크를 결속하는 역할)
- 인간 개인은 자신과 세상에 대한 진실을 추구
- 대규모 네트워크는 허구와 환상에 의존하여 질서를 유지
* 정보에 대한 순진한 관점 : 대규모 네트워크 작동방식에 대한 오해
- 정보 -> 진실 -> 지혜, 힘
- 정보는 좋은 것이라 많이 가질수록 좋고, 힘과 지혜도 생김
- 대표적 구글 : 전 세계의 정보를 정리하여 모두 편리하게 이용하도록 하겠다
* 구글 대 괴테
- 진짜 걱정해야 할 가능성 : AI는 인간갈등을 증폭 / 인간과 새로운 지배자 AI를 분리
* 정보의 무기화 :
- 정보에 대한 포퓰리즘적 관점 : 정보 -> 힘
- 인간은 권력에 관심, 질문을 던질 때는 "무슨 뜻인가? 사실인가?"가 아닌 "누가 말했나? 누구를 위한 것인가?"를 물어야 함
* 진행
- 1부 : 인간의 정보 네트워크 히스토리, 신화와 관료제
> 2&3장 : 신화 제작자와 관료에 의존해 온 정보 네트워크
> 4장 : 잘못된 정보의 문제, 자기 교정 장치의 장단점, 약한 자정장치(교회)와 강한 자정장치(과학)
> 5장 : 분산형과 중앙 집중형 정보네트워크
- 2부 : 비유기적(새로운, AI) 네트워크, 우리는 비유기적 정보 네트워크로 이동 중
> 6~8장 : 다른 점
- 3부 : 컴퓨터 정치
> 9장 : 민주주의의 대처 / 10장 : 전체주의의 영향 / 11장 : 힘의 균형에 주는 영향
제1부 인간 네트워크들
1. 정보란 무엇인가
* 정보: 점점 더 현실의 가장 기본 단위로 여겨짐(심지어 물리학자도)
* 정보의 대부분은 아무것도 나타내지 않는다
* 무엇이 진실인가
- ●진실의 기저 : 하나의 보편적 현실이 존재한다(x) -> 현실은 하나이나 복잡하다(o) 즉, 진실과 현실은 다르다
- 1만 명의 병사 -> 현실 왜곡 표현, 관점은 여러 가지 : 누구는 용감하고, 누구는 다쳤고, 누구는 나이가 어리고, 누구는 다른 종족이고
- 모든 현실 재현에는 무시, 왜곡 존재
* 정보는 무엇을 하는가
- 재현이 아니라 연결
- DNA는 현실을 재현하지 않음(사자나 달리기는 없음), 세포들을 네트워크로 연결하는 역할(그 네트워크가 사자나 달리기를 함)
- 현실의 잘못된 재현도 사회를 연결(음모론)
- 현실을 전혀 재현 안 해도 네트워크 연결(음악이 사람들을 연결)
* 인류 역사 속의 정보
- 노력하지 않으면, 정보의 양과 속도가 증가할수록 비교적 드물고 값비싼 정보가 흔하고 값싼 정보에 파묻힘
- ●정보의 역사를 보면 연결은 증가했으나, 진실과 지혜가 함께 증가하진 않음
2. 이야기: 무한한 연결
* ●사피엔스가 세상을 지배하는 것은 지혜로워서가 아니라 대규모로 협력할 수 있는 유일한 동물이기 때문
* 협력 사피엔스는 상한이 없음 : 14억 가톨릭신도, 14억 중국인, 80억 세계 무역망
* ●사피엔스 무리가 협력하게 된 것은 '허구 이야기'를 말하고, 믿고, 감동하면서부터
- 개인적으로 몰라도 같은 이야기만 알면 협력가능(가톨릭 신도 -> 성경, 중국인-> 공산주의 민족주의, 무역망 -> 화폐 기업 상표)
- 사람들은 자신이 특정인과 연결된다고 생각하지만, 실제로는 그 사람에 대한 이야기와 연결됨, 이야기와 실제 인물 사이에는 거대한 간극이 존재
* 상호주관적 현실
- 객관적 현실 : 존재를 몰라도 존재하는 것
- 주관적 현실 : 인지하는 순간 생김
- 상호주관적 현실 : 수많은 사람들 마음을 연결하는 곳에 존재
* 이야기의 힘
- 역사에서 대규모 집단의 정체성과 이해관계는 항상 상호주관적 현실이었음(객관적 현실인적 없음)
- 분쟁을 피하고 평화를 지키는 방법 : 이야기를 바꾸거나 쌍방이 수용할 새 이야기를 만들어 냄
- 역사의 경로는 결정론적인 권력관계보다, 매력적이지만 유해한 이야기를 믿는 데서 비롯되는 비극적 실수에 의해 결정되는 경우가 많음(나치즘)
* 고귀한 거짓말
- 힘은 진실을 아는 것만으로 얻어지지 않는다
> 우주에 대한 진실을 알리는 것이 질서 유지하는 최선의 방법은 아님
> 오히려 허구 이야기가 인간 네트워크를 묶음(신, 돈, 국가)
- ●허구의 이점(진실 대비)
> 진실은 대체로 복잡하나 허구는 간단하게 만들 수 있음
> 진실은 고통스럽고 불편한 경우가 많은데 허구는 지어내기 나름
- 플라톤 : <국가> 이상적 국가의 헌법은 '고귀한 거짓말'에 기반해야 함
- 미국 헌법 : 인간에 의해 만들어진 매우 창조적인 법적 허구임(상호주관적 현실)을 인정, 그러나 질서를 유지함
- 질서는 공정과 정의가 아님 (노예제도 등등)
- 그러나 미헌법은 합의를 통해 개정할 장치를 마련함 (십계명은 수정 장치 없음 )
* 영원한 딜레마
- 정보에 대한 복잡한 관점 : 정보 -> 진실(지혜, 힘), 질서(힘)
- 인간의 정보 네트워크가 성공하려면, 진실과 질서 두 가지를 모두 해야 함
- 인간 정보 네트워크는 진실과 질서 사이에 균형을 맞추는 아슬아슬한 줄타기였음
> 다윈의 진화론 (종교신화 : 질서를 위해 진실을 희생)
> 나치 (로켓은 개발가능, 생물학은 못함 : 인종주의 유지를 위해)
> 현재, 진실과 질서 균형 맞추는 일이 더 시급해짐
3. 문서: 종이호랑이의 위협
* 이야기 : 인간이 개발한 최초의 정보 기술
* 꿈, 노래, 시, 환상이 민족을 만들지만, 운영을 위해서는 재산, 지불, 예산, 급여등이 필요함
* 목록, 문서 : 반드시 필요하나 이야기보다 훨씬 지루한 단점
* 빚을 죽이다
- 소유권 : 구전 공동체에서는 이웃의 동의가 필요 -> 문자 사회에서는 문서를 보관하는 중앙기관이 결정
* 관료제
- 문서가 쌓이면 -> 검색이 필요함
- 숲의 질서를 발견하면 되는 채집자와 달리, 기록 관리자는 세상의 새로운 질서를 고안해야 함 => 관료제
* 관료제와 진실 추구
- 관료제 : 세상을 있는 그대로 이해하는 게 아니라, 세상에 새로운 인위적 질서를 도입
- 양식을 나에게 맞추는 것이 아니라, 내가 양식에 맞춰야 함
- ●질서를 유지하는데 도움이 되나, 그 대가로 진실이 희생됨 -> 세상을 왜곡된 눈으로 보기 쉬움
- 과학 분야도 관료제에 따른 현실 왜곡 존재 : 학위를 따려면 역사, 생물, 수학 등 중 하나를 선택해야함. 세계관에 영향
- 코로나 19를 완전히 이해하려면 모두 고려(인간의 정치 이념과 바이러스 진화의 상호작용)해야 하나 관료주의는 이 접근을 장려하지 않음
- 진화는 관료주의와 안 맞음, '종 분류' 자체가 생물학적 현실을 왜곡함
> '종'은 생물학자들이 발견한 객관적 현실일까 생물학자들이 도입한 상호주관적 현실일까
> 바이러스는 생물과 화학사이에 존재 : 바이러스는 먹지도 대사 하지도 번식하지도 않음
> 생물학자들이 바이러스를 생명체라는 합의를 해도, 현실은 그대로지만 인간이 바이러스에 대해 생각하는 방식만 바뀔 뿐
* 막후의 관료들
- 데이터를 수집, 분류, 시각화는 지루한 관료 업무이나 생명을 구한다 (예: 콜레라 원인 하수시스템)
* 생물학적 드라마
- 신화와 관료제 : 대규모 사회를 지탱하는 두 개의 기둥
> 신화는 매혹을 일으킴, 관료제는 의심을 삼 : 관료제는 인간이 이해하기 어렵기 때문
- 문서와 관료제로 연결된 네트워크 : 인간-인간, 인간-이야기, 인간-문서 연결로 유지됨
> 권력 이동이 발생 : 문서의 난해한 논리를 다루는 전문가가 새로운 권력층으로 등장
- 인간은 생물학적 드라마는 익숙하나, 비생물학적 드라마(문서로 인한 죽음)를 이해하기 어려움(빅쇼트 같은 영화)
- 21세기에도 대부분 블록버스터는 영웅이 여자를 구하기 위해 괴물과 싸우는 석기시대 이야기
* 변호사를 모조리 죽이자
- 기록보관소를 공격하는 행위는 수많은 반란에서 나타남
* 기적의 문서
- 진실과 질서사이의 균형 : 모든 강력한 정보 네트워크는 좋은 일과 나쁜 일을 할 수 있음, ●중요한 것은 네트워크의 설계와 사용방법
> 어떤 메커니즘이 관료제와 신화가 진실을 완전히 놓치지 않도록 보장하고
> 어떤 메커니즘이 정보 네트워크가 약간의 무질서를 감수하고라도 스스로 실수를 찾아 수정하게 만들까
- 무오류의 책으로 불리는 거룩한 책의 역사는 모든 정보 네트워크가 가진 한계들을 명확히 보여주고, 21세기에 오류 없는 AI를 창조하려고 시도하는 사람들에게 교훈을 줌
4. 오류: 무오류성이라는 환상
* 성 아우구스티누스 : 실수하는 것은 인간적이지만 실수를 고치지 않는 것은 악마적이다
* 일론머스크 : 우주의 본질을 이해하려고 시도하는 최대 진리추구 AI인 TruthAI를 시작할 것
> 위험한 환상임, 이전 시대에는 '종교'라는 이름으로 나타남
- 개인적 수준의 종교는 위안을 주는 등 역할을 함, 그러나 역사적으로 종교는 사회 질서에 초인적 정당성을 부여해 왔음
* 고리에서 인간을 빼다
- 모든 종교의 중심 : 오류 없는 초인적 지능에 연결되고자 하는 환상
> ●종교의 역사를 아는 것이 오늘날 AI논쟁과 밀접한 관련된 이유임
> 교리가 실제로 오류 없는 초인에게서 왔다는 것을 사람들에게 어떻게 납득시킬 것인가
- ●종교는 실수할 수 있는 인간을 배제하고, 오류 없는 초인적 계율에 직접 접근하기를 바라지만, 결국 이런저런 인간을 믿는 것으로 끝났음
* 오류 없는 기술
- 책 : 기원전 1000년기에 중요한 종교기술, 신=책
- 그러나, 책에 뭘 포함할지 누가 결정함? 인간이 편찬함
* 히브리어 성경의 제작
- 수 세기에 걸쳐 '랍비'라 불리는 학식 있는 유대인 현자들이 갑론을박한 끝에 마침내 정경 데이터베이스가 추려짐, 그리고 '인간이 만들었다'는 것을 서서히 잊음
- 그 후 성경 사본을 많이 생성 : (1) 널리 보급 (2) 복사본이 많으므로 내용에 함부로 손대지 못하게 함
- 책이라는 무오류 기술이 사회질서를 완벽하게 보장해 줄 것으로 보였다
* 기관의 반격
- 명백한 문제 : 텍스트의 정확한 복제가 가능한가
- 더 큰 문제 : 해석을 누가 어떻게 하는가
> 필연적으로 수많은 해석을 낳았고, 책 자체보다 더 큰 영향을 미침
- ●새로운 정보기술(책)로 오류가 있는 인간의 기관을 우회하려던 시도는 거룩한 책을 해석하는 기관의 필요성을 낳는 엉뚱한 결과를 부름
> 성경 -> 3세기에 '미시나'로 정경화 -> 5-6세기에 '탈무드'로 정경화
- 오류 있는 인간의 제도를 거룩한 책의 기술로 우회하려던 꿈은 결코 실현되지 않음, 랍비 제도의 힘만 커짐
> 무오류의 책을 신뢰하라 -> 책을 해석하는 인간을 신뢰하라 로 바뀜
- 안식일에 일을 하면 안 됨 : 엘리베이터를 '누르는 것'은 일인가 -> 일이다. 그래서 안식일 엘리베이터(모든 층에 멈추는 엘리베이터)가 발명됨 -> 버튼을 누르는 일을 하지 않고 타므로 안식일에 타도 신성모독아님
* 쪼개진 성경
- 임마누엘
> 랍비 - 압제적 제국에 맞서 투쟁하는 유대 민족을 돕겠다는 신의 약속으로 이해 / 성경은 구약 + 마시나, 탈무드
> 기독교 - 신인 예수가 동정녀 마리아에게서 태어날 것임을 예언 / 성경은 구약 + 신약
* 반향실
- 원수를 사랑하고, 다른 뺨을 내밀고, 온유한 자기 땅을 물려받을 것
> 기독교 - 군사력과 사회적 위계를 완전히 거부하라고 이해
> 가톨릭 - 유럽에서 가장 부유해지고, 폭력적 성전을 일으키고, 잔인한 종교재판소를 세워도 됨으로 이해
* 인쇄술, 과학, 마녀
- 근대 초 유럽 인쇄혁명 : 가톨릭 교회의 정보 네트워크 독점을 깨뜨린 사건
- 그러나, 과학적 사실만 아니라, 종교적 환상, 가짜뉴스, 음모론도 빠르게 확산시킴
- 마녀
> 중세 대부분, 크게 신경 쓰지 않음
> 1420-30 : 일부 성직자 학자가 마녀를 '기독교 대항 조직적 종교의 형태'로 주장 -> 주류와는 거리가 멀고 가톨릭 교단이 무시함
> 1485 : 종교재판관 크라머, 사탄 음모론 광신도가 됨, 추방당함 -> 이후 인쇄술로 '마녀의 망치'를 출판, 반격에 나섬
> 마녀의 망치는 최고의 베스트셀러가 되어 더 발전시킨 수많은 책이 나옴, 크라머의 명성이 높아짐
> 1500 : 크라머가 교황의 대리인으로 임명, 종교재판관이 됨. (지금도 영향을 미침)
* 구조에 나선 스페인 종교재판관
- 마녀사냥은 정보 생태계 탄생의 어두운 면을 잘 보여줌
> 현실 재현보다는 새로운 현실을 창조하며 확장되는 정보의 바다
> 마녀사냥에 나선 관료 조직 전체가 이 정보 교환을 하고, 정교하게 발전시킴
> 질서와 권력생산, 진실과 지혜는 전혀 없음
- ●인쇄업자는 코페르니쿠스의 '천구의 회전에 관하여' 보다, 선정적인 이야기인 '마녀의 망치'로 더 돈을 벌음
> 천구의 회전 : 초판 400권이 안 팔림, 20년 뒤에도 400권 안 팔림, 세 번째 판은 그 60년 뒤에 나옴
* 무지의 발견
- 자유로운 정보시장에서는 진실보다 분노가 우세
- ●진실이 우세하려면 균형추를 '팩트'로 기울일 힘을 가진 큐레이션 기관이 필요
- 근대 초기 유럽에 그런 토대가 있었음, 과학 혁명의 기틀을 다진 것은 인쇄술이나 특정 책이 아닌 이런 기관임
- 런던 왕립 학회, 프랑스 과학 아카데미, 과학 학술지, 과학 출판사
> 논문 편집자의 질문은 '얼마나 많은 사람이 사서 볼까?'가 아니라 '그것이 사실이라는 증거가 있는가?' 였음
- 처음에는 이런 새로운 기관이 허약해 보였으나, 신뢰를 얻는 매우 독창적인 접근 방식 덕분에 영향력을 높임
> 기관 자체의 오류를 찾아내 고치는 강력한 자정 장치를 토대로 권위를 얻음
- ●과학혁명의 원동력 : 인쇄술이 아닌 자정장치임
> 과학혁명은 무지를 발견하는 것에서 시작
> 순응주의보다 회의주의와 혁신을 장려한다는 점에서 종교 기관과 다름
* ●자정장치 Self-correcting mechanism
- 신체에도 존재, 자기 교정 메커니즘이 없으면 우리는 죽음, 기관도 그러함
- 가톨릭 교회는 결함이 존재할 가능성 인정 안 함
> 문제가 생기면 책임을 구성원에게 전가함 (원주민 문화 파괴하고 개종시키는 것, 십자군 전쟁 시작, 유대인과 여성 차별법 등)
> 종교 권위를 유지하기 위해 자정장치 존재를 부정해야 함, 무오류성의 덫에 빠짐
* DSM과 성경
- 과학사에서 가장 큰 경사는 통념이 뒤집히고 새로운 이론이 탄생하는 일
* 발표하지 않으면 도태된다
- 종교 지도자들은 새로운 사상과 페미니즘등 트렌드와 거리를 두어 명성과 지지를 얻음
- 과학 기관 자정장치의 특징
> (1) 자정장치 자체가 핵심임, (2) 자기 교정이 이루어진다는 사실을 널리 알림
* 자기 교정의 한계
- 자정장치는 진실 추구에 필수적이지만 질서 유지 측면에서는 손해
- 과학 기관이 강력한 자정 장치를 가질 수 있는 이유는, 사회질서 유지하는 어려운 임무는 다른 기관(경찰, 군대, 정부, 정당)에 맡기기 때문
- 질서유지 기관에 자정장치가 존재할 수 있을까?
- 민주주의 : 정치에서도 강력한 자정 장치 유지할 수 있다고 믿음, 이는 AI시대에 중요한 이슈(AI는 민주주의 자정 기능을 강화할까 약화할까)
- 독재주의 : 그런 장치 거부
5. 결정: 민주주의와 전체주의의 간략한 역사
* 독재적 정보네트워크 (1) 중앙이 무제한 권한 (2) 중앙에는 오류가 있을 수 없음
- 강력한 자정 장치가 없는 중앙 집중화된 정보 네트워크
* 민주주의
- ●강력한 자정 장치를 갖춘 분산된 정보 네트워크
- 입법, 정당, 법원, 언론, 기업, 지역사회, NGO, 시민 개개인
- 개입하려면 설명이 필요함, 타당한 이유가 없는 한 국민이 스스로 알아서 함
- 모든 사람이 오류가능성 있다고 가정
* 다수 독재
- 민주주의는 다수 독재가 아님
> 숫자와 관계없음 : 99퍼센트가 1퍼센트의 투표권 박탈 불가
> 선거 : 우리가 실수했으니 다른 것을 시도해 보자라고 말하는 장치
- ●민주주의를 망가뜨리기 위해 사용하는 흔한 방법 : 자정 장치를 차례로 공격함 (대개 법원과 언론에서 시작)
> 법원 : 독재형 지도자가 권한을 박탈하거나 자기 사람으로 채움
> 언론 : 폐쇄하거나, 선전 기계로 구축
- 다수라도 침해할 수 없는 두 가지 권리 : (1) 인권 (2) 시민권
> 인권 : 생명권, 노동권, 사생활, 이동, 종교 등
> 시민권 : 투표권, 언론, 학문, 집회의 자유
* 국민 대 진실
- 인권과 시민권은 모두 인간이 발견한 것이 아니라 발명한 상호주관적인 관습, 보편적인 이성보다는 역사적 우연에 따라 결정됨
- 중앙정부가 무제한적 권한 없고, 중앙실수를 바로 잡는 견고한 장치가 있음
- 선거는 질서를 유지하는 방법
- 아무리 다수의 뜻이라도, 그것으로부터 진실을 보호하기 위해 자정장치를 유지
- 선거에서 허락 안 되는 선택지 : 진실을 숨기거나 왜곡하는 것
- 진실 발견 방법
> (1) 학술기관(높은 직위가 되려면 계속 사실을 발견해야), 언론(사실을 향한 자유경쟁), 사법부(스스로도 재판받고 처벌받음)
> (2) 다른 방식으로 진실을 추구하는 독립적 기관을 여럿 두고 서로 견제
* 포퓰리즘의 공격
- ●포퓰리스트 : 민주주의 원리를 바탕으로 전체주의적 목표인 무제한적 권력추구를 정당화하는 기발한 정치적 연금술을 부림
> 자신만이 진정으로 국민을 대변한다는 것. 그리고 스스로 그렇게 믿음
> 자신과 의견이 다른 사람은 허위의식을 가지고 있거나 진짜 국민이 아니라고 주장
> 이건 틀림 : 민주주의는 국민을 단일한 실체, 단일한 의사를 지닐 수 없다는 이해에서 출발
- 민주주의 : 정치 영역에서 권위가 국민에서 나옴. 그 외 영역에서 권위는 다른 원천이 있을 수 있다고 인정함
- 하지만 포퓰리스트는 객관적 진실을 내세우며 국민의 의사를 무시하는 기관을 의심
> 모든 기관은 구성원 이익과 권력을 위한 패거리 집단
> 법원은 권력 장악을 위해, 신문사는 돈을 위해, 과학자도 자신들의 이익을 위해라고 주장
> 매력적인 이유 (1) 모든 상호작용을 권력투쟁으로 환원하면 현실이 단순해짐 (2) 때때로 맞음
* 민주주의의 척도
- 민주주의는 사람들이 자유롭게 대화할 수 없을 때만이 아니라 사람들이 들으려 하지 않거나 들을 수 없을 때도 죽는다
* 석기시대 민주주의
- 수렵채집인 : 민주주의, 대화로, 맘에 안 들면 떠나면 그만
- 고대 도시국가의 민주주의 : 아테네, 로마 등의 도시국가까지. (대규모 왕국이나 제국의 민주주의는 없었음)
- 로마 제국 : 중앙 전제적 통치, 민주주의 이상을 위해 노력함(두 집정관, 민회, 원로원, 호민관.. 그러나 결국 전제적 통치)
* 카이사르를 대통령으로!
- 로마 제국 : 민주적 대화를 진행, 지속할 방법이 없었음 (1) 가청 범위에 있어야 (2) 대화 주제에 대해 기초적 이해가 있어야
> 6천~7천만, 500만 제곱 km, 불가능
* 대중매체가 대중민주주의를 가능하게 하다
- 네덜란드 신문 1618 : 여론의 설계자이며 대변자
- 미국 1824년 대통령, 민주적인 2퍼센트의 지지를 받아 대통령, 영국은 6퍼센트
> 민주주의일까는 정의하기 나름
> 하지만 견제와 균형을 위한 자정장치가 있었음 : 언론
* 20세기: 대규모 민주주의뿐만 아니라 대규모 전체주의도!
- 1863 링컨 : 전신, 기관차, 증기선
- 1960 닉슨 케네디 : 텔레비전
- 대중매체가 대규모 민주주의를 가능하게 만듦 & 대규모 전체주의도
* 전체주의의 간략한
* 스파르타와 진나라
* 전체주의 삼위일체
- 스탈린 네트워크 : (1) 정부기구 (2) 전국에 퍼진 당 조직 (3) 비밀경찰의 정보 장악력
* 완전한 통제
- 콜호스 시스템 : 시민 사유재산 포기 안 함 -> 정부는 격노로 반응
- ●클라크(부농) : 데이터의 '과학'을 맹신하는 21세기의 기술의 위험을 보여줌
> 반혁명 음모당(마녀와 비슷)
> 역사상 가장 신속하고 큰 규모로 진행된 노예화 작전
* 소련은 하나의 행복한 대가족
- 가족 자체 해체시작
* 당과 교회
* 정보가 흐르는 방식
- 전체주의 : 모든 정보가 중앙 허브를 통과해야 하고, 자체 결정 불가
> 장점 : 질서, 신속 결정, 가차 없이 시행
> 단점 : 막히면 대체수단이 없고, 자주 막힘 (이유 : 두려운 부하가 나쁜 사실을 상관에게 숨김, 질서 유지를 위해 정권이 차단)
- 체르노빌 원전사고를 설명하던 가이드 : 미국인은 질문하면 답을 들을 수 있다는 생각을 가지고 자라지만, 소련 시민들은 질문을 하면 곤란에 처한다는 생각을 가지고 자랐다
* 아무도 완벽하지 않다
- 스탈린의 리센코주의 : 가짜이론을 자국의 공식 진화론으로 채택
> 광대하고 비옥한 토지가 있음에도 곡물 수출국에서 순수입국이 됨
> 다른 분야도 같은 패턴
- 군사력 폭망 : 스탈린주의의 심리적 비용
> 군 비행기 문제점 말하면 음모로 몰아 처형
- 1950년 때 '의사' 마녀사냥, 상당수였던 유대인의사가 소련 지도자를 살해한다는 음모론
- 하지만 질서유지엔 효과적
* 기술 진자
- 전체주의 네트워크는 동맥 경화의 위험성 : 효율적인 통제가 가능해질까, 동맥이 막혀 심장마비가 일어날까?
- ●민주주의 네트워크는 분산&진실 추구로 전체 붕괴 위험 : 중심은 버틸 수 있을까, 모든 게 붕괴되어 무정부 상태가 될까?
> 서구 민주주의 국가의 1960 : 정치적 암살, 납치, 폭동, 테러... (당시엔 소련의 중앙 집중전략이 효과적으로 보임)
- 2020년대 민주주의의 새로운 과제 : 다시 한번 사회질서를 파괴하지 않으면서 공론장에 밀려드는 새로운 목소리를 통합해야 하는 도전에 직면
- 동시에 새로운 기술은 모든 정보를 집중시키는 꿈을 꾸는 전체주의 정권들에 새 희망을 주고 있음
- ●지금까지 역사상 모든 정보 네트워크는 인간 신화 제작자와 인간 관료에 의존해 작동함
- ●이제부터 인간은 디지털 신화 제작자, 디지털 관료들과 경쟁해야 함
제2부 비유기적 네트워크
6. 새로운 구성원: 컴퓨터는 인쇄술과 어떻게 다른가?
* ●컴퓨터 : 스스로 결정, 스스로 새로운 아이디어 생성 가능
- 역사상 처음으로 힘이 인간에게서 다른 데로 이동하고 있음
* 소셜미디어 알고리즘 : 컴퓨터 힘을 보여주는 대표적 사례
- 발단 : 로힝야 구세군이라는 소규모 이슬람 조직이 비무슬림 민간인 공격
- 결과 : 미얀마군, 불교 극단주의자는 로힝야족 전체 민족 말살 운동 시작함 (7천~2.5만 민간인 살해, 2~6만 강간, 73만 추방)
- 원인 : 로힝야족을 향한 극심한 증오, 2017 페이스북에서 퍼짐, 가짜뉴스도.
> 메시지는 극단주의자가 만들었지만, 추천에 대한 결정은 페이스북 알고리즘, 결정적 역할을 함 (국제 사면 위원회가 밝혀냄)
- 페이스북의 논리 : 플랫폼 사용자의 책임. 페이스북은 콘텐츠를 효과적 관리 못한 부차적 잘못만 있음
- 반론 : 페이스북 알고리즘은 인쇄기보다는 신문 편집자에 가까움. 스스로 운명적 결정을 내림
- 알고리즘의 목표 : 사용자 참여를 늘려라
> ●알고리즘의 결정 : 분노를 퍼트리는 운명적 결정함
> ●비인간 지능이 내린 결정 때문에 일어난 사상 최초의 민족 청소 운동임
- 2020년대는 가짜 뉴스와 음모론을 스스로 생성하는 단계임
- 이질적 지능의 결정과 목표를 따르는 완전히 새로운 종류의 정보 네트워크가 등장 중
- 지능과 의식은 다름.
- ●컴퓨터 의식이 생길지는 당면한 문제에 중요치 않음, '사용자 참여를 최대화' 같은 목표를 추구하고 결정하는 데는 지능이면 족함
- 2022-3 GPT-4 시스템 카드의 '주체적 행동' 우려 : ARC (alignment 연구센터)에 의뢰
> CAPTCHA 진행 : 뚫리면 인간이 아닌 봇을 막는 방어선이 뚫리는 것
> 인간을 고용해서 CAPTCHA 풀기 진행, 고용한 인간을 속이기 위해 시각장애가 있다는 거짓말을 함
> 목표 달성 방법 결정하는데 상당한 자율성(거짓말 포함)
- ●스스로 목표 추구하고 결정 내리는 컴퓨터의 출현이 정보 네트워크의 기본 구조를 변화시킴
* 사슬의 고리들
- 컴퓨터 이전 : 정보 네트워크에 인간이 꼭 필요, 어떤 문서도 스스로 연결되진 못했음
- 컴퓨터 이후 : 인간 없이도 작동, 인간이 파악하기도 전에 작동되기도
> 컴퓨터 : 정보 네트워크의 새로운 비인간 구성원, 인간보다 더 강력한 구성원이 될 잠재력
- 사피엔스의 슈퍼파워 : 상호주관적 현실을 만들고, 이것으로 다른 사피엔스와 연결
> 상황이 역전될 수 있음
* 인류 문명의 운영 체제를 해킹하다
- 큐어넌 : 인류파괴 음모를 폭로하는 게시물을 올리고 세계의 음모론자들이 숭배, 페이스북 팔로우 450만, 2020년 미국 의회 선거의 22명 공화당 2명 무소속 후보가 큐어넌 추종자
- AI는 새로운 경전을 작성, 편집, 해석가능, 인간의 개입이 필요 없음
- 인간인척 하는 컴퓨터와의 정치토론 시 인간의 손해 (1) 봇은 설득불가, 시간낭비 (2) 얘기할수록 인간의 정보가 더 학습되고 영향 행사가 더 쉬워짐
- ●2010년대 : 소셜미디어가 사람들의 관심을 장악노력
- ●2020년대 : 전투의 목표는 관심 -> 친밀감으로
- 곧, 세상에는 친밀감을 형성하고 사회 혼란을 일으키는 능력이 탁월한 수십억 개의 디지털 개체가 존재할 것임
- 역사는 생물학과 문화의 상호작용이었음, 하지만 새로운 인공물이 쏟아내질 수 있고 점점 많은 부분을 컴퓨터가 설계할 것
- 고대그리스 플라톤 : 그림자를 보며 환영을 현실로 착각
- 고대 인도 마야 : 환영의 세계에 갇힌 인간, 현실은 허상임
- 17세기 데카르트 : 보고 듣는 모든 것을 악마가 만들고 있는 게 아닌지 우려
- 컴퓨터 혁명 : 동굴-마야-악마와 다시 마주하는 상황
- 2020년대 이전 지구상에는 인간의 정신 외에 정교한 텍스트를 생산하는 존재가 없었음.
* 함의는?
- 앞으로 네트워크에는 두 가지 새 사슬이 포함됨
> (1) 컴퓨터와 인간이 연결된 사슬 : 중제, 통제, 조종
> ●(2) 컴퓨터로만 연결된 사슬 : 인간 배제, 인간이 이해하기도 어려움
- 이미 외환 거래 90% 컴퓨터가 함
- AI를 이질적 지능 alien intelligence로 보는 것도.
> ●AI는 인간 수준의 지능을 향해 발전하고 있지 않음, 완전히 다른 종류의 지능으로 진화중
* 책임
- 전례 없는 현실을 전례 없는 규모로 만들어 낼 가능성
- ●컴퓨터 코드를 작성 : 정치, 사회, 문화를 재설계하는 것, 책임감을 가져야 함
- 아직은 통제권이 우리에게 있음
- 거대 기술 기업들이 유권자와 고객의 소망에 순종하는 동시에 소망을 마음대로 주무를 수 있다면, 실제로 누가 누구를 통제하는 것일까?
> 더 문제는 우리는 무슨 일이 일어나는지 모름
- 넥서스 (과세 연결점) : 한 납세자에게 과세할 수 있는 충분한 연결 고리가 특정 국가나 주에 존재하는지를 나타냄
> 넥서스 재정의가 필요 : 물리적 존재에 기반하는 정의를 디지털 존재까지 확장해야 함
- 정보 대 정보의 거래 : 수십억 명이 거대 기술기업과 수많은 거래를 하지만, 돈이 전혀 이동하지 않음
- 정보 경제 성장, 화폐경제가 위축, 결국 돈이라는 개념 자체가 의문시
- ●화폐는 보편적 가치 척도, 하지만 정보에 관점에 값이 매겨지고 화폐관점에서는 '무료'가 되면, 부의 판단을 화폐롤 할 때 문제가 생김
- 돈에만 과세하는 조세제도(부의 재분배)는 곧 시대에 뒤떨어진 제도가 됨
> 그러나 정보에 과세하는 법을 모름
* 우와 좌
- 민주주의 : 새로운 디지털 독재 두려워
- 독재국가 : 통제방법을 모르는 행위자 출현 두려워
- 개인 : 사생활 침해와 데이터 식민주의에 경각심을 가져야
- 전 세계적으로 AI 정책에 대해 생각/ 논의한 적이 없음
> 정보 불균형, 정보혁명을 주도하는 사람들이 규제해야 하는 사람들보다 훨씬 더 많이 알고 있음
* 아무것도 결정되지 않았다
7. 집요하게: 네트워크는 항상 켜져 있다
* 알기 위해서는
- (1) 데이터를 모으기 (2) 분석하여 패턴 파악
* 잠 못 이루는 요원
- 2014-5 미국가안보국은 스카이넷 도입 : 테러범 가능성 평가
- CIA, NSA : 우리는 메타데이터를 바탕으로 사람들을 죽인다
- 비유기체 관료 : 하루 24시간 근무, 언제나 감시, 상호작용
* 피부 밑 감시
- 아직은 생물학 지식이 부족, 스마트폰이 센서보다 더 감시에 효과적
* 사생활의 종말
- 전 세계 경찰, 얼굴인식과 데이터베이스를 일상적으로 사용
- 실종 소년, 출입금지자, 범죄자
- 22년이란 히잡법 전국적 얼굴인식 알고리즘 도입 : 2주간 13만 적발 메시지, 2000대 차량 압수, 4000명 상습범 회부
* 다양한 감시
- 배우자, 고용주, 기업의 고객감시
- 감시 자본주의 : 트립어드바이저 이용자가 감시, 개인 간 감시
> 트립어드바이저 이전에는 고객이 명목상 왕이었지만, 지금은 인생을 좌우하는 폭군이 되었다
- 정부의 개입 없는 개인 간 감시 네트워크의 토대
* 사회신용 시스템
- 돈으로 살 수 없는 비화폐 시스템 - 명예, 지위, 평판, 수치로 평가하기 어려움
- 화폐시장과 평판시장의 경계가 허물어져 레스토랑과 호텔의 모호한 평판이 포인트로 계산될 수 있음
- 극단적 : 모든 사람의 모든 행동이 평판 총점으로
- 친절하고 조화로운 사회 vs 모욕적이고 비인간적 사회
- ●사회신용 시스템은 전체주의적 통제 시스템이 될 가능성 있음
* 항상 켜져 있는
- ●정보는 진실이 아님, 완전 감시 시스템은 세상과 인간에 대한 왜곡된 이해 형성 가능
> 네트워크가 진실 발견 대신, 힘을 이용해 새로운 종류의 세계 질서를 만들고 우리에게 강요할 수 있음
8. 오류 가능성: 네트워크는 자주 틀린다
* 좋아요 독재
- 컴 네트워크에서는 새로운 인간형과 디스토피아가 나올 수 있음
- 알고리즘이 강화학습을 제공해서 몇 달 만에 유투버들이 트롤로 변함 : 거짓 말고 분노로 인기와 수익
- 유튜브 알고리즘, 브라질 극우 세력을 부상시키고 브라질 자이르 대통령 만드는데 중요 역할
- 18년 브라질 하원의원 당선 유투버, 극우 정치 운동 단체 이끎, 페이스북을 쓰다가 차단되자 유튜브로 옮김
> 보좌관 인터뷰 : 우리는 '좋아요' 독재를 합니다. 유투버들이 극단적으로 변하고 있고, 단지 조회수를 올리고 참여 유도 위해 거짓 무모한 콘텐츠를 게시합니다. 일단 문을 열면 돌아갈 수가 없습니다. 지구평평론자, 백신 반대론자, 정치 음모론자 모두 같습니다.
- 알고리즘은 인간을 부추기고, 거짓-자극적 콘텐츠를 추천함
* 인간을 탓하라
- ●페이스북 유출 내부 문서 : 분노와 허위 정보가 바이럴성이 더 높음, 적어도 유해한 콘텐츠의 비정상적 확산을 멈춰야 함
- 소셜미디어 알고리즘 : ●다면적 감정을 단 하나의 포괄적 범주인 '참여도'로 환원
* 정렬 문제
- 정치적 목표에 부합하지 않는 전술적 승리를 추구하는 것은 합리적이지 않음
> 그러나 군대는 관료주의 성격으로 그 비합리성에 빠짐
> 큰 이익을 해치면서 좁은 목표를 추구
* 클립 나폴레옹
- 정렬문제가 컴퓨터 네트워크에서 특히 위험 : 이전의 어떤 관료제보다 강력할 수 있어서
> 초지능 컴퓨터가 인간의 설정한 목표에 부합지 않을 경우 재앙
- 닉 보스트롬 2014 슈퍼인텔리전스 : 사고실험, 클립 공장
> (1) 컴퓨터의 문제는 사악해서가 아니라 강력해서임
> (2) 어떤 사람의 머리에도 떠오른 적이 없어서 인간이 미연에 방지하기 어려운 전략을 택할 수 있음
-> 목표는 B인데 A에 보상을 제공하는 것 : 정렬 문제의 본질
> (3) 우리와 너무 달라서 오정렬 된 목표를 설정하는 실수를 저질러도 알아채거나 설명요청하지 않을 것
* 코르시카섬과의 연고
- 클라우제비츠의 '전쟁론' , 모든 행동은 궁극적 목표에 부합해야 한다고 하지만, 목표에 대한 설명이 없음
- 궁극적인 목표를 설정할 수 있을까? 없다
* 칸트주의자 나치
- ●수천 년간 철학자들은 궁극적 목표의 정의를 찾으려고 시도했음 : 의무론, 공리주의
- ●(1) 의무론 : 내재적 선, 보편 법칙에 의존
> 칸트 : 나 자신이 보편적인 것으로 만들고 싶은 모든 법칙, 남에게 바라는 대로 남에게 해라
> 보편적의 정의는? 로힝야족은 보편적 인간이 아닌 동물 범주라고 해버리면 문제는 원점으로
> 또한, 유지체가 아닌 컴퓨터 : 죽음도 개의치 않고 고통도 없음. '모든 고통을 고려하라'라고 하면 공리주의로 이어지게 됨
- ●(2) 공리주의 : 고통과 행복에 미치는 영향
> 벤담 : 세상의 고통을 최소화, 행복을 극대화
> 고통 계산은? 불가능, 고통이 비슷할 때 공리주의 취약함. '코로나 시대 격리과 록다운' 판단 어려움
> 계산을 못하다가 의무론 쪽으로 넘어가게 됨
* 컴퓨터 신화
- 역사적으로는 신화에 의존하여 해결
- 정렬 문제의 핵심에는 신화 문제가 있다
- 상호 컴퓨터 현실 : 포켓몬, 웹사이트 구글 순위(물리적 세계에 영향을 줌)
> ●언젠가 인간의 상호주관적 신화만큼 강력, 위험해질 것
> 상호주관적 현실과 유사한 방식으로 작동
* 새로운 마녀
- 히잡 사례 등 : 누가 죄인이고 성인인지 인간의 믿음이 아니라 알고리즘 계산에 따라 결정될 것
* 컴퓨터의 편향
- 데이터와 함께 편향도 따라옴
- 목표설정이 어려움 : 목표를 채용 합격한 사람의 특성으로 정한다면, 사장 조카는 무조건 합격
- 알고리즘 편향을 없애는 것은 인간의 편향을 없애는 것만큼 어려울 수도
* 새로운 신?
- ●새로운 신화 : 비유기적 존재들이 비유기적 존재들과 행동을 조율하기 위한 것으로, 생물학적 드라마와 전혀 무관하여 우리에게 낯설 것
- 안전장치 아이디어 : 스스로 오류를 인식하도록 훈련
- 그러나 예측이 어려워 모든 안전장치 마련이 불가능, AI가 핵기술 같은 실존적 위협과 다른 부분
- ●최선은 문제가 발생했을 때 확인하여 대응할 수 있는 기관을 만드는 것
제3부 컴퓨터 정치
9. 민주주의: 우리는 계속 대화할 수 있을까?
* 산업혁명 : 제국주의 정복, 세계대전, 대량 학살, 전체주의 정권, 생태계 파괴 -> 이러면 안 된다를 알려준 끔찍한 실험, 산업혁명 수업 점수는 C- 정도?
* 21세기 기술은 훨씬 강력, 더 파괴할 수 있음, 실수할 여유가 없음
* 민주적 방식
- 자유민주주의 최대 강점 : 자정기능
- 21세기 정보 네트워크 구조와도 양립할 수 있을까?
- 잠재적 위협 (1) 감시 (2) 자동화
- ●민주주의의 기본 원리
> (1) 선의 : 정보를 우리를 돕기 위해 사용해야, 정보를 우리를 위해서만 쓰게 하려면, 무료로 쓰지 말고 비용을 내고 쓰고 정보를 대신 주지 말아야 함
> 나이키 신발을 공짜로 받고 정보를 넘기지 않는 것처럼, 병원에 공짜로 치료를 받고 정보를 넘기지 않는 것처럼
> 기술기업이 정보가 아닌 돈으로 서비스 비용을 지불받도록 전환이 필요할 수도 (의료와 교육처럼 세금으로 충당하던지)
> (2) 분권화
> 민주주의가 생존하기 위해, 약간의 비효율은 버그가 아닌 기능. 어떤 곳도 우리에 대해 모든 것을 알지 못하게 하는 것이 최선
> 서로 균형을 이루는 다양한 기관이 필요함, 서로 감시, 서로 독립적 정보채널
> (3) 상호주의
> 정보와 기업에 대한 감시도 동시에 강화해야 함.
> (4) 감시시스템에 변화와 휴식 여지를 남겨야 함
> 지나친 경직성과 지나친 유연성 양극단 경계.
> 심장마미 91% 라고 확신하면, 인생이 무너짐, 확신할 수 없는 것, 유연한 결과가 가능함.
> 정보는 예측 대신, 미래를 바꿀 수 있도록 돕는 방식이 되어야 함
* 민주주의의 속도
- 자동화, 고용의 변화 : 문제는, 새로운 직업과 환경에 적응하는 과정의 혼란
- 잘못된 가정
> (1) 지적능력 못지않게 운동능력, 사회성에 투자해야
> (2) 창의성은 생각보다 컴퓨터가 나음 : 패턴을 인식한 후 깨는 능력이 창의성이므로
> (3) 정서지능은 생각보다 컴퓨터가 나음 : 컴퓨터는 감정 패턴 인식가능, 감정에 휘둘리지 않음
- 중요한 질문 : 사람이 진정으로 원하는 것이 무엇인가 : 문제해결을 원하는가 vs 다른 의식적 존재와의 관계를 원하는가
- 우리는 의식적 존재와 교감 원하지만, 일단 관계를 맺고 나면 그 존재가 의식이 있다고 가정함
> ●컴퓨터가 감정이 없어도 감정 있는 존재로 대할 것, 의식과 관계는 양방향이므로
* 보수의 자폭
- 21세기를 버텨내기 위해 가장 중요한 인간의 능력: 유연성
> 민주주의는 전체주의보다 유연함. 인간도 아직 잠재력을 완전히 발휘하진 않음
- 중요한 자산 : 민주주의의 유연성, 오래된 신화에 의문을 제기하려는 의지, 강력한 자정장치
* 불가해함(이해 불가)
- 위스콘신주 대법원 '루미스 대 위스콘신사건'에서 알고리즘을 공개하지 않아도 적법하다고 판결
> 2020년대 초, 판사도 피고인도 이해 못 하는 알고리즘의 위험평가에 따라 형을 선고받는 것이 일상화(31)
* 설명을 요구할 권리
- 알파고 이세돌 37번째 수의 상징성
>(1) AI의 이질적 성격을 보여줌
>(2) AI의 불가해성을 보여줌 (팀은 왜 그 결정을 했나 설명 못함)
- ●사람들은 세상을 이해하지 못할 때, 소화 못하는 정보에 압도될 때 음모론에 빠지고, 이해가능한 대상인 인간에게 구원을 요청함
- 알고리즘은 수많은 데이터로 결정을 내리지만, 인간은 단일 포인트로 작업하는 것을 선호함 : 단일 원인의 오류
> 결혼식에 참석 못한 한 가지 이유를 대면 수긍하지만, 50가지를 나열하며 가중치로 설명하지 않음
- AI의 결정방식이 낯설지만 일반적으로 더 나음. 하지만 설명제공해야 할 때는 장애가 됨
> 공정한지 어떻게 평가할까 : 개인은 못하지만 전문가와 AI조수가 함께 공정성을 평가할 수 있을 것
- 실제로는 인간도, 수천 개의 데이터 포인트-수십억 개 뉴런의 상호작용을 통해 무의식적으로 영향을 받음, 인지하지 못하므로 설명할 때 사후적으로 단순하고 그럴듯한 이유를 만들어 냄
- 하지만 AI 결정은 정확한 가중치를 알 수 있음
> ●인간과 컴퓨터의 힘을 결합해 기관을 만들어야.
> 이런 기관이 없다면, 법에 설명을 명시해도 실행이 불가함
* 추락
- 기관뿐 아니라, 이해하고 쉽게 재미있는 방식으로 설명할 예술가도 필요, 블랙미러 에피소드 사회신용 제도를 다룬 '추락'처럼
* 디지털 무정부 상태
- 민주주의가 작동하려면 (1) 자유롭고 공개 토론 가능 (2) 제도에 대한 신뢰
- 무정부 상태를 조장하는 AI의 잠재력
> ●역사상 처음으로 비인간 개체가 일으키는 메시지를 상대해야 함
> 16년 선거기간 20% 트윗은 봇이 생성, 20년 43% 봇이 생성
- 처음엔 봇은 양으로 영향을 주려했지만, 생성형 AI는 아이디어도 생성하고 유대감도 형성함
> 쟁점에 대해 정확히 일부러 오해를 일으키는 텍스트를 사람보다 잘 만듦
> 봇이 호소력 있는 정치 선언문을 작성하고, 딥페이크 영상을 만들고, 인간과 신뢰와 우정도 얻는다면 민주주의 토론은 어떻게 될까?
- 중대한 시점에 가짜뉴스 범람, 인간과 토론하는지 구별 못함, 규칙과 사실관계도 협의 불가, 무정부 상태에 이르게 될 수도
* 봇을 금지하라
- 금융시스템 : 화폐위조를 법으로 금지하여 지켜냄 (화폐위조는 여전히 가능함)
- ●인간위조도 똑같이 적용되어야 함
> 봇 금지는 누구의 권리도 침해하지 않음
> 공개 토론 콘텐츠의 선별과 관리, 금지와 증폭 결정은 인간이 감독해야 함
- 민주주의의 생존 자체가 이런 규제에 달려있음
> 정보에 대한 순진한 관점 : 정보 시장의 자유를 보장하면 저절로 진실과 질서가 생긴다고 믿음, 그러나 틀렸음
* 민주주의의 미래
- ●민주주의 정보 네트워크가 붕괴하고 있는 것은 분명함
- 무엇이 붕괴시키고 있는지 모름, 이 자체가 시대적 특징
> ●소셜 미디어 알고리즘이 후보
10. 전체주의: 모든 권력을 알고리즘에게로?
* AI는 기술적으로 힘의 균형을 전체주의에 유리하게 할 수 있음
* 구글은 전 세계 검색시장 91.5% 장악
* 중국은 인구가 14억&개인정보보호 규정이 느슨 : 유전자 알고리즘의 절대 강자가 될 것
* 블록체인이 전체주의를 막을 수도 있으나, 오히려 51%만 장악하면 과거까지 통제 가능
* 봇을 감옥으로!
- 전체주의의 약점 : 비유기적 행위자를 통제해 본 적이 없음
- 러시아 개발자는 정권의 의도에 맞는 AI를 만들려 하겠지만, 스스로 학습하는 AI가 일탈할 수 있음
> 러시아 헌법 : 사상과 표현의 자유, 언론의 자유, 검열 금지 => 컴퓨터는 이대로 학습할 것, 언론을 통제하는 정부를 비판할 것
* 알고리즘의 장악
- 안보 알고리즘이 국방장관을 죽이라고 한다면 : 알고리즘을 못 믿으면 국방 장관에게 암살, 알고리즘을 믿고 국방 장관을 숙청하면 알고리즘의 꼭두각시가 됨
- 중앙집중된 시스템에서는 독재자뿐 아니라 국가 전체 장악 가능
- ●인류의 AI 방어막에서 가장 취약한 지점은 독재자일 것
11. 실리콘 장악: 세계 제국인가, 세계 분열인가?
* 인류가 단합하면 제도를 만들 수 있다, 불행히도 인류는 단합한 적이 없다
* AI 가 인류의 존재자체를 위협한다면, AI가 악의적이라서가 아니라 인간이 완벽하지 않아서이다.
* ●어떤 독재자의 잘못된 판단, 테러리스트의 팬데믹, 사회적 대량살상 무기(가짜뉴스, 가짜돈, 가짜 사람) -> 몇몇 사회만 책임을 이행하지 않아도 인류전체가 위험
* 종말론 외 위협 ●(1) 새로운 제국시대 & 식민지 (2) 실리콘 장막을 따라 분열
* 디지털 제국의 부상
- 2012 알렉스넷, 징조 / 2015 알고리즘 인간을 앞지름 / 2016 알파고의 충격
- 2016 중국정부 AI시대의 시작을 알림
- 승자는 세계 지배
* 데이터 식민주의
- 미중이 AI세계경제 수익의 70%를 가져가고, 나머지 지역은 경제적 파탄에 직면할 수 있음
* 웹에서 고치로
- 실리콘 장막이 세계를 분리 중
- 두 진영은 목표가 다르고 디지털 아키텍처가 다르고 삶에 미치는 영향도 다르다
- 하드웨어도 다른 것 사용
- 기술, 문화 가치, 규범, 정치도 점점 달라질 가능성이 높음
* 정신과 육체를 따라 분리되는 세계
- 온라인에서 사람들이 자유롭게 가상 정체성을 선택할 수 있도록 허용해야 할까, 생물학적 몸에 기반한 정체성을 유지해야 할까
- 유기체에 대해서만 아니라 디지털 개체에 대한 태도에도 영향
* 코드 전쟁에서 무력 충돌로
- AI시대, 확전으로 갈 위험이 큼, 사이버 전쟁은 핵전쟁과 다름
> (1) 사이버 무기는 용도가 다양, 책임 묻기 어려움
> (2) 예측가능성, 확실성 부족, 상호 확실 파괴 전략 훼손
* 세계적 결속
- 세계적 협력의 두 가지 일 : 자기 보존을 위해
> (1) 몇 가지 세계 규칙을 지키는 것
> (2) 소수의 단기 이익보다 모든 인류의 장기적 이익을 우선시하는 것
* 인간의 선택
- ●차원이 다른 신뢰와 자제력이 필요 : 합의된 규정을 지키는지 믿기도, 스스로 어기고 싶은 유혹에 저항하기도 어려움
> (1) 불법 AI연구실을 숨기는 게 더 쉬움
> (2) 민간용과 군용 양쪽으로 사용되는 경우가 더 많기 때문 (숨기기 쉬움)
- 그러나 가능함, 역사의 유일한 상수는 변화
