AI가 인간의 친구라고 생각한다면 순진한 생각입니다
유발 하라리 '넥서스'
오늘은 역작 사피엔스를 써낸 유발 하라리의 신작 '넥서스'입니다. 하라리는 사피엔스에서 인류가 어떻게 지구를 정복할 수 있었는지를 설명합니다. 그 내용을 요약하자면 '인간은 어떤 정보를 생산하고 그것을 기반으한 네트워크를 만들어내어 협력할 수 있는 능력이 뛰어났다'입니다. 예를 들어 기독교 신화를 만들어 내어 모든 신자들을 '야훼의 자식'이라는 신화로 묶었습니다. 하라리는 이번책 넥서스에서 그 '정보'를 만들어내고 다루는 능력에 집중을 하고 있습니다. 이 시점에서 하라리가 정보에 집중하는 이유는 바로 AI 혁명의 시점이 다가왔기 때문입니다. 이제껏 역사에서 모든 정보는 인간의 손을 거쳤습니다. 신의 말은 예언자를 통해서 전달되었고, 성경, 쿠란 역시 인간의 손에 작성되고 전파되었지요. 그런데 인간을 거친다는 것은 문제가 많았습니다. 필연적으로 오류가 발생하기 때문이지요. AI는 이런 인간의 오류를 피해 가지 않을까요? 넥서스는 이 부분을 다룹니다. AI개발자, 대기업들은 AI를 너무나 낙관적으로 보고 있고, 인류를 더 나은 쪽으로 인도하리라 확신합니다. 그러나 저자의 의견은 조금 다른듯합니다.
책의 내용을 잘 이해하기 위해 먼저 종교의 이야기를 해보려고 합니다. 종교의 역사가 인류가 정보를 어떻게 다루었는지 가장 잘 보여주는 사례이기 때문입니다. 성경은 진실일까요? 성경은 전염병은 인간에 대한 신의 처벌로 묘사하고, 노예제를 묵인하며, 여성을 혐오하는 내용을 포함합니다. 이런 것들은 분명 진실이 아닙니다. 전염병에는 백신이 필요하고, 태어날 때부터 DNA에 노예라고 새겨진 사람은 없습니다. 당연히 남녀는 평등합니다. 이런 문제에도 불구하고 교인들은 성경을 수정하지 않았습니다. 신이 틀릴 리가 없다는 것이지요. 오류를 인정하지 않은 결과 성경은 여전히 노예제를 지지하고 있습니다. 무오류의 덫에 빠진 겁니다. 그러나 교인들이 간과한 사실이 있습니다. 성경 역시 인간이 엮고 복제했으며 그 과정에는 반드시 실수가 수반된다는 것입니다. 성경이 종교지도자들의 추천 목록으로 탄생했다는 사실을 주목해야 합니다. 교인들에게 좀 더 관용적인 '바울과 테클라의 행전'이 아니라, 여성 혐오적인' 디모테오에게 보낸 첫째 편지'를 추천함으로써 역사의 경로를 바꾸었습니다. 무오류의 책 성경의 역사는 정보 네트워크가 가진 한계를 명확하게 보여줍니다.
무엇이 정보인가?
성경의 문제는 진실을 제대로 반영하지 못했다는 사실입니다. 그럼에도 성경은 인류 역사상 가장 영향력 있는 책이고 성경의 내용은 수억 명의 교인들을 연결시켰습니다. 어째일까요? 정보가 진실을 반영하지 않기 때문입니다. 즉 정보는 진실을 반영하지 않습니다. 무엇이 정보일까요? '예루살렘광장에 만 명의 군인이 집결해 있다.' 이것은 정보일까요? 만약 그만 명이 정규균이 아닌 예비군이라면 어떨까요. 군복을 입은 일반인이라면 어떨까요? 다시 말해 그 정보가 사실이 아니더라도 그것은 정보라고 할 수 있을까요? 혹자들은 사실이어야만 정보라고 말합니다. 하지만 정보의 특징은 현실반영이 아닙니다. 성경을 보면 알 수 있죠. 정보는 어느 정도 진실을 추구해야 하지만, 진실이어야만 정보는 아닙니다.
정보의 또 다른 특징은 질서 유지입니다. 성경이 진실을 왜곡하면서도 수정을 하지 못한 이유는 기독교 질서가 무너질 것을 우려했기 때문입니다. 신이 틀렸다고 교황이 선언한다면, 교인들은 신을 의심할 겁니다.
상호주관적 현실(질서유지) vs 진실추구
성경은 '상호 주관적 현실'입니다. 우리가 다 같이 믿기에 현실이 되는 것이 바로 상호주관적 현실 이죠. 달러, 종교, 인권 같은 것이 대표적입니다. 내일부터 당장 모든 사람이 달러를 믿지 않는다면 달러는 그냥 종이쪼가리에 불과합니다. 성경 역시 상호주관적 현실입니다. 반면에 중력은 모든 사람이 믿지 않는다고 갑자기 사라지지 않습니다. 중력은 진실입니다. 정보의 두 가지 특징은 질서유지와 진실추구입니다. 문제는 저울이 극단적으로 한쪽으로 치우칠 때 발생합니다. 사피엔스는 사람들을 묶기 위해, 질서를 유지하기 위해 상호주관적 현실을 만들어냈습니다. 그런데 그 상호주관적 현실이 틀리지 않았다고 선언하자 진실이 무너졌습니다. 성경은 아직 노예제를 지지하고 있습니다. 너무 질서유지만을 추구했기 때문입니다. 진화론도 한 예입니다. 가톨릭교는 인간을 하느님이 창조했다고 믿고, 따라서 진화론은 질서를 흔들 수 있었습니다. 그래서 오랫동안 무시했지요. 요컨대 우리는 정보를 다루면서 질서유지와 진실추구 두 가지의 균형을 잘 맞춰야 합니다. 그러기 위해선 오류를 인정해야 합니다. 좋은 예가 미국의 헌법입니다. 미국의 헌법은 초기에 노예제를 인정했고, 남녀를 차별했습니다. 그러나 그것이 틀렸음을 인정했고 수정한 법으로 바로 잡았습니다.
순진한 정보관
어떻게 오류를 바로 잡을 수 있을까요? 예를 들어 남녀가 평등하다는 사실을 어떻게 찾을 수 있겠느냐 하는 거죠. 순진한 정보관은 정보의 자유시장이 해결책이라고 말합니다. 그들은 정보의 양이 무한이 많아지고 그 정보를 모든 사람이 자유롭게 볼 수 있다면 오류는 자연스럽게 사라질 것이라고 말합니다. 그럴까요? 우리는 역사에서 답을 찾을 수 있습니다.
인쇄술이 발명되고 정보가 갑자기 기하급수적으로 늘어났습니다. 누구나 책을 쓸 수 있었고 누구나 책을 읽을 수 있었습니다. 그러나 부작용이 있었지요. 크리머는 부적절한 종교 재판으로 추방된 종교판사였습니다. 그는 추방된 것에 불만을 품고 '마녀의 망치'라는 책을 집필합니다. 그 책은 마녀의 특징, 마녀를 찾는 방법, 고문하는 방법 등을 담고 있었죠. 이 책은 순식간에 베스트 샐러가 되어 유럽전역에 퍼져 마녀사냥 돌풍을 일으켰습니다. 그 결과 5만 명 이상의 무고한 사람이 고문, 처형당했습니다.
사람들은 희박한 증거를 가지고 서로를 마녀라고 비난하기 시작했는데 대개는 개인적 원한이나 개인적 이득을 위해서였다. 심문 방법은 그야말로 악마적이었다. 마녀라고 자백하면 즉결 처형하고 그의 재산을 고발자, 처형자, 심문관이 나누어 가진다. 자백을 거부하면 손가락을 부러뜨리고 뜨거운 집게로 살을 베고 몸을 찢어질 때까지 늘이거나 끓는 물에 담그는 등 고문을 했다.
인쇄술은 음모론을 빠르게 확장시켰습니다. 마녀사냥이 인쇄술이라는 기술 때문일까요? 아닙니다. 사람 때문이지요. 인쇄술은 좋은 책도 세상에 나올 수 있는 기회를 주었습니다. 코페르니쿠스의 책 '천구의 회전에 관하여'는 천동설이 아닌 지동설을 최초로 주장했습니다. 마녀사냥이 상호주관적 현실을 만들어 냈다면 코페르니쿠스는 진실을 추구한 것이지요. 문제는 다수의 사람들은 진실에 관심이 없다는 겁니다. 인쇄업자들은 마녀의 망치로 더 큰돈을 더 쉽게 벌 수 있었습니다.
순진한 정보관의 주장은 틀렸습니다. 정보의 진실추구와 질서유지의 저울은 그냥 내버려 두면 질서유지 쪽으로 반드시 기웁니다. 그리고 질서유지를 위해 상호주관적 현실을 만들어내고 그것은 마녀사냥 같은 학살을 야기할 수 있습니다. 십자군 같은 종교전쟁, 마녀사냥, 홀로코스트는 질서유지를 위해 만들어낸 상호주관적 현실이 만들어낸 비극이었습니다. 그러나 우리는 바로잡았습니다. 마녀사냥은 사라졌교, 나치는 패망했지요.(성경은 예외로 합시다) 그런데 21세기 인간이 아닌 이질적인 지능이 우리의 정보네트워크에 참여를 선언했습니다. 그 이질적인 지능은 분명 인쇄술 같은 기술이지만 스스로 판단을 하고 행동을 합니다. 인류 역사상 이런 종류의 기술은 없었지요. 다시 순진한 정보관이 등장합니다. 그들은 이번에야 말로 무오류의 정보가 가능하리라고 말합니다.
AI는 스스로 선택한다
AI시대에서 순진한 정보관이라 하면 AI개발자, 기업인들이 되겠습니다. 그들은 AI와 인간이 공존하는 낙관적인 미래를 제시합니다. 과연 AI는 무오류의 기술일까요? 하라리는 균형을 맞추기 위해 비교적 디스토피아적인 미래를 제시합니다. 증거도 있지요.
2016~2017년 미얀마에서 불교도들이 무슬림 소수민족인 로힝야족을 학살하는 사건이 발생했습니다. 폭력을 부추긴 것은 페이스북의 알고리즘이었습니다. 불교지도자들은 로힝야족을 증오할 수밖에 없는 정보를 담은 영상을 만들었습니다. 그중 일부는 사실이었지만 대부분 거짓이었죠. 알고리즘은 그런 영상을 들 무분별하게 추천 영상에 노출했고 자동재생했습니다. 그 결과 2만 5천 명의 민간인이 죽고 6만 명이 강간, 성폭행했을 당했으며, 73만 명의 로힝야족이 추방되었습니다. 유엔 조사단은 페이스북의 알고리즘이 민족 청소 운동에 결정적인 역할을 했다고 결론을 내렸습니다.
그런데 저자는 크리머가 인쇄술을 사용해 마녀의 망치를 퍼뜨린 것은 인쇄술의 탓이 아니라고 결론을 내렸습니다. 그렇다면 로힝야족 학살 사건이 왜 페이스북의 탓일까요? 실제로 페이스북은 이런 논리에 의존했습니다. 하지만 말했다시피 인쇄술과 알고리즘은 다릅니다. 결정적인 차이는 알고리즘은 스스로 결정을 내린다는 점입니다. 인쇄술은 스스로 무엇을 찍을지 결정하지 않습니다. 핵폭탄은 스스로 어디에 떨어질지 결정하고 출발하지 않죠. 하지만 페이스북의 알고리즘은 '로힝야족에 대한 증오를 퍼뜨리자'라는 선택을 스스로 했습니다. 알고리즘은 인쇄기라기보다는 성경 편집자에 가까웠습니다. 성경은 편집자들이 관용적인 '바울과 테클라의 행전'이 아닌 '디모테오에게 보낸 첫째 편지'를 추천함으로써 여성혐오적이 되었다는 점을 기억해야 합니다.
그렇다면 알고리즘은 왜 자비가 아니라 분노를 추천하기로 했을까요? 알고리즘이 목표는 클릭률입니다. 갓 태어난 페이스북의 아기알고리즘은 여러 가지를 추천해 봤을 겁니다. 연민, 자비, 귀여운, 사랑, 분노. 그리고 분노가 가장 클릭률이 높다는 사실을 알아차렸겠지요. 그리고 분노를 추천하기 시작했습니다. 인쇄술은 스스로 분노를 선택하지 않았습니다. 하지만 알고리즘은 스스로 분노를 선택했지요. 만일 로힝야족 학살의 원인인에서 페이스북알고리즘의 역할이 단 1%에 불과하다고 가정하더라도 이것인 인류 역사상 최초로 인간이 아닌 다른 이질적인 지능으로 인한 학살입니다. 이 빠르게 발전하는 이질적인 지능은 스스로 결정을 하고 정보를 생산하고 배포까지 합니다. 그런데 우리는 이 AI를 이해하지 조차 못하고 있습니다.
자정 장치와 오류인정
그렇다고 우리가 이제 AI에게 지배당할 것이라는 의미는 아닙니다. 인류에게는 비장의 무기가 있습니다. '민주주의'. 많은 부작용에도 민주주의가 다른 정치체제를 뛰어넘어 살아남은 이유는 바로 오류를 인정하는 자세와 자정장치 덕분입니다. 전체주의의 스탈린은 오류를 인정하지 않습니다. 또한 그렇기 때문에 스스로의 잘못을 바로잡을 자정장치도 마련해두지 않았죠. 반면 민주주의는 자정장치와 오류의 인정이 핵심가치입니다. 미국 건국의 아버지들은 미국에도 로마의 카이사르 같은 사람이 나타날까 두려워 많은 자정장치를 만들었습니다. 그중 하나가 자유로운 언론입니다. 미국에서는 정부가 숨기더라도 뉴욕타임스가 보도를 할 겁니다. 뉴욕타임스가 암묵 하더라도 워싱턴 포스트가 보도를 하겠지요. 1979년 펜실베이니아주의 원자로에서 사건이 발생했을 때, 사고는 새벽 4시에 시작되었고 6시 30분에 인지했으며 6시 56분에 비상사태가 선포되었습니다. 미국시민들은 사고가 인지되고 두 시간 만에 소식을 알았죠. 반면 체르노빌 원전 사고 당시 소련은 모든 뉴스를 차단했습니다. 스웨덴 과학자들이 먼저 언론에 소식을 보도한 후에야 소련은 문제를 인정했죠. 그 결과 수백만명의 사람들이 건강을 잃었습니다. 오류를 인정하지 않고 자정장치를 만들지 않으면 어떤 문제가 생길 수 있는데 잘 보여주는 사례입니다.
모범사례
오류의 인정과 자정장치가 잘 작동하는 분야가 바로 과학입니다. DSM이라는 책은 정신 의사들의 바이블 같은 책입니다. 1952년 처음 출판된 책은 당시에는 동성애를 사이코패스로 분류했습니다. 하지만 1974년에는 이런 내용이 삭제되었지요. 이런 오류를 수정하기까지는 불과 22년밖에 걸리지 않았습니다. 반면 성경은 아직 수정판이 나온 적이 없죠. 대부분의 과학자들은 오류의 가능성을 인정합니다. 과학이론은 다른 반론이 나오지 않을 때까지만 유효하죠. 뉴턴의 만유인력법칙은 너무나도 완벽했기에 과학계로서는 파격적으로 '법칙'이라고 명명했으나 아인슈타인의 상대성이론이 나오고 나서 과학계는 뉴턴의 물리학 법칙에 예외가 있음을 인정했습니다.
오류의 인정뿐만 아니라 과학계에는 자정장치 역시 탁월합니다. 과학자로서 성공하기 위해서는 선배들의 이론을 반박하고 빈틈을 찾음으로써 가능합니다. 과학계에 새로운 논문이 한편 발표되면 네이처, 사이언스지, 왕립학회, 과학아카데미 같은 과학기관들의 목적은 '그것을 사람들이 얼마나 많이 볼까'가 아닙니다. '그것이 사실이라는 증거가 있는가?' 이죠. 이전 학자들이 말한 것만 되풀이해서는 절대 노벨상은 받을 수 없습니다. 반면 종교지도자의 경우에는 기존 교리를 잘 따르면 될 수 있습니다. 성경에 의문을 제시하는 사람 사제가 될 수 없죠.
다시 말해 과학 혁명은 무지를 발견하는 것에서 시작되었다. 책의 종교들은 자신들이 오류 없는 지식에 접근할 수 있다고 가정했다. 기독교인들에게는 그것이 성경이고, 무슬림에게는 쿠란이었고, 힌두교도에게는 베다였으며, 불교도에게는 티피타카였다. 과학문화에서는 거룩한 책에 해당하는 것이 없었으며, 과학영웅들 중 아무도 자신이 오류를 범하지 않는 예언자나 성인, 또는 천재라는 주장을 하지 않았다.
우리는 또 과학계에 배워야겠습니다. 다가오는 시대에는 새로운 정보 네트워크의 주체인 AI가 참여할 것입니다. 스스로 판단을 내리고 행동하는 이 이질적인 존재를 그냥 내버려 둔다면 인류는 멸망의 길을 걸을 수도 있습니다. 다라서 우리는 민주주의를 유지하고 AI로 하여금 오류, 잘못을 인정하게 하며, 강력한 독립 기관들을 유지해 자정장치를 마련해야 할 것입니다. 유발하라리의 넥서스였습니다.
https://youtu.be/zwoPU6Ny7tU?si=S2k_IlgEnwl6Tto9
