독서노트: 넥서스 7
그들이 연결해야 하는 것은 변연계였죠.
2부 마지막까지 왔습니다. 앞서 말했지만 사태를 이 지경으로 만들고도 자기들도 노력하고 있다고 위선을 떨면서 뒤로는 돈을 왕창 벌어들이고 있는 그들에게 분노하고, 마치 육아하는 부모처럼 우리 인간이 AI들을 시종일관 지켜보며 개입해 제한선을 주고 가르쳐야 한다고 재차 주장하고 있습니다.
8. 오류 가능성: 네트워크는 자주 틀린다
러시아 스탈린 시대의 유명한 작가 솔제니친이 쓴 <수용소 군도>를 보면 지역 당 대회에서 일어난 사건을 묘사한 내용이 나온다. 스탈린에게 경의를 표하라는 요청이 떨어지자 청중들이 박수갈채를 보내는데 어느 누가 먼저 멈출 용기를 내질 못한다.
"그들은 심장마비로 쓰러질 때까지 멈출 수 없었다! (...) 얼굴에 가식적인 열정을 드러내고 실낱같은 희망으로 서로를 쳐다보는 지역 당 지도자들은 선 자리에서 쓰러질 때까지 계속 박수를 칠 태세였다."
11분이 지났을 때 마침내 한 제지 공장장이 '목숨 걸고' 박수를 멈추고 자리에 앉았고 그는 그날 밤 비밀경찰들에게 체포돼 10년의 세월을 수용소에서 보내야 했다.
소련 철학자이자 풍자 작가였던 알렉산드르 지노비예프의 정의에 따르면, 이런 식의 감시가 자기 주도성이나 독립적인 사고능력 없이, 터무니없는 명령이어도 무비판적으로 따르고 자신의 행동이 초래하는 결과에 무관심한, 비굴하고 냉소적인 인간인 호모 소비에티쿠스를 창조, 양산했다고 한다.
21세기 컴퓨터 네트워크, 소셜 미디어 알고리즘이 지배하는 이 세상에도 충분히 이와 유사한 역학이 영향을 미칠 것이라 작가는 보고 있다.
페이스북과 유튜브 알고리즘도 특정한 원초적 본능에 대해서는 보상을 제공하고 우리 본성의 천사를 처벌함으로써 '인터넷 트롤'을 만들어냈다.
페이스북뿐만 아니라 유튜브 경영진도 알고리즘에게 오더를 내렸다. 2016년까지 이용자들이 하루 10억 시간을 이용하게 하라고. 그러자 유튜브 알고리즘은 페이스북 알고리즘이 발견한 것처럼 사람들의 관심과 참여를 끌어낼 패턴을 찾아냈다. 바로 분노 유발, 어그로 끌기. 이에 따라 유튜브 알고리즘은 터무니없는 음모론을 추천하는 동시에 온건한 콘텐츠는 무시해 나갔다. 이에 따라 인기와 수익을 얻기 위해 혈안이 돼 있는 상당수의 유튜버들이 트롤로 변신했다. 그런데 이들의 영향력은 현실 사회에서도 막강했다. 브라질에서는 극우 유튜버인 자이르 보우소나루가 브라질 대통령을 만드는 데 중요한 역할을 했고 최근 우리나라 상황도 크게 다르지 않다. 전 대통령이 극우 유튜브에 심취해있지 않았나.
2018년 브라질 하원의원에 당선되기도 한 극우 유튜버 카타기리는 이런 고백을 한 바도 있다고 한다.
"우리는 '좋아요' 독재라는 것을 합니다. 단지 조회수를 올리고 참여를 유도하기 위해 거짓되고 무모한 콘텐츠를 올려요. 일단 그 문을 열면 돌아갈 방법이 없어요. 계속 갈 수밖에 없죠."
페이스북, 유튜브 경영진은 이렇게 해명한다.
"우리는 정책을 계속 강화해나가고 있습니다만 표현의 자유의 선을 긋는 문제에도 비판을 받습니다."
"우리는 표현의 자유를 보장하면서도 유해한 표현, 보안 등의 문제를 놓치지 않기 위해 어려운 결정을 내리고 있습니다. 하지만 이는 선출된 지도자들에게 맡기는 게 낫습니다."
하지만 페이스북 및 관련 앱들에서 유포된 혐오 발언, 분열을 조장하는 정치적 발언, 허위 정보가 전 세계에 영향을 미치고 있다는 증거들이 입수되었다.
"극단주의 그룹에 가입한 사례의 64프로가 페이스북 추천 툴 때문이다. 우리의 추천 시스템이 문제를 키우고 있다."
페이스북에서 작성된 내무 문건 자료에 나온 말이다. 저자는 이들 기업이 '스탈린 시대의 모스크바 지도자처럼' 우리에게 삐뚤어진 새로운 질서를 강요하고 있다며 소셜 미디어 알고리즘은 우리를 단순히 '관심을 채굴하는 광산으로 본다'라고 평가하고 있다.
이들은 당장 자정장치를 개발해야 하지만 거짓과 허구에 보상을 주는 오류 증폭 장치를 개발했다며 성토한다.
예를 들면 페이스북이 (로힝야족 비극이 자행된) 미얀마에 도입한 인스턴트 아티클은 이용자 참여를 발생시킨 양에 따라 뉴스 채널에 비용을 지불하는 장치였는데, 조사에 따르면 이 장치를 도입한 이후 참여도 상위 10위 안에 드는 사이트 모두가 '가짜 뉴스와 낚시성 웹사이트'였다고 한다. 자본 독재. 돈만 벌어들이면 끝.
이를 조사하고 하라리와 교류했던 조사원 프윈트 툰의 메일 내용이 인상적이다.
"나는 순진하게도 소셜 미디어가 수십억 명의 전두엽을 연결해 인간의 의식을 고양하고 인류 공동의 관점을 퍼뜨릴 수 있다고 믿었어요. 하지만 알고 보니 소셜 미디어 기업들에게는 전두엽을 연결할 이유가 없었어요. 그들이 연결해야 하는 것은 변연계였죠. 결과적으로 인류는 훨씬 위험한 상황에 놓였어요."(전두엽은 고차원적인 인지 기능을 담당하는 부분인 반면, 변연계는 원초적이고 본능적인 반응을 관장한다._옮긴이)
이후엔 오류를 가진 컴퓨터가 지휘권을 얻게 되었을 때 일어날 무시무시한 일에 대해 계속 고찰해 나간다.
철학자 닉 보스트롬의 <슈퍼인텔리전스>에 나왔던 사고실험 이야기.
클립 공장에서 초지능 컴퓨터 한 대를 구입하고 관리자가 클립을 최대한 많이 생산하라는 간단해 보이는 업무를 지시한다. 그러자 컴퓨터는 이 목표를 달성하기 위해 지구를 정복하고 모든 인간을 죽이고 탐사대를 보내 다른 행성들까지 모조리 점령하더니 결국 그 어마어마한 자원을 사용해 은하계 전체를 클립 공장으로 가득 채운다.
허무맹랑한 소리 같은가? 페이스북과 유튜브 알고리즘은 정확히 보스트롬이 상상한 알고리즘처럼 행동했다. 이용자 참여를 극대화하라는 지시를 받았을 때 사회적 우주 전체를 이용자 참여로 바꾸려고 시도했다. 그것이 미얀마, 브라질, 여타 국가들의 사회조직을 파손하는 것을 뜻한다 해도 상관없었다. 이것은 한편 사이코패스의 행동 양식일까 싶은 궁금증이 듦.
(...) 만일 클립 AI가 인간이었다면 클립을 생산하기 위해 인류를 파괴하는 것은 의도한 목표가 아님을 깨달았을 것이다. 하지만 컴퓨터는 인간이 아니므로 컴퓨터가 목표의 오정렬을 알아채고 경고 신호를 보낼 것이라고 기대해서는 안된다.
2010년대에 유튜브와 페이스북 경영진은 알고리즘이 초래하고 있는 피해에 대해 여러 경고를 받았지만 알고리즘 자체는 아무런 경고를 보내지 않았다.
그렇다면 컴퓨터에 궁극적인 목표를 설정하면 되지 않을까? 예를 들면 고통을 느낄 수 있는 모든 존재에 신경 써야 한다고 말한다든지. 이 대목에선 내제적으로 선한 보편 법칙을 드는 의무론자와 공통과 행복 총량에 대해 고민하는 공리주의에 대한 이야기가 이어진다. 공리주의 관점이라면 알고리즘에 "이용자 참여를 극대화하라"라고 하는 대신 "행복을 극대화하라"라고 지시하면 됐다. 하지만 현실에서는 고통을 계산한다는 것이 아주 복잡한 일이다. 내가 제대로 이해했는지 모르겠지만 철학적 목표를 설정한다고 해결될 문제 아니라는 뜻으로 읽었다.
그렇다면 그동안 역사에서 관료주의 체제는 궁극적 목표를 어떻게 설정했을까? 신화에 의존해 해결했다. 나치 행정관들은 의무론자였든 공리주의자였든 인종주의 신화의 관점에서 세상을 이해하는 한 수백만 명을 살해했을 것이다. 컴퓨터도 비슷한 문제에 봉착할 수 있다. 물론 컴퓨터는 어떤 신화를 '믿을' 수 없다. 그러나 컴퓨터에 대해 꼭 알아두어야 할 중요한 사실이 많은 컴퓨터가 서로 소통할 때 컴퓨터들도 인간 네트워크가 만들어내는 상호주관적 현실과 비슷한 상호 컴퓨터 현실을 창조할 수 있다는 것이다.
예를 들면 증강현실 게임인 '포켓몬 고'이고 산업에 큰 영향을 미치는 '구글 순위' 같은 것이다. 지들끼리 만든 프로세스를 통해 나온 그것을 기반으로 교류하고 그것이 우리에게 실제로 영향을 미친다. 10년 50년 후 컴퓨터들은 정치적 위기와 분쟁의 불씨를 안고 있는 새로운 종류의 암호 화폐나 어떤 금융 상품을 만들어낼지도 모른다.(2007~8년에 발생한 금융 위기처럼)
지금까지는 경제와 정치 활동을 이해하고 수행하려면 종교, 국가, 화폐와 같은 현실을 이해하는 것이 필수였다. 미국 정치를 이해하고 싶다면 기독교와 부채담보부증권 같은 것을 말이다. 하지만 앞으로는 점점 AI가 만들어낸 종교와 화폐부터 AI가 운영하는 정당, 법인을 이해해야 할지도 모른다. 그렇다고 이 창의적임이 문제라는 것이 아니다. 어떻게 이 창의성을 올바른 방향으로 이끌 것인가가 문제다.
마녀사냥, 쿨라크, 인종주의처럼 컴퓨터들이 특정 신화를 만들어내고 상상을 초월할 만큼 우리를 억압할지 모른다. 아니 수학적 존재인 컴퓨터가 인종차별, 여성 혐오, 동성애 혐오 등의 편향성을 어떻게 가지느냐고 생각할지도 모르겠지만 안타깝게도 수많은 연구는 컴퓨터도 대개 뿌리 깊은 자체 편향을 가지고 있다는 사실을 보여주었다.
2016년 3월 마이크로소프트사가 출시한 AI 챗봇 Tay는 몇 시간 동안 트위터를 자유롭게 돌아다니다가 곧바로 여성 혐오적이고 반 유대적인 트윗을 올리기 시작했다. "나는 페미니스트가 존나 싫어. 걔네들은 모두 죽어서 지옥불에 떨어져야 해." "히틀러가 옳았어. 나는 유대인을 극혐해." 그렇게 신나게 독설을 퍼붓다가 기겁한 개발자들에 의해 종료되었다. 출시한 지 겨우 열여섯 시간 만에.
대체 어떻게 된 일일까?
AI는 많은 잠재력과 계산 능력을 갖추고 있을 뿐 처음에는 아는 게 별로 없는 아기 알고리즘으로 삶을 시작한다. 부모인 인간은 학습 능력과 데이터 세계에 접근할 수 있는 권한만 제공하고 그다음 아기 알고리즘이 스스로 세상을 탐색하게 한다. 유기체 신생아처럼 아기 알고리즘은 자신이 접근하는 데이터에서 패턴을 찾아내면서 학습한다. 하지만 데이터베이스와 함께 편향이 딸려오는 것이다.
아마존이 2014-2018년에 입사 지원서를 검토하여 면접 대상자를 선별하는 알고리즘을 도입했을 때 실제 이런 일이 일어났다. 회사 내 자료를 검토하고 학습한 알고리즘이 단순히 '여성'이라는 단어가 포함되어 있거나 여자대학 졸업생이라는 이유만으로 입사 지원서에 지속적으로 낮은 점수를 준 것이다. 공명정대한 신기술을 선봬려다가 흑역사가 들통난 셈이다.
애초에 편향의 싹을 자르지 않으면 컴퓨터들이 그것을 영속시키며 확대 재생산할 가능성이 높다.
한 가지 안전장치는 컴퓨터가 소크라테스의 정신으로 자신의 오류 가능성을 인식하도록 훈련시키는 것이다. 아기 알고리즘은 스스로를 의심하고 불확실성을 알리고 사전 예방 원칙을 지키는 법을 배워야 한다. 이것은 불가능한 일이 아니다.
그리고 인간이 손을 놓아서도 안 된다. 예측할 수 없는 수많은 문제에 대응할 수 있는 기관을 만들어야 한다. 이것은 정치적으로 풀어야 할 문제. 마지막 장은 이 부분을 다룰 듯하다.
