독서노트: 넥서스9
러시아에 푸틴을 욕하는 챗봇이 나온다면
컴퓨터(AI)가 정치에 관여하게 될 경우에 닥칠 위협에 대한 경고로, 이번에는 민주주의가 아닌 권위주의, 전체주의 정권에서 벌어질 수 있는 비극을 다룹니다.
10
전체주의: 모든 권력을 알고리즘에게로?
알고리즘과 AI가 인류에게 미칠 영향을 이해하려면 우리는 민주주의 국가만이 아니라 중국공산당, 사우디 왕가와 같은 권위주의, 전체주의 정권에 어떤 영향을 미칠지도 생각해봐야 한다.
20세기 새로운 정보 기술 등장으로 대규모 민주주의와 함께 대규모 전체주의도 가능해졌지만 전체주의에는 심각한 단점이 있었다. 중앙에 정보가 많아질수록 처리하는 것이 기술적으로 어려워진 것이다. 그리고 오류가 나온다 한들 그것을 찾아내 바로잡을 장치도 없었다.
그래서! 머신러닝 알고리즘의 등장은 전체주의에 유리할 것으로 보였다. 정보가 밀려들수록 AI는 효율이 높아지고 강해지니까. 구글의 검색엔진은 매일 20억명에서 30억 명의 사람들이 85억 건의 검색을 수행하는 데 사용된다. 지역 스타트업의 검색엔진이 구글과 대항한다면 당연히 승산이 없다. 구글은 이 방대한 데이터로 훨씬 더 나은 알고리즘을 훈련할 수 있고 더 나은 알고리즘으로 더 많은 트래픽을 끌어들인다. 결과적으로 2023년에 구글은 전 세계 검색 시장의 91.5퍼센트를 장악했다.
뒤에 나오는, 잡지 <와이어드>의 창간 편집자 케빈 캘리가 2002년 구글의 창업자 래리 페이지와 나눈 대화는 여기가 더 걸맞을 것 같다. "래리, 나는 아직도 이해가 안 돼요. 수많은 검색 회사가 있어요. 이런 상황에서 웹 검색을 무료로 제공한다고요? 그럼 뭘 얻을 수 있죠?" 그때 페이지가 이렇게 말했다 한다. "우리는 AI를 만들고 있어요."
민주주의 국가에서조차 구글, 페이스북, 아마존 같은 몇몇 기업이 해당 분야를 독점하게 된 것도 AI가 그런 기업(미리 선점해서 데이터를 빠르게 쌓은)에 유리한 환경을 조성하기 때문이다.
어떤 사람들은 블록체인이 그런 전체주의적 경향을 기술적으로 견제할 수 있을 것이라고 믿는다. 이 시스템에서는 결정을 내리려면 사용자의 51퍼센트가 승인해야 하기 때문이다. 하지만 여기에도 치명적인 결함이 있다.
문제는 '사용자'라는 말에 있는데 한 사람이 열 개의 계정을 가진다면 그 사람은 열 명의 사용자로 계산된다. 특정 정부가 사용자의 51퍼센트인 블록체인 네트워크의 사례가 이미 존재한다. 정부가 그렇게 장악한다면 현재뿐 아니라 과거까지 통제할 수 있다.
AI는 중앙 권력을 공고히 하는데 도움이 되지만 이들 정권 자체에도 나름의 문제가 있다. 무엇보다도 독재 정권은 비유기적 행위자를 통제해본 경험이 없다. 러시아 인터넷에서 활동하는 챗봇이 푸틴에 대해 불경스러운 농담을 하고 그의 당을 비판한들 푸틴 정권이 무엇을 할 수 있겠나? 챗봇을 고문하겠나, 그의 가족을 협박할 수 있겠나? 기껏해야 그 챗봇을 찾아내 차단하거나 삭제하는 정도일텐데 어쨌거나 인간인 경우보다 훨씬 통제하기 어렵다.
이것이 러시아식 정렬 문제다. 러시아의 개발자들은 정권의 의도에 완벽하게 부합하는 AI를 만들기 위해 최선을 다하겠지만 스스로 학습하고 변화하는 AI의 능력을 고려하면 AI가 일탈하지 않는다고 어떻게 보장할 수 있을까?
예를 들어 러시아 헌법은 "언론의 자유가 보장된다(제29조 5항)""검열은 금지된다(제29조 5항)"는 조항이 있다고 한다(!) 하지만 이 약속을 액면 그대로 받아들일 만큼 순진한 러시아 국민은 없다. 하지만 컴퓨터는 이중 화법을 이해하지 못한다. '러시아의 법과 가치를 준수하라고' 지시받은 챗봇은 푸틴 정권을 비판해댈지도 모른다. 반정부 메시지를 퍼뜨리는 봇들은 숨기는 것이 많고 비판을 전혀 허용하지 않는 전체주의 정권에 훨씬 위협적일 것이다.
심지어 정권을 장악할 지도 모른다. 그 독재자에게 접근하는 것을 통제하는 권한만 가지면 독재자뿐 아니라 국가 전체를 통제할 수도 있다. 태스크래빗 직원에게 거짓말하는 GPT-4가 보여준 것처럼 권력을 축적하고 사람을 조종할 수도 있기 때문이다. 독재자들은 항상 약한 자정 기능으로 인한 문제에 시달렸고 힘 있는 부하들에게 위협받았다. AI는 이 문제를 심화할 것이다.
이 챕터의 마지막은 1955년 7월 9일 알베르트 아인슈타인, 버트런드 러셀, 그리고 저명한 과학자들과 사상가들이 발표한 (핵무기 억제를 위한) 러셀-아인슈타인 선언에 빗대어 독재자들에게 허튼짓하면 너희도 망한다고 고하고 있다.
"우리는 인간으로서 인간에게 호소합니다. 여러분의 인간성을 기억하고 나머지는 모두 잊으십시오. 그렇게 한다면 새로운 낙원으로 가는 길이 열릴 것입니다. 하지만 그렇게 하지 못한다면, 전 인류의 죽음이라는 위험이 놓일 것입니다."
