독서노트: 넥서스8
우리는 계속 대화할 수 있을까?
막강해진 컴퓨터 네트워크가 민주주의를 위협하고 있다!!
앞서 한 이야기의 반복도 많지만 을녀의 입장에서 보기엔 흥미로운 인사이트도 많네요.
제3부 컴퓨터 정치
9. 민주주의: 우리는 계속 대화할 수 있을까?
새로운 기술은 종종 역사적 재앙으로 이어지는데 이는 인간이 그것을 지혜롭게 사용하는 방법을 학습하는 데 시간이 걸려서다. 단순히 시간이 걸려서? 그 사이에 모두를 해칠 수 있는 이기적인 욕망이 개입돼서가 아니고? 갑자기 왜 온화하게..
산업혁명을 예로 들어보자. 그것은 전통적인 경세, 사회, 정치 구조를 뒤집어 엎었고 더 풍요로운 사회를 만들 것 같았다. 하지만 값비싼 실험과 수억 명의 희생이 따랐다. 여기서 나온 것이 제국주의다. 새로운 사회는 해외시장과 원자재에 훨씬 더 많이 의존하며 제국만이 이런 욕구를 충족시킬 수 있다, 또한 이를 합리화하기 위해 자국 생존뿐 아니라 나머지 인류에게도 이롭다고 주장했다.
스탈린주의, 나치즘 역시 산업혁명이 풀어놓은 엄청난 힘을 제어하여 활용할 수 있는 체제는 '전체주의'뿐이라고 주장하며 나온 것. 이 과정에서 전쟁까지 치르며 인류는 멸망 지경에 이르렀다. 그것도 모자라 지구 생태계 균형까지 무너뜨려 멸종의 물결을 일으켰다. 1970년부터 2014년 사이 전 세계 척추동물 개체 수가 60퍼센트 감소했고 인류 문명의 생존도 위태롭다.
이 AI 기술은 더 강력하고 그만큼 파괴적일 수 있다.
"20세기에 인류는 산업 기술을 활용하는 수업에서 C-를 받았다고 말할 수 있다. 간신히 합격한 수준이다. 21세기에는 합격선이 훨씬 더 높아졌다. 이번에는 더 잘해야 한다."
21세기에 자유민주주의가 살아남을 수 있을까? 그러니까 민주주의가 21세기 정보 네트워크 구조와 양립할 수 있을까.
새로운 컴퓨터 네트워크는 우리의 사생활을 무너뜨리고 우리의 말과 행동, 생각과 감정까지 단속해 모든 것을 처벌하거나 보상할 가능성이 있다. 하지만 그럼에도 기본적인 원리가 작용한다면 괜찮을 수 있다.
첫 번째는 선의. 컴퓨터가 나에 대한 정보를 수집한다면 그 정보는 나를 조종하기 위함이 아닌 돕기 위해 사용되는 것이다. 많은 사람들의 정보를 캘 수도 있지만 그것이 비윤리적이므로 그렇게 하지 않는 것이다. 현재 구글, 바이두, 틱톡 같은 사업 모델에는 심각한 문제가 있다. 그들은 우리의 개인 정보를 활용해 돈을 번다. 이것은 우리가 다른 상황에서라면 용납하지 않을 사업 모델이다. 그러니 이들이 우리에게 기본적인 디지털 서비스를 무료로 제공하는 등의 장치를 국가 차원에서 취해야 할 것이다.(회원가입 같은 것을 하지 않고 무료로 이용할 수 있게 하는 것을 말하는 듯)
그리고 두번째는 분권화, 정보가 한곳에 집중되는 것을 허용해선 안 된다. 예를 들어 국가가 시민들에 대한 정보를 수집해 국립 의료 데이터베이스를 구축하는 것은 좋지만 이를 경찰, 은행, 보험사의 데이터베이스와 병합해버리는 것은 위험한 생각이다. 특히나 내가 고지 하지 않은 나의 건강 정보를 파악해 보험이나 대출 가입이 제한되는 것은...;; 그리고 각자의 데이터베이스가 있어야 서로를 견제할 수 있다.
세번째는 상호주의. 국가가 개인에 대한 감시(정보 파악)를 강화할 경우 정부와 기업에 대한 감시도 강화해야 한다는 것. 알고리즘은 하향식으로 국민들의 정보를 파악할 수도 있지만 역으로 시민들도 알고리즘을 통해 정부와 기업이 저지르는 부정행위를 감시하여 책임을 물을 수 있다.
네 번째는 감시 시스템에 항상 변화와 휴식의 여지를 남겨야 한다는 것. 인류 역사에서 억압은 인간의 변화 능력을 부정하거나 휴식의 기회를 주지 않는 형태로 나타났다. 스마트폰에 의지해 일상을 영위하는, 그것을 떼어놓고 살 수 없어서 감시 시스템으로부터 쉴 틈이 없다는 의미? 일단 관련 설명이 딱히 없다. 인간을 옥죄어 온 신화(카스트제도, 인종주의, 스탈린주의)에 대한 이야기를 하다 갑자기 강력한 감시시스템을 도입할 때는 지나친 경직성과 유연성의 양극단을 경계해야 한다는 내용으로 빠진다. 예를 들어 내가 어떤 병에 걸릴 가능성 있다고 극단적으로 예측을 해버리는 것도 문제가 되고 그런 병에 걸리지 않기 위해 따라야 할 지침이 족쇠가 되기도 한다는 것이다. 챕터 마지막 문장은 확실한 오역이 나오기도 한다.
국가 의료 시스템에 우리를 좌지우지할 수 있는 막강한 권한을 주려면주지 않으려면, 알고리즘이 너무 경직되거나 너무 많은 것을 요구하지 않도록 자정 장치를 만들어둬야 한다.
이런 감시 시스템 외에도 자동화가 큰 위협이 될 것이다. 특정 단어(분권화니 상호주의, 자동화...)로 묶어 표현하는 것이 꽤 어색하게 느껴지는데 자동화는 빠른 속도로 처리해내는 기술을 말한다고 볼 수 있다. 이것이 고용시장을 뒤흔들 것이라는 이야기다. 이것은 아주 뜨거운 감자기 때문에 주제랑 상관없이 몇 페이지 동안 이어진다.
단순업무직부터 없어질 거라는 예측과 달리 지적인 수준을 요하는 사무직들부터 빠르게 없어지고 있다. 실제로 컴퓨터가 주방 보조를 대체하는 것보다 세계 체스 챔피언을 꺾는 것이 더 쉬운 것으로 드러났다. 식기세척기가 상용화되었지만 아직까지 아무리 정교한 로봇도 바쁜 레스토랑의 식기를 치우고 세척기 안에서 깨지기 쉬운 접시와 유리컵을 문제없이 꺼내지 못한다. 요즘 떠오르는 '피지컬AI'라고 하는 것이 이 문제인 듯?
게다가 AI는 생각보다 창의적인 직업(고차원의 은유를 써서 시를 쓰고, 독창적인 음악, 그림을 그리고.. 이건 알지)은 물론이고 정서 지능을 요하는 직업도 대체 가능하다. 컴퓨터는 우리의 감정 패턴을 인식하는 방법을 충분히 학습할 수 있지만 자신의 감정에 휘둘리지 않는 점 때문에 우리가 어떻게 느끼는지를 오히려 매우 정확하고 깊이 있게 이해할 수 있다.
2023년의 한 연구에서는 환자들에게 온라인상에서 챗GPT와 인간 의사에게 각각 의료 자문을 구하도록 했다. 물론 환자는 상대가 사람인지 아닌지 알 수 없었고. 그런데 결과는, 챗GPT의 조언이 더 적절했다고 평가한 의견이 많았다. 주목할 만한 대목은 인간 의사보다 공감능력이 더 뛰어나다고 평가했다고 한다! 의료 자문 대가를 받는 것도 아니고 적절한 임상환경도 아닌 데다 시간 압박도 있었던 걸 고려하면 AI의 장점이 너무나 여실하다. 스트레스와 경제적 걱정 없이 언제 어디서나 환자들을 진료할 수 있는 것이다.
스포츠 선수들이나 성직자 정도는 공감대 형성이 필요하다는 점에서 대체가 힘들 것으로 생각이 되지만 이것도 장담할 수 없다면서 다음과 같이 말한다.
앞에서 언급했듯 컴퓨터도 언젠가는 고통과 사랑을 느낄 수 있을 것이기 때문에 설사 실제 감정을 갖지 못해도 인간은 컴퓨터를 마치 감정을 가진 존재인 것처럼 대할 것이다. 의식과 관계는 양방향으로 작용하기 때문이다. 우리는 당연히 의식적인 존재와 교감하고 싶어 하지만 일단 관계를 맺고 나면 그 존재가 의식이 있다고 가정하는 경향이 있다. 고망이가 돌고래 인형을 대하듯;
그렇게 컴퓨터가 대체할 직업의 레인지를 가늠해보다가 주제로 돌아갑니다.
여튼 분명한 점은 고용 시장이 매우 불안정할 것이라는 것. 3년간의 높은 실업률이 히틀러에게 권력을 쥐여줄 수 있었다면 이 끝없는 혼란은 민주주의에 어떤 영향을 미칠까? 라고 질문합니다.
다음 챕터는 보수의 자폭이라는 소제목이 붙었는데, 2010년~2020년대 초까지 민주주의 국가에서 보수 정당들이 도널드 트럼프 같은 보수적이지 않은 지도자들에게 장악되어 급진적인 혁명 정당으로 변모했다,라며 정세를 한번 정리한다. 그러면서 2021년 1월 6일, 트럼프 지지자들이 국회의사당을 습격하는 사건을 이야기 하며 기존 전통과 제도를 지키는 것이 도저히 불가능해서 어떤 종류의 혁명이 불가피해 보인다면, 좌파 혁명을 저지하기 위해서라도 먼저 우파 혁명을 일으켜야 한다, 식의 논리라고 해석한다. 다시 한번 우리나라에서 벌어진 황당무계한 일들이 우리만의 일이 아님을 생각하게 함.
1930년대 경제 위기가 미국과 독일에서 다른 결과를 낳은 이유는 경제적 요인만의 산물이 아니기 때문이다. 바이마르공화국은 단지 3년간의 높은 실업률 때문에 붕괴한 것이 아니다. 그것은 패전 속에서 탄생한 새로운 민주주의였고 그래서 굳건한 제도와 뿌리 깊은 지지가 없었다는 점이 중요하게 작용했다.
21세기를 버텨내기 위해 가장 중요한 인간의 능력은 '유연성'일 가능성이 높고 민주주의는 전체주의보다 유연하다며 같은 주장을 반복한다.
컴퓨터는 일상적인 결정부터 인생을 바꾸는 결정까지 우리에 대해 점점 더 많은 결정을 내리고 있다. 징역형 선고 외에도 대학 입학을 허가할지, 일자리를 줄지, 복지 수당을 제공할지, 대출을 해줄지. 게다가 개인적으로도 병원에서 어떤 치료를 받을지, 누구와 데이트할지까지(실제 나도 그렇고 많이들 GPT에게 상담한다.. 사주도 보고. 꽤 친절한 데다 도움이 되는 듯하고 무엇보다 무료잖아?)
사회가 점점 더 많은 결정을 컴퓨터에게 맡길 수록 민주주의의 자정 기능, 투명성, 책임성이 약화된다. 이에 따라 '설명을 요구할 권리'라는 새로운 인권을 성문화하라는 요구가 높아지고 있다. 하지만 이런 권리가 실제로 이행될 수 있을까? 게다가 그런 설명을 한다고 한들 수많은 데이터를 기반으로 하여 나올 수십, 수백 장의 내용을 어떻게 분석하고 이해할 수 있을까. 평범한 개인은 힘들지만 전문가로 구성된 팀이 AI조수들의 도움을 받는다면 그 공정성을 평가할 수도 있겠다. 그러니 요는 어떤 기술을 개발하든 우리는 알고리즘을 감사하고 승인 여부를 결정할 관료 기간을 유지할 필요가 있다.
그리고 이러한 문제를 이해하기 쉽고 재미있는 방식으로 설명할 수 있는 예술가도 필요하다며 SF 시리즈 <블랙 미러>의 한 에피소드인 <추락>을 예로 든다. 사회신용 제도가 인간을 점점 옥죄는 이야기를 담고 있는데 실제 2021년에 제안된 유럽연한의 AI 법은 <추락>에 등장하는 것 같은 사회신용 제도를 완전히 금지되어야 하는 몇 가지 유형의 AI 중 하나로 지정했다고 한다.
마지막으로 새로운 컴퓨터 네트워크의 위협은 디지털 무정부 상태를 조장하는 것이다.
민주주의가 제대로 작동하려면 중요한 쟁점에 대해 자유롭고 공개적으로 토론할 수 있어야 하고, 사회질서와 제도에 대한 신뢰가 어느 수준 이상으로 유지돼야 한다. 컴퓨터 네트워크는 토론 참여를 쉽게 만들었다. 하지만 소셜미디어가 신문사나 라디오 방송국 등 기존 문지기들의 힘을 약화시키고 공론장을 개방하면서 그만큼 무질서해졌다. 새로운 집단이 대화에 참여할 때마다 기존 합의에도 균열이 생기므로 토론 규칙을 새로 협의해야 한다. 이건 잘만하면 긍정적인 일이지만 단기적으로는 혼란과 불화를 초래한다. 규칙과 합의가 이뤄지지 않으면 그 결과는 민주주의가 아니라 무정부 상태다.
더 걱정스러운 것은 공론장에 새롭게 들여보내는 것이 인간 집단만이 아니기 때문이다. 많은 소셜 미디어 플랫폼에서 봇은 무시할 수 없는 비율을 차지한다. 한 분석에 따르면 2016년 미국 선거운동 기간에 생성된 트윗 중 거의 20프로가 봇에 의해 생성된 것으로 추정한다.
게다가 초기 봇은 메시지 양으로 언론에 영향을 미치기 위해 특정 콘텐츠를 리트윗하거나 추천하는 등의 기계적인 작업을 했다면 새롭게 나온 생성형 AI는 신뢰감 있고 호소력 있게 콘텐츠를 작성할 수도 있다고 한다. AI와 정치 토론을 한다면. AI의 의견을 바꾸려고 하는 건 시간 낭비다. 정치에는 실제 관심도 없고 투표할 수도 없기 때문이다. 하지만 대화를 많이 나눌수록 우리를 더 잘 파악하여 공략할 것이다.
그러니 여론을 조작하는 봇과 이해할 수 없는 알고리즘이 공론장을 지배하지 않도록 조치를 취해야 한다.
화폐 위조에 적용되는 원칙이 인간을 위조하는 경우에도 똑같이 적용되야 한다. 특정인을 딥페이크하는 행위만이 아니라 비인간 행위자가 인간을 가장하려는 시도까지도 법으로 금지해야 한다. 물론 토론 참여, 의료 조언들을 무조건 금지해야 한다는 것은 아니다. 인간인 척만 하지 않게 해야 한다는 것이다.
또 하나의 중요한 조치는 중요한 공개 토론의 콘텐츠를 선별하고 관리하는 일을 감독받지 않는 알고리즘에게 맡기지 않는다는 것이다. 그리고 본질적으로는 민주주의 국가는 정보 시장을 규제해야 한다!
현재 많은 민주주의 정보 네트워크가 붕괴하고 있는 것은 분명하다. 하지만 무엇이 이런 붕괴를 초래했는지 아무도 확실히 모른다. 이념적 분열 탓이라기엔 이전 세대보다 커진 것 같지는 않다. 많은 사람들은 소셜 미디어 알고리즘을 주범으로 지목하지만 다른 요인들도 함께 작용하고 있는 듯하다.
