AI가 가져올 미래는 (2)
『넥서스』, 유발 하라리, 김영사, 2024
https://brunch.co.kr/@seizetheda22/2 에서 이어지는 글입니다.
지난 글은 '정보 기술의 발전이 가져올 위기에 대해 인간 어떻게 대응해야 하는가'라는 하라리의 질문으로 마무리 지었다. 이번 글에서는 <3부 -컴퓨터 정치>와 함께 넥서스의 종합적인 내용에 대한 소고(小故)를 남기려고 한다. 본격적인 논의에 앞서 '정렬 문제'에 대해 이야기를 해보고자 한다. 하라리가 주장하는 결론에다다르기 위해서는 정렬문제(Alignment Problem)에 대한 이해하고 가는 것이 필수적이 때문이다.
04
정렬 문제 - AI 통제의 가능성
정렬문제(Alignment Problem)는 인간이 이해할 수 없을 정도로 고도화되고 복잡해진 AI가 인간이 부여한 목표와는 다른 결과를 낳는 문제를 이야기한다. 즉, 인간이 제시한 '본래의 목적'과 AI가 수행한 '실제 결과'가 일치하는지 논하는 '부합성'의 문제이다. 다만, 책에서 언급한 '정렬 문제'라는 표현은 컴퓨터 이론에서의 정렬 문제, 혹은 정렬 알고리즘(sorting algorithm)이라는 개념과 다소 혼동의 여지가 있다. 이에 대해 명확히 정리하자면 다음과 같다. 정렬문제(Alignment Problem)는 1960년대 AI의 선구자인 노버트 위너(Norbert Wiener)가 제시한 문제를, 미국의 논픽션 작가 브라이언 크리스천(Brian Christian)이 자신의 저서 『The Alignment Problem』에서 정리한 개념으로, 하라리는 이 개념을 인용하여 서술하고 있다. 즉,『넥서스』에서의 '정렬 문제'는 컴퓨터 과학에서의 '정렬 문제'와는 구분되는 별개의 개념이다.
다시 『넥서스』의 내용으로 돌아가보자. 저자에 따르면 정렬문제(Alignment Problem)는 AI의 등장 이전에도 있었다. 클라우제비츠는 그의 저서 『전쟁론』에서 "전쟁은 수단이 다를 뿐 정치의 연장이다."라고 주장했다. 그의 주장에 따르면 어떤 나라의 군사행동은 그 나라의 궁극적 정치 목적과 일치해야 했다. 하지만, 역사에는 결정적 군사적 승리가 오히려 정치적 낭패로 이어진 경우도 있다. 예를 들면, 나폴레옹의 유럽 정벌은 '프랑스의 영구적 번영'을 위한 것임에 틀림 없다. 이를 위해 나폴레옹은 신성로마제국을 해체했으며, 독일과 이탈리아의 여러 공국을 프랑스령으로 흡수했다. 다만, 그는 유럽 정벌 과정에서 프랑스 혁명의 민족주의적 이상이 독일과 이탈리아에도 퍼지게 되는 것을 예측하지는 못했고, 민족주의는 독일과 이탈리아, 두 국가의 통일에 사상적 기반을 제공했다. 나폴레옹의 유럽 정벌이 오히려, 당시 소규모 도시국가로 존재하던 독일과 이탈리아의 통일에 기여를 하게 된 것이다. 더군다나, 이후 프랑스는 프로이센과의 전쟁에서 패하면서, 궁극적 정치적 목적인 '프랑스의 영구적 번영'에는 실패했다. 즉, 나폴레옹의 유럽 정벌은 단기적 군사 목표에는 적합했지만, 프랑스의 장기적 목표에는 적합하지 않았다는 것이다. 이를 AI에 대한 논의에 반영한다면, '우리는 과연 AI에게 단기적 이익과 장기적 이익이 '부합하는' 목표를 제시할 수 있는가'라는 문제에 직면하게 된다.
이 지점에서 정렬문제는 장기와 단기에 모두 이로운 '보편 법칙이란 존재하느냐'라는 오랜 철학적 문제와 맞닿는다. 칸트를 비롯한 의무론자의 입장이라면 AI에게 어떤 법칙을 심어주는게 좋을까. "네가 하고자 하는 행동이 보편적인 법칙이 될 수 있도록 행동하라"라는 칸트의 정언 명령에 따라, '인간을 해치지 말 것'이라는 법칙을 심어줬다고 가정하자. 하지만 만약 AI가 '특정 인간 집단'을 인간이 아닌 것으로 판단하게 된다면, 이는 쉽게 무력화 될 것이다. 미얀마에서는 로잉야족을 '완전한 인간'이 아니라고 규정했다. 히틀러의 나치에게 유대인은 인간이 아닌 '유대인'이었다. 그러면 '고통을 느끼는 존재'로 확장할 수도 있다. 하지만, 그렇다면 AI는 고통을 느끼지 못하는 존재는 죽여도 되는 것인가. 이런 방식의 논증이 계속되면, 결국 의무론자의 논의는 끝내 모든 유기체를 죽이면 안된다는 극단주의로 나아가게 된다. 한편, 공리주의자들은 AI에게 '인간의 행복의 총량이 높은' 행동을 취하게끔 법칙을 설정할 수 있다. 하지만, 행복, 혹은 고통에 대한 점수는 어떤 기준으로 매길 수가 있는가. 그리고 그 기준은 누가 정할 것인가. 누가 보더라도 일방적으로 기울어져 있는 상황이 아니라 비등한 상황이라면 '점수'를 매기는 것은 사실상 불가능 할 것이다. 모든 순간을 법의 논리처럼 '이익 형량'할 수는 없다.
05
두 가지 시나리오 _ 인류는 여전히 대화할 수 있을까
위에서 논의한 '정렬 문제'에 따르면, AI가 스스로 이야기를 만들고, 결정을 내리는 능력을 지니게 되는 순간, 우리의 힘으로는 AI를 통제할 수 없다. 저자는 '정렬문제'의 결론을 근거로하여, 현 시점 지배적인 두 가지 정치체제의 미래에 대한 시나리오를 제시한다. 첫 번째는 '대규모 민주주의'이다. 저자는 컴퓨터의 잠재적인 위협을 극복할 수 있는 요소를 자유민주주의의 자정작용에서 찾는다. 하지만, 하라리에 따르면 민주주의의 자정작용은, 그 대상이 '인간이 만든' 이해가능한 것에 한해서 작동할 것이라고 이야기한다. 불가해하고 이질적인 존재인 AI는 민주주의의 근간을 흔들 수 있다는 것이다.
정보 네트워크는 너무 복잡해졌고, 불투명한 알고리즘의 결정과 상호 컴퓨터 현실에 대한 의존도가 너무 커져서 인간은 '왜 우리가 서로 싸우는가'라는 기장 기본적인 정치적 질문에조차 답하기 어려워졌다. (p. 487)
그렇기에 AI를 이용해 만들지 말아야 할 것만큼은 만들지 말아야 할 것이라고 이야기한다. 예컨데, 사회적 요소를 점수로 데이터의 점수로 측정하는 '사회신용시스템'이 있다. 하라리의 예시를 그대로 옮기자면, 이 시스템은 수 백만 건의 데이터를 취합해, 스마트폰의 배터리가 25% 미만으로 떨어지면 은행의 '신용 점수'를 낮출 수도 있다. 우리는 그것이 연관관계를 가질 뿐 인과관계가 아니라는 것을 단번에 알 수 있다. 하지만, 그것이 수 백만 건의 데이터를 분석한 결과라면, 컴퓨터는 연관과 인과를 구분할 수 있을까. 또한, 여론을 조작하는 '봇'을 금지해야 한다고 주장한다. 지나친 자유는 혼란을 이끌 것이며 이는 '디지털 무정부주의'를 야기할 수 있다고 경고한다. 그런 의미에서 봇을 금지하는 것은, 과거부터 금융 시스템에서 '위조 지폐'를 만드는 것을 막는 것과 같은 의미로 필수적이라고 주장한다.
두 번째 시나리오는 '대규모 전체주의'이다. 전체주의 국가는 정보가 단일 통로로 흐르고 있다는 점에서 민주주의 국가보다 오히려 AI에게 취약하다. 단적인 예로, 최고 통치자가 AI를 지나치게 신뢰한다면 어떻게 될까. 로마의 티베리우스 황제는 세야누스, 단 한 사람만을 신뢰했다. 세야누스는 황제에게 도달하는 모든 정보를 통제했으며, 끝내 황제를 카프리섬에 고립시키고 사실상의 전권을 잡았다. 즉, 물리적으로는 권력을 지니고 있지만, 실질적으로는 AI가 통제하고 조종하는 '카프리섬'에 고립될 수 있다.
더 나아가 두 가지 시나리오가 부딪힐 우려도 있다. 만약 알고리즘이 만들어 낸 분열이, 냉전시대의 철의 장막과 같은 '실리콘 장막'을 형성하게 된다면 어떻게 될까. 당장 지금도, 중국에서는 유튜브를 사용할 수 없다. 미국은 틱톡을 금지하고, 화웨이의 부품을 사용하지 못하도록 했다. 더 나아가 서로 다른 '이야기'를 공유하는 집단으로 나뉘게 된다면, 그 둘 사이에 상호 대화와 서로에 대한 이해가 가능할까. 만약 그렇게 된다면 세상은 다시 양극화, 혹은 다극화될 수도 있다는 것이 하라리의 생각이다. 더불어, AI 기반의 인프라가 없는 나라는 대규모 기술 기업의 존재 유무에 따라, 강대국에 데이터 소스만을 제공하는 '데이터 식민지'가 될 수도 있음에 우려를 표한다.
마지막으로, 앞선 글에서 제한 하라리의 질문을 다시 한 번 살펴보자.
인간 정신의 약점, 편향, 탐닉을 우리 상상을 초월할 만큼 효율적으로 활용하는 방법을 알고 있는 이질적인 비인간 지능이 중독성 있는 멜로디와 과학 이론, 기술 도구, 정치 선언문, 심지어 종교 신화까지 만드는 세상에서 산다는 건 인간에게 무엇을 의미할까? (p.303)
이 질문에 대한 하라리의 답은 상술했듯, 특정한 임계점이 넘는 순간부터는 인간은 대응할 수 없다는 것이다. 하라리의 서술에 따르면 우리는 그저 컴퓨터가 창조해낸 신화, 책의 표현을 그대로 빌리자면 '상호 컴퓨터 신화' 속에서 살아야 하는 것이다. 즉, 컴퓨터가 하나의 새로운 '신'이 되는 세상을 살게 될 수도 있다는 것이다. 하지만 동시에 저자는 인류에게 아직 시간이 남아있다고 기술한다. 경로를 바로잡을 수 있는 것은 바로 지금 뿐이라는 것이다. 산업 혁명에 비유하자면, 이제 막 증기기관을 이용한 기차가 놓아졌을 뿐, 그 기술을 이용해 제국주의적 침략을 시작한 것은 아니기 때문이다. 기술은 가치중립적이기에, 인류가 그것을 어떻게 사용하느냐의 문제에 부딪혔을 뿐이라고 말한다. 바로 그렇다면 우리는 이 문제를 어떻게 대응할 수 있을까.
결론적으로 하라리가 요구하는 것은 결국 '초국가적 협력'이다. 저자는 AI 문제 해결을 위해 팬데믹 상황에서의 초국가적 협력과 같은 세계적인 결속이 필요하다고 주장한다. 국제관계에 대한 '현실주의자'들은 국가의 협력은 힘의 균형에 의해서 가능하며, 결국 국가의 최종 목표는 '패권국'이 되는 것이기에 초국가적 협력이 불가능하다고 본다. 그럼에도 하라리는 냉전 이후 각국의 군비 축소를 예시로 들며, 협력의 가능성을 찾는다. 다만, 그에게도 푸틴의 러시아는 큰 변수다. 러시아의 우크라이나 침공은 중요한 임계점으로, 앞으로의 초국가적 협력의 가능성을 타진하게 하는 지표가 될 것이라고 보고있다. 하라리는 푸틴에게 '각성하라'는 정도의 메세지를 던지며 이야기를 마무리짓지만, 결국 그가 말하고자 하는 바는 러-우 전쟁에 대한 국제사회의 대응이 앞으로의 국가 간 협력을 좌우할 것으로 판단하지고 있는게 아닐까싶다.
대화할 수 있는 한 우리는 우리를 단합하게 해줄 어떤 공통의 이야기를 찾을 수 있을 것이다. 결국 이 능력이 호모 사피엔스를 지구를 지배하는 종으로 만들었다. … 인류 문명이 분쟁으로 소멸한다면 그것은 어떤 자연법칙이나 낯선 기술 탓이 아니라는 뜻이다. 하지만 반대로 생각하면 우리가 노력할 경우 더 나은 세계를 만들 수 있다는 뜻이기도 하다. (pp. 536, 548)
06
그럼에도 불구하고,
그의 서술은 역사에서 나타날 수 있는 '개인의 역량'을 지나치게 간과한다. 『넥서스』와 같은 일원론적 해석을 지닌 주장에 항상 뒤따르는 문제지만, 모든 것을 정보와 네트워크로 해석하는 것에는 선뜻 동의하기가 어렵다. 그의 표현을 빌리자면, 하라리는 네트워크와 별개로 존재하는 한 개의 노드의 '독립성'을 놓치고 있다. 예를 들면, 하라리의 주장처럼 알고리즘이 '일반적으로는' 개인의 사상을 결정짓고 있다고 가정하자. 하지만 모든 인간들이 알고리즘의 추천을 수용하는 것은 아니다. 오히려 소셜 네트워크의 등장은 개인의 생각을 사회의 메인 스트림의 반열에 올리기도 했다. 당장 이 '브런치'도 그런 역할을 하고 있지 않은가. 더불어 하라리 조차도 중세 유럽이 마녀사냥의 신화에서 극복하게 된 단초를 스페인의 종교재판관 '프리아스'의 판결, 다시 말해 개인의 역량에서 찾고 있다.
또한 하라리는 미래에 대한 시나리오를 제시하면서, AI를 제외한 그 시나리오에 영향을 줄 수 있는 '정치적인' 요소 또한 간과한다. '정렬 문제'의 결론을 다시 상기해보면, 사실상 AI의 발전과 그에 의한 예측 불가능한 미래는 인류가 곧 마주할 필연적인 것처럼 보인다. 하지만, 실질적으로 기술의 방향을 정하는 것은 '정치'이다. 게다가 흔히 말하듯 정치는 '생물'이다. 트럼프의 집권과 세계 각지에서 일어나는 극우 주의의 등장은 하라리의 주장처럼 '알고리즘'이 기존의 질서를 무너뜨리는 것만 같은 공포를 준다. 하지만, 하라리가 강조한 '자정장치'에 따라, '독립된' 개인이 반드시 트럼프에게 동조하고 있는 것도 아니다. 대표적인 포퓰리스트로 평가받으며, 심지어 '무솔리니'를 존경한다던 이탈리아의 총리 조르자 멜로니는 막상 총리로 취임하자, 강경발언을 자제하고 친EU적인 정책을 펼치고 있다는 점도 주목할만 하다. 어쩌면 멜로니의 사례는 정치가 구현할 수 있는 제도적 구속의 한 예시일 수도 있겠다.
마지막으로, 기술 결정론에 지나치게 몰두되어 있다. 양차 세계 대전의 원인에 대한 연구는 현재진행형이다. 1차 세계대전에 국한하자면, 전통적 견해는 독일의 팽창주의적인 행보를 원인으로 보며, 그 책임을 독일에게 두었다. 그 후에 등장한 '구조주의자'들은 비스마르크의 실각 이후 그를 중심으로 한 '구조'가 분열되면서, 본격적인 군비경쟁이 시작되었다고 주장했다. 최근에 이르러서는 당시의 대중적 감정, 사회 분위기에 대한 원인 분석이 이루어지고 있다. 그렇기에, 산업 혁명 이후 발전한 기술이 인류에게 더 나은 삶을 제공해주었지만, 동시에 전쟁이라는 결과를 낳았다는 식의 서술은 '기술이 전쟁을 낳았다'는 단순한 결론으로 나아간다. 마찬가지로, AI의 발전이 산업 혁명 이후의 발전상과 같은 흐름으로 나아갈 것이라는 것 또한 기술 결정론에 치우쳐져 있다.
그럼에도 불구하고,『넥서스』가 이야기하고 있는 본질을 우리는 다시금 생각해 볼 필요가 있다.
지나치게 순진하고 낙관적인 시각을 경계해야하며, ··· 다른 한편으로는 반대 방향으로 너무 멀리가서 지나치게 냉소적인 시각을 취하는 것도 경계해야한다. (pp. 555~556)
우리는 그저 당장에 우리에게 이롭게 보이는 AI가 어쩌면 새로운 '신'이 될 위험성이 있다는 것을 조심하자는 것. 그리고 당장의 분쟁보다는 이 문제를 함께 해결하려고 노력해야 한다는 것. 그 정도의 마음가짐을 갖게 된다면, 하라리가 요구하는 '초국가적 협력'을 위한 준비로는 충분하다는 생각이다.
