대비할 만한 가치가 있어 보이지 않는 인공지능

닉 보스트롬의 『슈퍼인텔리전스: 경로, 위험, 전략』을 읽고

170816

‘닉 보스트롬’이라는 철학자에 대해서 알게 된 것은 『우리는 매트릭스 안에 살고 있나』라는 책의 참여한 마지막 챕터의 공저자로 쓴 글을 읽으면서였다. 당시 『매트릭스』라는 영화가 너무나 센세이셔널했기 때문에, 그 영화적인 면에서뿐만 아니라 철학적인 면에서까지 분석을 시도한 책들이 두 권 출판되었으며 그 책 중 하나였다. 닉 보스트롬의 글은 두 권의 책에 있는 모든 글들 중에서 나에게 가장 인상적인 글로 꼽을 만했다. 지금까지 그 논점을 잘 기억하고 있을 정도였으니까. 내용은 뭐냐 하면, 인간이(든 뭐든 간에) 현실을 모방하는 시뮬레이션을 만들 능력이 있고 또 그것을 꾸준히 구동시킬 의지만 있다면, 우리 세계가 거의 확실히 현실 세계가 아닌 시뮬레이션이라는 주장이다. 왜냐고? 시뮬레이션은 현실의 모방이기 때문에, 그 안의 인간이 또 시뮬레이션을 만들 것이다. 그럼 그 2차 시뮬레이션 인간도 3차 시뮬레이션을 만들고… 또한 하나의 시뮬레이션 내의 자식 시뮬레이션이 한두 개도 아닐 것이라, 결국 무한 개의 자식 시뮬레이션과 하나의 ‘조상’ 현실만이 존재할 것인데, 우리의 세계가 ‘일 대 무한’에서 ‘일’에 해당된다는 것이 가당키냐 하냐는 것이었다.

Superintelligence: Paths, Dangers, Strategies — Nick Bostrom

또라이 같고 재미있지 않은가? 이 정도 상상력이면 SF 소설을 써도 먹힐 것 같은데 굳이 철학이라는 타이틀을 달고 글을 쓰는 대범함이 돋보인다. 여튼 그런 사람이 책을 썼다니 읽어보지 않을 수 없다. 제목은 『슈퍼인텔리전스』, 초지능이 온다면 필시 ‘평범한 지능’의 소유자인 우리를 잡아먹든 지배하든 할 터인데, 그 때 우리는 어떤 대비를 해야 할 것인가에 대한 이야기이다. 역시 또라이 같고 재미있는 내용이라 하지 않을 수 없다.

책 내용은 자못 심각하다. 정말로 인류가 초지능을 개발하고 초지능이 인류를 위협할 가능성에 대해 이야기한다. 그 가능성을 MECE한(Mutually Exclusive Collectively Exhaustive, 즉 빠지지 않고 겹치지 않게) 카테고리로 다루기 때문에 반박할 여지도 없고 반대할 거리도 없다.

요약해 보자.  

지능은 지수적으로 증가하고 있다. 물론 레이 커즈와일의 특이점에 대한 이야기이다. 그러므로 지능의 폭발적인 성장은 ‘초지능(Superintelligence)’의 도래를 분명히 불러올 것이다.

특이점이 와 간다, 적어도 한 분야에서는

초지능은 인간 수준의 지능을 넘어서, 인구 전체 지능의 합보다 초월한 수준에 이를 것이다. 초지능은 스스로 지능을 늘릴 수단을 반드시 찾아낼 것이기 때문에 초지능의 개발은 레이 커즈와일의 특이점보다도 더 거대한 폭발을 불러일으킬 것이다. 초지능이 개발되고 인간 사회가 어떠한 대비 없이 맞닥뜨린다면 엄청난 사회적 재난에 함몰될 것이다. 예를 들어 인간의 멸종 같은.

초지능을 만드는 방법은 인공지능, 전뇌 에뮬레이션, 생물학적 인식, BCI , 네트워크 등이 있고 그 형태는 속도 초지능, 집합 초지능, 질적 초지능이 있으며 슈퍼인텔리전스의 지배형태는 하나의 지배 혹은 다수의 지배가 있다. 초지능의 지배 전략은 인간에 의한 개발→자기 스스로 발전→은밀하게 탈출 계획 세우기→드러내서 지배하기의 단계를 거칠 것이다.

초지능의 목표는 지능과 상관없다 (직교성 명제: 지능과 최종 목표는 서로 직교한다.) 초지능의 동기를 알아내는 방법은 설계자(프로그래머)를 토대로 예측하기, 형판이 된 인간을 통해 예측하기, 그리고 최종 목표를 달성하기 위한 도구적 합리성을 고려해 예측하는 방식이 있다. 도구적 합리성이란 최종 목표를 달성하는 데 거치는 도구적 목표를 추구하는 것을 말하며, 그 종류에는 자기 보호, 최종 목표에 변화가 생기는 것을 막으려는 목표, 인지능력을 향상시키려는 목표, 기술적인 향상, 자원 획득 등이 있다.

등등등… (요약이 점점 성의없어진다?!)

위의 요약은 책이 어떤 구성을 취하고 있는지를 ‘간단히’ 소개하기 위해 이야기한 것 뿐이므로, 더 이상 요약을 절절히 늘어놓는 것은 큰 의미가 없을 것 같다. 책의 후반부에도 계속해서 저런 식으로 초지능이 취하는 경로, 초지능의 위험, 그리고 그에 대항해야 할 우리의 전략이 ‘빠지지 않고 겹치지 않게’ 나열한다. 취향에 따라 다를 수도 있지만, 개인적으로는 큰 재미를 느낄 수 없는 구성이었다.

물론 책의 내용대로 한다면 우리는 초지능의 그 파멸적인 재앙으로부터 대비해야 한다. 그러나, 이 대비가 홍수로부터, 경제불황으로부터, 북한의 핵 위협으로부터의 ‘대비’와 같은 의미이기는 한 것일까? 우리는 언젠가 태양이 지구궤도까지 삼켜버릴 정도로 팽창할 것이란 사실을 알고 또 그 사건이 미래에 반드시 도래할 것이라고 99% 확실하게 말할 수 있다. 하지만 우리는 그 사건에 대비하지 않는다. 왜일까? 우리는 한때 ‘외계인의 침략’에 대해 막연히 공포감을 느끼면서 그에 대한 경로와 위험과 전략을 (SF라는 상상력의 틀 내에서) 고민하기도 했지만, 솔직히 이제 와서 외계인의 침공에 대해 이론적으로(이 책 정도의 레벨로) 연구하는 학자도 없을 것이고 또 그렇기 때문에 우리 모두 외계인의 지구 침공에 대비하지 않는다. 초지능의 위험은 이 두 유형이 섞여 있는 듯하다. 올 수도 있고 안올 수도 있다. 만약 온다면 10년 후에 올 수도 있고 1000년 후에 올 수도 있다. 모든 것이 불확실하다. 이게 대비할 만한 성질의 사건인지 난 알 수 없다. 여전히 재미있는 상상력이지만, 백 년 후, 천 년 후, 혹은 만 년 후에 고대 워싱턴 DC의 유적에서 발견되어 연구되고 초지능의 침공을 막는 데 유용하게 쓰일 실용서로 이름을 날리게 된다면 모를까, 우리는 십 년 후 닥칠 4차산업혁명이나 대비해야 쓰겠다.