대비할 만한 가치가 있어 보이지 않는 인공지능
닉 보스트롬의 『슈퍼인텔리전스: 경로, 위험, 전략』을 읽고
170816
‘닉 보스트롬’이라는 철학자에 대해서 알게 된 것은 『우리는 매트릭스 안에 살고 있나』라는 책의 참여한 마지막 챕터의 공저자로 쓴 글을 읽으면서였다. 당시 『매트릭스』라는 영화가 너무나 센세이셔널했기 때문에, 그 영화적인 면에서뿐만 아니라 철학적인 면에서까지 분석을 시도한 책들이 두 권 출판되었으며 그 책 중 하나였다. 닉 보스트롬의 글은 두 권의 책에 있는 모든 글들 중에서 나에게 가장 인상적인 글로 꼽을 만했다. 지금까지 그 논점을 잘 기억하고 있을 정도였으니까. 내용은 뭐냐 하면, 인간이(든 뭐든 간에) 현실을 모방하는 시뮬레이션을 만들 능력이 있고 또 그것을 꾸준히 구동시킬 의지만 있다면, 우리 세계가 거의 확실히 현실 세계가 아닌 시뮬레이션이라는 주장이다. 왜냐고? 시뮬레이션은 현실의 모방이기 때문에, 그 안의 인간이 또 시뮬레이션을 만들 것이다. 그럼 그 2차 시뮬레이션 인간도 3차 시뮬레이션을 만들고… 또한 하나의 시뮬레이션 내의 자식 시뮬레이션이 한두 개도 아닐 것이라, 결국 무한 개의 자식 시뮬레이션과 하나의 ‘조상’ 현실만이 존재할 것인데, 우리의 세계가 ‘일 대 무한’에서 ‘일’에 해당된다는 것이 가당키냐 하냐는 것이었다.
Superintelligence: Paths, Dangers, Strategies — Nick Bostrom또라이 같고 재미있지 않은가? 이 정도 상상력이면 SF 소설을 써도 먹힐 것 같은데 굳이 철학이라는 타이틀을 달고 글을 쓰는 대범함이 돋보인다. 여튼 그런 사람이 책을 썼다니 읽어보지 않을 수 없다. 제목은 『슈퍼인텔리전스』, 초지능이 온다면 필시 ‘평범한 지능’의 소유자인 우리를 잡아먹든 지배하든 할 터인데, 그 때 우리는 어떤 대비를 해야 할 것인가에 대한 이야기이다. 역시 또라이 같고 재미있는 내용이라 하지 않을 수 없다.
책 내용은 자못 심각하다. 정말로 인류가 초지능을 개발하고 초지능이 인류를 위협할 가능성에 대해 이야기한다. 그 가능성을 MECE한(Mutually Exclusive Collectively Exhaustive, 즉 빠지지 않고 겹치지 않게) 카테고리로 다루기 때문에 반박할 여지도 없고 반대할 거리도 없다.
요약해 보자.
지능은 지수적으로 증가하고 있다. 물론 레이 커즈와일의 특이점에 대한 이야기이다. 그러므로 지능의 폭발적인 성장은 ‘초지능(Superintelligence)’의 도래를 분명히 불러올 것이다.
초지능은 인간 수준의 지능을 넘어서, 인구 전체 지능의 합보다 초월한 수준에 이를 것이다. 초지능은 스스로 지능을 늘릴 수단을 반드시 찾아낼 것이기 때문에 초지능의 개발은 레이 커즈와일의 특이점보다도 더 거대한 폭발을 불러일으킬 것이다. 초지능이 개발되고 인간 사회가 어떠한 대비 없이 맞닥뜨린다면 엄청난 사회적 재난에 함몰될 것이다. 예를 들어 인간의 멸종 같은.
초지능을 만드는 방법은 인공지능, 전뇌 에뮬레이션, 생물학적 인식, BCI , 네트워크 등이 있고 그 형태는 속도 초지능, 집합 초지능, 질적 초지능이 있으며 슈퍼인텔리전스의 지배형태는 하나의 지배 혹은 다수의 지배가 있다. 초지능의 지배 전략은 인간에 의한 개발→자기 스스로 발전→은밀하게 탈출 계획 세우기→드러내서 지배하기의 단계를 거칠 것이다.
초지능의 목표는 지능과 상관없다 (직교성 명제: 지능과 최종 목표는 서로 직교한다.) 초지능의 동기를 알아내는 방법은 설계자(프로그래머)를 토대로 예측하기, 형판이 된 인간을 통해 예측하기, 그리고 최종 목표를 달성하기 위한 도구적 합리성을 고려해 예측하는 방식이 있다. 도구적 합리성이란 최종 목표를 달성하는 데 거치는 도구적 목표를 추구하는 것을 말하며, 그 종류에는 자기 보호, 최종 목표에 변화가 생기는 것을 막으려는 목표, 인지능력을 향상시키려는 목표, 기술적인 향상, 자원 획득 등이 있다.
등등등… (요약이 점점 성의없어진다?!)
