<슈퍼인텔리전스> 닉 보스트롬, 잘난 분...그런데
AI 좀 들여다보면, 바로 이름 나오는 그 분, 닉 보스트롬. 약간 바이블 같은 책인데 "인공지능 분야에서 꼭 읽어야 할 두 권의 책 중 한 권"이라는 빌 게이츠 추천이 꼬리표처럼 달린 책입니다. 영미권에서만 13만 부가 팔렸다고요. 그런데 이 책 리뷰가 몇 없어요. 유명하지만, 실제 읽히는 책인지 의문. 왜냐하면... 어렵거든요. 이 양반, 옥스퍼드 철학과 교수입니다. 근데 물리학, 계산 신경과학, 수리논리학에도 지적 기반을 두고 있다나요.. 철학자 책인데 왠 수식이 이렇게 많아.. 싶은거죠. 그래서 그런 부분은 다 슥슥 지나가고 읽으시라 했습니다. #트레바리 #디지털시대읽기 2020년 10월 책. 봉주님 추천에 덥썩 물긴 했는데, 난이도가 높으면 클럽장으로서 조금 미안하긴 한겁니다. 근데 다들 "이런 책 읽어봐서 보람있었다"고 합니다. 게다가 당연하게도 책과 상관 없이 토론이 무척 흥미진진했어요.
초지능의 등장은 언제일까
1940년대 컴퓨터가 처음 개발되었을 때부터, 기계가 인간의 일반 지능을 따라잡을 것이고 인간처럼 상식을 가지게 될 뿐만 아니라 학습하고, 추론하며... 20년 정도 소요될 것이라고 예상.. 오늘날의 미래학자들도 인공지능형 기계가 만들어지기까지 여전히 20년쯤 걸릴 것이라고 (21쪽)
20년 뒤에 올거란 미래가 계속 지연되기는 했습니다만, 닉 보스트롬은 그래도 초지능은 온다. 21세기 중반에... 라고 단언합니다. 다만 이게 좀 앞당겨질 수도 있고, 느려질 수도 있다고 열어놓긴 했습니다만. 오긴 옵니다.
카카오 시절 AI리포트 만들면서, 온갖 석학들이 "초지능이 온다"는 건 의심하지 않는다는 대담을 봤습니다. 닉 보스트롬 외에도 '특이점이 온다'고 했던 레이 커즈와일, 알파고 아빠 데미스 하사비스, 일론 머스크 등 슈퍼스차 총출동했고, 사회자가 맥스 테그마크... 다들 초지능의 등장엔 토를 달지 않아요.
닉 보스트롬의 재미난 지점은 '초지능'이 오긴 오는데, '어떻게', 그 경로에 대해 3가지 시나리오를 제시합니다. 첫번째는 다들 알다시피 기계가 '머신 러닝'을 통해 학습하고 스스로 깨우치는 거죠. 인간을 닮는게 아니라 인간과 완전히 다를 수 있다는데 동의합니다. 알파고는 인간 방식으로 바둑을 두지 않고, '목표'만 달성하잖아요. 어느 순간 인공지능이 그 단계로 훅 진화할 수 있습니다. 1956년 다트머스대 6주 워크샵 이후 금방 잘될 것 같은 AI가 '겨울'을 맞이한 건 여러 이유가 있지만 결정적으로 데이터 부족, 메모리 용량과 연산 처리 속도 등 하드웨어 한계가 있었습니다. 이게 해결된 시대란게 중요합니다.
(이쯤에서 다시 보는 [카카오AI리포트]AI, 긴 겨울을 보내고 꽃을 피우다 ... 3년 전 카카오 시절에 AI리포트 란 걸 시작했는데, 그 리포트가 저 떠난 이후에도 차곡차곡 쌓여서 190여개 글이 있네요. 대단하고 고맙고 뿌듯하고ㅎㅎ)
2012년 제프리 힌튼이 이미지넷에서 고양이와 강아지를 구별한 이후, 다시 난리치던 AI가 최근 좀 주춤한건 BM 탓인지라, 기술 이슈는 아니라 봅니다. 이미 미 국무부는 7500만 명 이상의 얼굴을 식별할 수 있는 시스템을 써서 비자 업무를 처리하고(42쪽), 알고리즘 초단타 매매는 미국 주식시장 거래 절반을 차지합니다.(47쪽) 임계점을 넘어서면, 인공지능은 스스로 자신에게 필요한 더 나은 프로그램을 반복적으로 프로그래밍, 스스로 진화할 수 있습니다. 이 가능성을 저 역시 배제할 수는 없습니다. 그럼 속도가 문제인데, '빠른 도약의 개연성이 더 커 보이더라도, 느린 도약의 가능성을 배제할 수 없다'(148쪽)고 합니다. 한마디로 그날이 언제 올지 모른다는 겁니다... 21세기 중에 오긴 올거라면서도요.. 닉 보스트롬, 정말 이럴 건가요.
무튼, 그의 두번째 시나리오는 '전뇌 에뮬레이션(whole brain emulation)'.. 뇌를 스캔해 구현하는 겁니다. 인간 지능의 디지털 복제죠. 한순간에 논리정연한 상태로 각성할 수도 있다는 시나리오. 생물학적 뇌의 1만 배 속도로 구동되는 에뮬레이션.. 단 하루 만에 인간이 1000년간 이룬 지적 업적을 해치우는(105쪽) 그런 상상...개인적으로 도무지 납득 안되는ㅠ 그리고 세번째로 생물학적 뇌의 기능을 향상시키는 겁니다. 유전자 조작이랄까, 유전적으로 향상된 세대가 등장할 수 있다는 겁니다... 이게 꼭 그렇게 될거다, 단정하고 예언할 수 있을까요? 또 절대 안된다고 할 수 있을까요? 중요한건 그럴 때 우리는 어떤 조건들, 어떤 기준들을 마련하고 논의하게 될까요? 닉 보스트롬은 그런 것에 대비하자는 얘기를 계속 합니다.
예측할 수 없는 리스크에 대한 그의 상상은 이렇습니다.
인공지능은 세상을 지배할 수 있는 힘을 획득하기 위해서 인간보다 더 위험이 큰 행동들을 선택할 가능성이 크다(167쪽)는데, 사고 구조가 완전히 다를테니 와이놋. 다만 '단순한 목표를 가진 인공지능을 만드는 것이 인간과 유사한 가치와 기질을 가진 인공지능을 만드는 것보다 더 쉽다'(197쪽)는 주장에도 동의. 바둑이나 데이터 판독 등 목표가 분명한걸 만드는 건 이미 다 하고 있고, 인간과 유사한 가치와 기질을 굳이.. 싶기도요. 이런걸 왜 만들게 될까요.. 무튼, '충분히 똑똑한 인공지능이라면 자신이 감시를 받고 있을 수도 있다는 것을 깨닫고 사고작용을 조절할지도 모른다. 즉자신의 진정한 능력과 비우호적 성향을 드러낼 만한 의도를 교묘하게 숨길 방법을 찾아낼 수도 있을 것'(217쪽) 이건 영화적 상상인데, 역시 그럴 수도 아닐 수도. 어느 순간 '위험한 전환'(220쪽)이 올 수도 아닐 수도. '처음에는 안전하고 합리적으로 보였던 최종 목표들이 좀더 깊이 검토해보면, 전혀 의도하지 않았던 결과를 불러올 수 있다는 것'(227쪽).. 이게 터미네이터 종류의 모든 상상의 출발점이긴 합니다. 무튼 온갖 가능성을 촘촘하게 다 펼쳐놓고 하나하나 따져가는게 이 책의 특징입니다. 교과서 맞아요. 근데 몇 년 됐음에도 괜찮을 걸 보니.. 최소한 이런 이야기로는 고전이 될 그런 교과서.
초지능 걱정 말고, 인간 걱정부터...
한참 상상의 나래를 펼치다가도, 계속 인간을 돌아보게 만드는 재주가 뛰어난 양반. 사실 인간에 대한 성찰이 먼저구나 싶습니다. 예컨대 인간이 운영하는 조직에서는 대리인 문제(agency problem, 이거 단어 이상..)의 관료주의적 비효율성이나 거래 기밀을 지키기 위한 어려움 같은 것 때문에 규모의 경제에 의한 효율성이 방해받을 수도 있다(뭔 소리인지 알듯 하지만 표현 이상). 이런 문제들로 인해서 인간에 의한 기계지능 연구 프로젝트는 성장과 발전에서 한계에 부딪히게 될 것이다. 반면 인공지능 부품들은 (인간 노동자와 비교할 때) 시스템 전체의 이익에 해를 끼치는 개별적 선호도를 가지지 않기 때문에, 인공지능은 이런 규모의 불경제(scale diseconomics)를 피해갈 수도 있다. (151쪽, 역시, 번역 문제..) 인간이 일하는 건 삐그덕대기 일쑤지만, 기계는 그렇지 않을거란 얘기. 그러니까 어떻게든 만들겠다고 하는 이들도 있는 걸테고...
지능대확산의 심각성이 미리 광범위하게 알려진 경우, 그리고 성공 가능성이 커보이는 모든 연구 프로젝트에 대해서 효과적인 감시가 가능한 경우에는 전세계 공동의 노력이 더 잘 이루어질 것이다... 중대한 보안상의 문제가 있을 수도 있는 프로젝트에서는 국가들 간의 공조를 이끌어내는 것은 더 어려울 것이다. 단독으로도 인공지능으로의 돌파구를 뚫을 수 있다고 믿는 국가에서는 공동 연구에 자신의 노력을 쏟기보다는 혼자서 프로젝트를 진행하려고 할 수도 있다. (163쪽).. 이 이 분은 빠른 도약, 느린 도약만 가능성을 다 얘기하는게 아니라, 글로벌 거버넌스에 대해서도 공조가 잘 될거다, 안될거다, 정반대 얘기를 다 합니다. 인류 문명을 뒤흔들 기술 개발하면서, 각국 공조가 잘 될 리가 있나요??? 전략적 이점이 충분히 큰 초지능을 가진 세력이 등장한다면, 그 미래의 세력은 초지능을 독점적 지배체제를 차지하는 데에 사용할 가능성이 커 보인다.(169쪽) 당연하죠! 라고 동의하면서도, 그냥 그리 냅둘 일인가 싶습니다. 역시 당연하게도. 아, 진짜 모든 가능성 다 펼쳐서 자기 예측이 어느 하나는 맞을거라는 건가요.
"지금도 인류는 물질적 소비를 숭배하고, 천원자원을 고갈시키며, 환경을 오염시키고, 종 다양성을 파괴하고, 엄청난 수준의 전 지구적 불평등의 해결책을 찾지 못하고, 중요한 인본주의적 가치들과 정신적 가치들을 등한시하고 있지 않은가?.....집단적 초지능에 대한 우리의 정의의 그 어디에서도 더 뛰어난 집단적 지능을 가진 사회가 형편이 더 나은 사회라는 것을 암시한 바는 없다는 것이다. 이 정의로부터 더 많은 집단적 지능을 가지고 있는 사회가 더 지혜로운 사회라고도 할 수 없다. 중요한 일들을 대체로 올바르게 처리할 수 있는 능력을 지혜라 할 수 있다..." (109쪽) 발제문에도 넣었지만, 문득 '지혜로운 사회'란 무엇인가, 진지하게 생각해봤어요. 우리는 그런 사회를 지향하는 건 분명한데, 어떤 것이 지혜로운 사회인가요. 고대 이후 문명 발전에 따라 우리는 좀 더 지혜로워지긴 했나요? 이 책의 좋은 점 중 하나는.. 이런 질문을 계속 던지게 만들어준다는 것.
'바보같고 무식하며 속좁은 우리 인간이라는 존재가 과연 좋은 설계 결정을 내릴 수 있을까? 잘못된 최종 가치를 주입받은 인공지능에 의해서 현 세대의 편견과 선입견이 영속되지 않도록 하기 위한 선택을 내릴 수 있는 방법은 무엇일까?' (369쪽).. '우리는 초지능이 무엇을 원하기를 바라는 것일까?' 이 질문이 사실 중요한 거죠. 지혜로운 사회를 만들고, 너무나 현명하게 초지능조차 기술적으로도 존재론적으로도 완벽하게 만들 가능성은 별로 떠오르지 않지만, 이런 이야기를 하긴 해야하는 거죠.
'도적적 옳음'에 대한 잘못된 설명이 도덕적으로 굉장히 잘못된 결과를 초래할 수 있다'(385쪽)는 우려 역시 매우 타당한.. '도덕', '지혜' 라는 분명하지만 때로 모호한 가치에 대해 우리가 착각하거나 오해하거나, 합의에 이르지 못할 수 있다는 것을 생각합니다. 문화와 종교의 이름으로 서로 다른 가치를 추구하는데 갑자기 어떤 절대 진리를 초지능을 통해 추구한다는 것도 리스크.
미래는 이미 와 있다는데...
초지능 시나리오, 거기에 필요한 질문들은 끝내 우리의 미래를 구체적으로 그리게 됩니다. 닉 보스트롬의 미래는 그런데, 더 많은 의문을 부릅니다.
'기계 초지능의 도입이 상당한 존재적 위험을 초래할 것임을 다루었다. 그러나 다른 많은 존재적 위험을 줄이기도 할 것이다. 자연에 의한 위험- 즉 소행성 충돌, 초화산, 전 세계적인 유행병-은 초지능이 그러한 위협에 대한 대응책을 내놓거나 적어도 존재적 위험에 이르지 못하도록 만들어서(예를 들면, 우주 식민지화를 통해서) 사실상 사라질 것이다... 범세계적 조정 문제에서 기인하는 많은 비우발적이고 인위적인 존재적 위험들은 제거될 것이다. 이러한 것에는 전쟁의 위험, 기술 경쟁, 바람직하지 않은 경쟁과 발전, 공유지의 비극이 있다. (406쪽)
전 세계적인 유행병이 예시로 떴어요. 이런 존재적 위험은 줄일거라고요. 초지능이 팬데믹을 막아줄까요? 사회적 거리두기, 마스크로 막고 있는 팬데믹을 초지능이 통제하면 어떤 방식으로??? 어우야.... 우주 식민지화라는 솔루션도 난감하지만, 다른 상상도 그다지 유쾌하지 않습니다. 비우발적이고 인위적 위험, 전쟁의 위험, 바람직하지 않은 경쟁과 발전을 초지능이 막아준다는 것도 디스토피아적 상상이 함께 따라오네요... 음. 인간이 잘 못하니까, 초지능이 해줄거야, 이렇게 볼 것도 아니지만 말입니다.
초지능은 거의 확실하게 인간의 수명을 영원히 늘릴 방법을 찾아낼 수 있을 것이다... 또 인간의 정신을 디지털 장치에 업로드함으로써 속세의 번뇌를 줄이도록 도울 것이다. 또한 이렇게 해서 자유로워진 정신체에 더할 나위 없이 기분 좋은 가상현실을 부여하여 생명을 영속시킬 수 있을 것이다. (433쪽)
닉 보스트롬이 헐리웃 제작자들에게 많은 영감을 주고 있을거란 상상은 상상이 아닙니다. 그리고 이게 상상일지 현실이 될지 우리는 모릅니다. 그러나 그게 정말 우리가 바라는 거 맞아? 이 질문을 부지런히 던져야 한다는 것은 알겠어요. 정말 꼼꼼하고 방대하게 이 그림을 그려대는 세계 최고의 미래학자. 제가 이 책 토론을 앞두고 페북에 SOS를 쳤더니 "닉 보스트롬은 믿고 거릅니다 ㅡ.ㅡ 일단 AI 개발 현장과 너무 동떨어진 얘길 합니다. SF에 가깝다고 봅니다" 라는 페친 답글. 세계적 석학도 별거 아님다. 이런 평가 가능합니다ㅎㅎ 무튼 댓글이 무척 알찼던 글입니다.
"독서? 아니 왜 세상을 책을 통해 배워. 그건 결코 주도적인 삶이 아님. 작가랑 사귀던지 차라리."
존경하는 온니의 뼈때리는 지적.. 그러게요. 영어 때문인지, 다른 것 때문인지 별로 사귀고 싶은 마음은 안들지만ㅎㅎ 닉 보스트롬의 테드 영상. 한글 자막도 있는데요, 이거 훌륭합니다. 책보다 훨씬 쉽게 요약 설명!
토론은 역시나 흥미로웠고, 다들 어려운 대목 빼고. 우리가 왜 이런 이야기를 나누는지에 집중했습니다. 그것도 나쁘지 않아요. 아래 제 발제 남겨둡니다. 이런 책에 대한 토론, 이렇게 하면 됩니다 수준의 발제문이랄까요. 그리고. 빌 게이츠가 추천한 나머지 한 권의 링크도 남겨둡니다ㅎㅎ 트레바리 멤버께서 바로 찾아주셨어요.
<슈퍼 인텔리전스>
1. 초지능 시나리오에 대해
- 인간 수준의 기계지능이 이번 세기 중반에 만들어질 것이나, 그보다 더 일찍, 혹은 더 늦게 개발될 가능성도 무시할 수 없다고요. 빠른 도약, 느린 도약 다 배제할 수 없다니, 예측이 너무 넓은가요? 모든 가능성이 열려 있는 이유는 뭘까요? 어떻게 보세요?
- 초지능이 스스로 진화해서 인간을 위협한다면, 그런 초지능과 경쟁하는 친인간 초지능은 가능할까요? 초지능의 독점 가능성과 견제 방안은요? 초지능의 목표는 무엇이 될까요? 우리가 설정하는 목표와 그들이 진화하는 목표는?
- 초지능이 자연에 의한 위험(소행성 충돌, 팬데믹)이 존재적 위험에 이르지 못하도록 만들고, 독점적 초지능이 범세계적 조정 문제(전쟁 위험, 기술경쟁, 공유지 비극)로 인한 위험을 제거한다는 가설은 어떻게 보세요?
- 영화 <매트릭스>, <터미네이터>, <프로메테우스>, <아일랜드>, <네버 렛미고>, <리미트리스>, <루시>. 다시 생각해보게 되는 작품이 있어요?
2. 인간에 대해, 통제와 거버넌스에 대해
- 말의 운명을 볼 때, 인간의 존재 의미는 뭐가 될까요? 근근이 살아가는 게으른 불로소득자? 자의적 노예? 생존보다 소멸을 택할 수 있는 존재? 기계지능 노동자? 인간이 소중히 여기는 가치가 최적화 모드에서 배제된다면?
- 인간의 수명을 영원히 늘리거나, 인간의 정신을 디지털로 업로드해 속세의 번뇌를 줄이거나, 좋은 가상현실을 부여해 행복하게 만드는 시나리오를 우리가 추구할까요? 초지능으로 향하는 경로 중 전뇌 에뮬레이션, 생물학적 인지능력 향상 시나리오에서 예상되는 순기능과 역기능이 있습니다. 어느 쪽에 관심을 두시나요?
- 격리하고 유인하고 지연하고, 인계철선까지, 통제에 대한 합의는 과연 가능할까요? 동기 선택 시스템은 어때요? 오라클과 소버린, 지니, 어떤게 안전하다는 건지, 이런건 누가 어떻게 정하죠? 거버넌스가 역시 문제가 될까요? 인간이 완벽하지 않은데(무식하고 속좁다고요) 우리의 편견과 선입견 없이 어떻게 가치를 만들어낼 수 있죠? '공유재의 원칙’은 지켜질까요?
- 인공지능이 똑똑해질수록 더 안전해질 것"이라는 믿음에도 불구, '위험한 전환'이 이뤄진다? 안전하고 합리적이라 했던 최종목표가 의도하지 않는 결과를 불러온다면, 이를 막을 방법이 있을까요? 아주 똑똑한 지능 시스템이 본질적으로 선하지도 않고, 신뢰할 수 있을 정도로 지혜롭지도 않을 수 있다면..대체 지혜로운 사회란 뭘까요?
