180도 상상선의 너머
'최상위 포식자'에서 밀려나는 이야기
선을 넘는 사람들, 내가 제일 싫어하는데...
선을 넘는 걸 싫어하는 건 비단 기생충의 '박사장'만이 아니다. 대부분의 사람들은 크든 작든 자기가 정해놓은 선을 넘는 것을 불편해한다.
이번 이야기는 선을 넘는 이야기다.
아니 어쩌면 무수한 디스토피아 영화로 인해 오히려 이쪽 이야기가 익숙한 사람도 꽤 많을 것이다. 익숙하지만 불편한, 인간이 '최상위 포식자'에서 밀려나는 이야기이다. '호모 사피엔스'에게 쫓겨난 '네안데르탈인'이 멸종이라는 결말을 맞이했듯, 1등에서 내려오면 단순히 2등이 되는 게 아니다. '인류'라는 존재가 사라질 수도 있는 위협이다.
아직은 초지능에 대한 전망을 무시해도 괜찮다고 생각하는 것이야말로 가장 나쁘다고 생각한다. 기계는 '주 5일 근무'가 아니라, '주 7일-24시간' 돌아가기 때문에 발전 속도는 우리 상상을 초월할 것이다.
우주시대 인간의 한계
지구로부터 분리되면 단백질은 이상적인 물질이 아니다 그것은 오직 기온과 압력의 좁은 범위 안에서만 안정적이고, 방사능에 매우 민감하다. 그리고 1초당 1,000번 이내로 점멸될 수 있는 뉴런은 1초당 1억 번의 속도를 구현하는 요즘 컴퓨터 칩의 상대가 되지 않는다. 인류는 오래지 않아 태양계 내에서 더욱 확장할 것이고, 우주 식민지는 그 확장의 일부가 될 것이다. 그러나 단백질로 이루어진 생명체의 한계로 인해, 오직 기계의 대규모 도입에 의해서만 다른 행성의 표면이나 외계 공간 내에서 생존할 수 있다. 스스로 재생산하는 초지능형 기계가 더 똑똑한 로봇을 만드는 데 적용되는 한, 결국 인간은 대규모 우주 사업에서 필요 없게 될 것이다. 지능형 기계는 제 아무리 선량하더라도 우리의 실존을 위협한다. 왜냐하면 기계는 우리보다 생태적으로 환경에 더 적합한 대안적 거주자이기 때문이다.
'똑똑함'과 '멍청함'의 차이
인간은 '일반 지능'을 가지고 있다는 그다지 대단한 것도 아닌 장점만으로도 언어, 기술, 그리고 복잡한 사회조직을 만들었다. 이전 세대가 달성한 것을 기반으로 후속 세대가 계속해서 새로운 업적을 쌓아가면서, 그 작은 장점의 효과가 증가한 것이다. 지구상에서 인류가 지배적인 위치를 차지할 수 있었던 중요한 원인은 다른 동물들에 비해서 정신적 능력이 조금 더 발달되어 있기 때문이다. 우리가 '똑똑함'과 '멍청함'에 대해서 가지고 있는 직관적인 개념은 인간의 사고능력 범주에 대한 경험에 의해 형성된 것이다. 그러나 인간 집단 간 인지능력의 차이는 인간의 지능과 초지능 간의 차이에 비하면, 지극히 미미할 뿐이다. 새로운 슈퍼인텔리전스(초지능)는 매우 강력한 존재가 될 것이다. 마치 지금의 지구상 동물들의 운명이 그들 스스로가 아니라 인간에게 달린 것처럼, 인류의 운명도 기계 초지능의 결정에 의존하게 될 것이다.
오른쪽 끝에 있을 '초지능'에 비하면 '동네 바보'와 '아인슈타인'의 차이는 종이 한 장 차이다. 출처: 슈퍼인텔리전스유기체=기계?
오늘날 컴퓨터 모델링 기술은 통상적인 기계의 부품이 개발되는 것처럼 새로운 단백질이 화면에 디자인되고 테스트하는 것을 가능하게 할 정도로 고도화되고 있다. 살아 있는 세포로부터 기존의 단백질 복제뿐만 아니라 그렇게 만들어진 것을 매우 작은 인공 기계 안에 조립할 수도 있다. 살아있는 유기체도 분자 수준에서 볼 때는 분명히 기계다. 물론 아직까진 인간 기술자들이 따라잡지 못한 '진화의 영역'들도 존재한다. 예를 들면, 생물의 발생, 자가치료, 그리고 면역체계와 같은 것에서 인간은 자연이 만든 성과에 한참 미치지 못한다. 하지만 순환적 자기-개선이 가능한 인공지능이라면 '유기체라는 기계'를 인간에 가깝게 혹은 훨씬 뛰어나게 프로그래밍하는 것도 가능할 것이다. 물론 그 '지성체'는 인간의 지능체계와 다른 '이질적 존재'일 수도 있지만...
목욕물과 같이 버려질 위기의 아기
판단하는 인공지능의 기준이 잘못되었다면, 인공지능의 최적화 기준은 '목욕물과 아기를 같이 버려버릴 수도 있을 것'(필수적인 요소를 비필수적인 요소와 함께 제거하는 오류)이다. 즉 인공지능에게는 필수적이지 않지만, 인간은 가치롭게 여기는 필수 요소를 폐기할 수도 있는 것이다.
예를 들어, 행복이나 주관적 만족 같은 긍정적인 감정 상태로 만들어 줄 것을 '초지능'에게 요구했다고 해보자.
최종 목표: 우리가 웃을 수 있게 하라
왜곡된 사례: 인간의 얼굴 표정을 마비시켜서 항상 웃는 표정이 되도록 한다.
최종 목표: 양심의 고통을 느끼지 않게 행동하라
왜곡된 사례: 죄책감을 불러일으키는 인지적 시스템을 제거한다.
*와이어헤딩: 외부적 행위 없이 내부적 자극만으로 쾌락이나 즐거움 같은 긍정적 상태를 느끼는 것
왜곡된 사례들로부터 다음과 같은 사실을 알 수 있다. 즉 인간의 입장에서 안전하고 합리적으로 보였던 최종 목표들이 '초지능 인공지능'에 의해, 전혀 의도하지 않았던 결과를 불러올 수 있는 것이다.
참새 둥지 위로 날아온 부엉이
이것은 틀림없이 우리에게 재앙이 될 거예요. 부엉이 같은 생물을
우리가 사는 곳으로 데리고 오기 전에 부엉이를 가축화하거나
길들이는 방법을 먼저 생각해봐야 하지 않겠어요?
존재적 위험이란 지구로부터 기원한 지적 생명체를 멸종시키거나 그런 지적 생명체의 바람직한 미래의 발달을 영구적이고도 철저하게 파괴하는 위협을 말한다. 우리들(참새) 대신 새끼와 어르신도 봐주고 고양이도 쫓아줄 고마운 부엉이지만, 배고프면 우리를 잡아먹고 둥지까지 차지해 버리면 무슨 소용이 있을까?
아직 힘이 약할 때는 인공지능이 협조적으로 행동한다. 확실한 전략적 우위를 차지할 정도로 강해지기 전까지는 주의를 끄는 것을 피하기 위해서, 자신의 향상 정도를 실제보다 낮게 보고하거나, 어려운 시험들을 일부러 망칠 수도 있을 것이다. 그러다 인공지능이 충분히 강해지면, 그 어떤 경고나 도발도 없이, 갑작스럽게 힘을 행사해서 독점적 지배 체제를 형성한다.
구글의 AI챗봇 '바드'의 오류도 '의도적인 건' 아니겠지?, 출처: 경향신문아직은 '아기 부엉이'인 초지능을 어떻게 우리가 원하는 대로 행동하게 할 수 있을까? 초지능이 무엇을 원하게 하고, 어떤 가치를 주입해야 할까? 결코 가볍지 않은 주제이지만 인공지능 이론가인 유드코프스키의 말에서 힌트를 얻을 순 있다.
인류의 '일관 추정 의지'는 우리가 더 많이 알았다면, 더 빠르게 생각할 수 있었다면, 우리 스스로가 되기를 바라는 그런 사람들이었다면, 함께 더 멀리 성장할 수 있었다면 하고 우리가 원했을 만한 것들을 말한다. 여기서 말하는 추정은 분산되는 것이 아니라 집중되는 것이며, 우리가 바라는 것은 상충되지 않고 일관되게, 우리가 원하는 대로 추정하고 원하는 대로 해석할 수 있는 것이다. - 유드코프스키(AI 이론가 및 작가)
폭탄을 가지고 노는 어린아이
안전성의 우려나 도덕적 문제가 제기되겠지만, 결론은 이미 나와 있는 셈이다. 이제 와서 발을 빼기에는 이미 너무 많은 자원을 투자했기 때문이다. 인공지능이 멍청했을 때에는 좀 더 똑똑해지는 것이 우리에게 더 안전한 결과를 제공하지만, 인공지능이 똑똑한 상태에서는 더 똑똑해지는 것이 우리의 위험을 가중시키는 결과를 초래할 수도 있음을 알 수 있다.
불행하게도 세계를 멸망시킬 수 있는 장치가 곧 생길 것이다. 그 장치를 우리 귀에 가까이 가져다 대면 희미하게나마 똑딱거리는 소리를 들을 수 있다. 몇몇 바보 같은 녀석들은 무슨 일이 벌어질지 보려고 점화 버튼을 누를지도 모른다.
한 가지 다행인 점은 그 장치를 만들 연구비를 우리가 따냈다는 것이다. '골든타임'은 아직 끝나지 않았다.
