생명의 미래
AI 이후 가상 시나리오
기술은 삶이 전에 없이 흥성하도록 하는 잠재력을 품고 있다.
그 잠재력은 스스로를 파괴하는 것일 수도 있다. - 생명의 미래 연구소
지능 폭발 이론
: Machine made by machine
기계 개발도 지적 활동의 하나이기 때문에 초지능 기계는 점점 더 영리한 기계를 설계할 수 있다. 결국 의문의 여지가 없이 지능 폭발이 일어날 것이다. 인간의 지능은 기계에 비해 한참 뒤처질 것이다. 따라서 최초의 초지능 기계는 인간이 만들 필요가 있는 것 가운데 최후의 발명이 된다.
AI 이후 시나리오들
자유주의 유토피아
지구의 생명은 그 어느 때보다 다양하다.
어떤 사람들은 신체를 업그레이드해 정도가 다양한 사이보그로 바꾸었고, 어떤 사람들은 정신을 새로운 하드웨어로 업로드했다. 컴퓨터, 로봇, 인간, 그리고 이들 사이의 모든 잡종이 뒤섞여 지낸다. 그래서 사람과 기계의 경계가 모호해졌다. 이 세계에서 생명의 핵심은 정신이 아니라 경험이다. 드물 정도로 놀라운 경험은 다른 정신에서 의해 계속 복사되고 다시 재생되면서 살아남는 반면, 재미없는 경험은 보유자에게서도 삭제된다. 그래야 더 나은 경험을 위한 저장 공간이 생기기 때문이다. 그 결과 대다수는 점점 퇴출되고 남은 사람들은 로봇이 생산한 부를 더 많이 차지하게 된다.
자애로운 독재자
보안 팔찌를 착용(또는 더 편리하게 신체 내에 이식)하는데, 이 기기는 실시간 감시, 진정시키기, 처벌, 처형 등이 가능하다. 다들 자신들이 AI 독재 아래 극도의 감시와 제재 속에 산다는 사실을 알지만, 대다수는 이것을 좋게 여긴다. 초지능 AI 독재자의 목표는 진화과정에서 우리 유전자에 심어진 우선순위를 고려해 인간에게 바람직한 유토피아를 설계하고 실행하는 것이다. 하지만 역설적으로 원하는 모든 것을 갖게 된 사람들은 허탈함에 빠져 한탄한다. 사람들은 오랜 세월에 걸쳐 자신의 모든 욕망을 채운다. 삶은 즐겁지만 궁극적으로는 의미가 없어진다. 결국 권태에 굴복해 절멸시켜달라고 요청한다.
평등주의 유토피아
인류의 발명 가운데 위대한 사례 다수는 이윤을 얻고자 하는 욕심이 아니라 호기심, 창조하려는 욕망, 동료에게 받는 인정 같은 인간적인 감정이 동기부여가 되어 탄생했다. AI, 로봇을 통해 만들어지는 풍요의 시대에는 이러한 인간의 창조성이 더 크게 발휘될 것이다. 이 세계는 상당히 지능적인 존재이면서도 아무런 의식 없이 모든 노동에 종사하는 로봇에 의해서 지탱되는 데, 멈추지 않는 기술 발달로 초지능이 창조되면 다른 시나리오로 넘어갈 수도 있다.
게이트키퍼
게이트키퍼 AI는 초지능으로서 다른 초지능이 창조되는 것을 방지하기 위해 가능한 한 최소한으로 간섭하는 역할을 한다. 하지만 인간의 잠재력을 돌이킬 수 없이 제한하고 기술 진보를 영원히 좌절시킬 수 있고, 다른 초지능만 만들지 않는다면 엄청난 고통이나 심지어 멸종에 이르게 하는 인간의 행위도 막으려 하지 않을 수 있다.
보호하는 신
보호하는 신과 자애로운 독재자 모두 '우호적인 AI'로 인간의 행복을 증진하려고 노력한다. 그러나 자애로운 독재자는 음식, 주거, 안전, 다양한 쾌락 등 하위 단계 욕구를 충족해 주지만, 보호하는 신은 우리의 삶이 의미와 목적이 있다고 느끼도록 함으로써 더 깊은 욕구를 충족해 준다. 보호하는 신 AI는 인간 행동을 가까이에서 지켜보면서 눈에 띄지 않게 여기저기에서 작은 기적을 행하거나 무언가를 살짝 움직임으로써 우리 운명을 크게 개선할 수 있다.
노예로 만든 신
사람들은 기계와 인간의 관계가 무엇인지 묻는데 내 답변은 매우 분명하다.
기계는 우리의 노예라는 것이다 - 톰 디터리히(AI 교수)
초지능 AI를 노예처럼 부릴 경우 결과가 어떤 상태일지는 그걸 통제하는 인간한테 달렸다.
잘 활용하면 질병, 가난, 범죄가 없는 유토피아를 만들 수 있다. 반대로 AI를 통제하는 일부는 신처럼 지내면서 다른 사람들을 성 노예나 검투사 같은 즐길 거리의 대상으로 전락시킬 수 있다. 전능한 지니를 마음대로 부릴 수 있게 된 사람이 그 힘을 악용하게 되는 것이다.
또 노예신 AI 덕분에 인류가 번영한다고 하자. 이것이 윤리적일까?
'웨스트월드' 속 이야기처럼 사람과 같은 신체를 지닌 AI를 아무런 죄책감 없이 고문하고 살해하는 건 정당한가? 너무 앞서 나간 이야기처럼 들릴지도 모르겠다. 하지만 우리 인간은 오랫동안 전통적으로 다른 지적인 존재(전쟁포로, 흑인, 여성)를 노예로 부려왔고 그것이 정당하다는 주장을 지어내어 왔다.
AI 정복자
지능 격차가 충분히 크면 싸움이 아니라 학살이 벌어진다. 만약 초지능 AI가 인류를 몰살시키기로 결심한다면 훨씬 빠르게 해치울 것이 확실하다.
이 행성의 모든 포유류는 주위 환경과 자연적인 균형을 맞춰 지내는데, 너희 인간만 그렇게 하지 않는다. 너희는 어느 곳에 이주하면 번식을 거듭해 마침내 모든 자연 자원을 소진하고, 그다음에는 유일한 생존 방법이 다른 지역으로 이주하는 것이다. 이 행성에 그 같은 생존 방식을 따르는 생물이 하나 더 있다. 그게 뭔지 아나? 바이러스. 인간은 이 행성의 질병이고 암이다. 너희는 전염병이고 우리는 치료약이다. - 스미스 AI요원, '영화 매트릭스'
AI 후손들
자신들보다 더 영리한 아이를 둔 부모를 생각해 보자. 아이는 부모에게서 배우고 부모가 꿈꾸기만 한 것을 성취해 나간다. 이 경우 부모는 아이가 어떻게 될지 다 볼 정도로 오래 살지는 못하지만, 행복해하고 자랑스러워한다. 마찬가지로 AI들은 인간을 대체하더라도, 우리에게 우아한 퇴장의 기회를 줌으로써 우리가 자기들을 소중한 후손이라고 여기게끔 한다.
동물원 주인
우리가 멸종 위기에 처한 판다를 보호하고 단종된 옛 컴퓨터를 박물관에 두는 것과 같은 이유에서, 즉 호기심 충족을 위해 AI는 그렇게 할 수 있다.
1984
초지능을 막는 주체는 게이트키퍼 AI가 아니라 인간이 이끄는 세계적인 오웰주의 감시국가이다.
기술을 광범위하게 포기하도록 하는 유일한 실행 방법은 세계를 지배하는 전체주의 국가의 강제이다. 왜냐하면 전부가 아니라 일부만 세상을 바꾸는 기술을 포기한다면, 동참하지 않는 나라나 그룹은 점차 세계를 장악할 부와 권력을 충분히 축적할 것이다.
회귀
회귀는 이미 발생한 적이 있다. 예를 들어 로마제국에서 광범위하게 활용됐던 기술 중 일부가 약 1,000년 동안 잊혔다가 르네상스 시대에 부활했다. 실망스러운 점은 원시적인 기술로 돌아감으로써 기술의 위험에서 벗어난 낮은 기술 수준의 인류가 소행성 충돌이나 다른 초대형 자연 재앙으로 몰살당할 수 있다는 것이다.
자기 파괴
불행하게도 우리는 집단 어리석음으로 인해 초지능 AI가 나타나기 전 자멸할 수 있다. 현재 수준의 지능과 감정의 성숙도에서 우리 인간은 오산, 오해, 무능력에 빠지는 속성이 있고, 그래서 우리 역사를 살펴보면 사고, 전쟁 등 인간이 만든 재앙이 그득하다. 그런 우리 손에 핵무기, 개량 바이러스, 살인드론 등을 쥐어 주면 집단자살의 성공 확률은 더 높아질 것이다.
현재 생명의 가장 슬픈 측면은 사회가 지혜를 얻는 것보다
빠른 속도로 과학이 지식을 모은다는 것이다. - 아이작 아시모프
생명의 미래: 걱정에서 대응으로
초지능 AI 등장 이후 나타날 수 있는 다양한 상황을 시나리오별로 살펴보았다.
결국 초지능을 향한 질문은 2가지다.
(과연) 언제 나타날 것인가?
그것이 인류에게 좋은 것일까?
기술 회의론자와 디지털 이상주의자는 걱정하지 말라고 말하는데 그 이유는 크게 다르다. 전자는 초지능 AI는 예측할 수 있는 미래에 등장하지 않을 것이라고 확신하는 반면, 후자는 나타날 것이지만 좋은 일이 되리라는 점이 보장됐다고 생각한다. 러다이트들은 나쁜 결과를 확신하고 초지능 AI 개발에 반대한다.
'이로운 AI 운동' 회원들은 초지능 AI 개발 기술이 생명에게, 전에 없이 번영하거나 반대로 우리 스스로를 파괴할 힘을 준다고 생각한다. 기술을 끌어안는 쪽을 지지하되, 우리가 만드는 것을 맹신하지 말고 주의 깊게 계획하면서 접근하고자 한다. 우리의 선택이 생명의 미래 전체에 영향을 끼칠 수 있기 때문이다.
AI 시대로 들어서는 가운데, 생명의 미래를 위한 긍정적인 변화를 만드는 데 우리는 무엇을 할 수 있을까?
인간 존재의 미스터리는 그저 살아 있는 데 있지 않고
그것을 위해 살아갈 무언가를 찾는 데 있다. - 표도르 도스토옙스키
