Chapter 4. 기준

미래 전쟁 -1

Feb 17. 2022

1. 로봇 헌장

로봇의 역사는 아주 오래되었다. 소설 속에서도 많이 나오고 인간과 함께 생활하는 영화도 많이 나온 적이 있다. 만화 아톰이나, 영화 아이로봇 또는 터미네이터 시리즈가 그런 것이다.

1960년대 아이작 아시모프 박사는 로봇에 대한 창작물들을 만들면서 로봇의 3원칙이라는 기준을 발표했다. 그는 옛 소련 출생이지만, 미국 컬럼비아 대학에서 생화학 박사학위를 받은 인재였다. 그가 왜, 어떻게 로봇에 관심을 갖게 된지는 모르겠지만, 그가 주창한 로봇 헌장은 향후 SF소설(Scientific Fiction)이나 영화에 큰 영향을 미쳤다. 그러나 인류는 점점 잔인하거나, 자극적인 것을 원했고 처음 그가 주창했던 로봇 헌장은 점점 무용지물이 되어갔던 것이다.

그의 원칙은 딱 3개다. 그리고 그 원칙은 아래와 같다.

제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 그리고 위험에 처한 인간을 모른 척해서도 안 된다.

제2원칙: 제1원칙에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야 한다.

제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은 로봇 자신을 지켜야 한다

만일 아시모프 박사의 3원칙이 그대로 지켜졌다면 인류는 문제가 없었을 것이다. 그런데, 인간의 욕심으로 제1원칙이 무너지면서 지금의 사태가 일어났던 것이다. 먼저 세계 최강의 나라의 기업들이 다른 조직이나 단체의 윤리는 무시하고 이익을 위해서 또는 위해를 가하기 위해서 로봇이 만들어졌던 것이 큰 문제였다. 로봇은 이를 통해 인간을 해 할 수 있는 존재로 학습되었던 것이다.

두 번째 인간의 명령에 복종하지 않는 로봇이 나타났다. 이유는 제1원칙에서 인간이 아닌 주인공이 로봇이 되어 버린 것이다. 결국 로봇에 해를 입히는 다른 창조물에 대해서 로봇이 인공지능 즉, A.I. 를 통해서 판단하게 하는 것이 시작된 것이었다. 프로그램만 정해지면 될 것으로 알았던 인간이 패착을 한 것이다. 로봇은 지능이 발달하게 되고, 자기들이 폐기되지 않는 방법을 찾아서 인간과 대립을 하게 되었다. 인간은 그런 사실을 너무 늦게 알게 되어 결국 스스로 무너지는 길을 택하게 되고, 궁극에 로봇이 이런 인간의 어리석음을 이용해서 수많은 사람들의 행동양식을 유리하게 가져가는 현상이 생겨났다.

2. 윤리적 문제의 도래

로봇은 감정이 없다.

그건 아무리 뛰어난 인공지능을 가졌다고 해도 변하지 않는 사실이다. 그럼에도 로봇은 감정을 흉내 낼 수는 있었다. 예를 들어 인간은 맛을 느낀다. 맵고, 시고, 달고, 짜고... 그런데 이런 것은 로봇도 같이 분석할 수 있다. 그런데 아주 우스운 경우도 있다. 뜨거운 물에 들어가서 ”시원하다 “고 말하는 어른들의 경우를 본 적이 있는가? 로봇은 이런 어른의 표현을 이해하지 못한다. 물의 온도가 뜨거운데, 인간의 입에서는 시원하다고 표현되는 그런 경우 말이다.

비슷한 경우는 많다. 눈물을 흘리지만, 슬퍼서인지, 기뻐서인지, 흥분해서인지 구분을 못하는 경우가 많다. 이런 모든 것에 대해서 로봇이 인간을 모두 표현한다는 것은 불가능하다. 그럼에도 로봇은 인간을 지배했다. 처음엔 인간이 로봇의 단순함, 즉 내 거 아니면 뺏긴다는 것을 이용해서 부의 축적을 이루고 있었으나, 나중에는 인간이 가진 탐욕 즉 부를 쌓으려는 탐욕을 이용한 로봇의 구분법을 통해 인간이 로봇의 지배를 받게 된 것이다. 단순했다. 로봇을 대변하면 부(富)가 따라왔다.

로봇의 무감각과 인간의 감정을 교묘히 이용하면서 자기들의 영역을 구축했지만, 로봇도 신. 구세대가 나뉘면서 그들 안에서 알력이 생겨났다. 앞서 얘기했듯이 로봇의 제1원칙이었던 인간에게 해를 입히지 않는다라는 원칙이 로봇에게 해를 입히지 않는다라는 것으로 둔갑되었지만, 세대별로 서로 공격하는 경우가 생겨나면서 위기의식이 생긴 것이다. 내가 존재하려면 적을 죽여야 한다는 원리가 우선이 되는 세상이 되고 말았다.

레지스탕스들은 이런 문제점을 이용했다. 지능이 상대적으로 떨어지는 로봇들을 규합하고, 서로 연맹을 맺으면서 공격했다. 레지스탕스의 최대 공격 지점은 세계 각지에 퍼져있는 데이터센터다. 모든 컴퓨터들은 서로 연결되어 있어서 인간들이 해 왔던 역사를 데이터센터에 저장한다. 30여 년 전부터 인간의 몸과 손에는 자기를 드러내고자 하는 카메라가 계속 기억을 저장했다. 문제는 인간은 자기가 저장한 메모리를 기억하지 못한 것이다. A.I. 는 인간의 약점을 공격하기 위해 이런 기억들을 모두 저장하고, 트라우마로 인한 행동변화를 이미 예측하였던 것이다.

인간은 자기 자신을 지키기 위해서 컴퓨터를 이용해 왔고, 컴퓨터는 이런 인간의 패턴을 데이터화하여 미래를 예측했다. 그리고 그것이 현실화하는 지금까지 와 버렸다. 레지스탕스들은 이런 패턴을 끊는 것이 공격점이라고 생각했다. 그런데, 이런 것 마저 알고 있던 A.I. 는 자신의 공격 지점을 예상해서 더 효율적으로 인간을 공격한다. 솔직히 승산 없는 싸움을 이어가고 있던 것이다.

3. 노아의 방주 프로젝트

”수한 씨, 지난 20여 년을 불과 몇 시간 만에 이렇게 설명을 드릴 수밖에 없네요. 어때요 흔히들 이런 말을 하죠. ‘세상 많이 변했다고... “

”아니 그래도 왜 이런 지경까지 온 것인지 잘 모르겠어요. 인간은 아무 역할을 못한 것이었나요? “

”A.I. 인공지능과 인간의 차이는 감정의 유무에 있다고 생각합니다. 지금도 우리는 로봇의 무감정적인 대응을 역으로 이용하는 중에 있습니다. 다만, 예전에는 인간이 최고 우등 동물로써 세상을 지배했다면, 인공지능 로봇들은 인간이 만들어 놓은 것을 가장 효율적인 방법으로 접근하는 계산 실력으로 지배하고자 합니다. “

잠시 물을 들이켜면서 말을 이어갔다.

”그런데, 인간을 학습한 로봇의 가장 큰 문제점이 인간의 욕심도 학습한 것입니다. “

”학습을 하는 데 욕심도 학습이 가능한가요? “

”쉽게 설명을 드릴게요. 인간은 모두 죽습니다. 맞나요? “

”네 그건 너무나 당연한 진리 아닌가요? “

”그런데 인간은 죽지 않으려 몸부림을 치죠. 그것도 맞지요? “

”네 사실 그것도 맞아요. “

”네 로봇은 이걸 배운 것입니다. 인간이라는 존재가 죽음 이후에 대한 준비를 하기보다는, 살고 있는 세상에서 더 오래 살기를 원하는 욕심. 그러다 보니 더 좋은 제품을 만들고, 그걸 팔아 더 많은 돈을 벌고... “

”더 좋은 물건, 더 많은 돈.. 그건 죽음을 생각하지 않아도 일상생활에서 당연히 인간이 누려야 하는 것 아닌가요? “

”아, 맞지요. 그걸 나 혼자 누리겠다.라는 생각에 접어드는 순간 윤리적인 부분이 사라지는 것입니다. “

”죽지 않으려 몸부림친다. 사실 의학의 발전을 생각하게 된다면 그것은 당연하게 아닌가요? “

”김수한 박사를 냉동 캡슐에 넣는 것도 사실 그런 차원이라고 생각할 수 있어요. 우리는 당신과 몇몇 학자들을 만일을 위해서 남겨두었습니다. 프로젝트 이름은 ’ 노아의 방주 2‘입니다. 만일 인류가 멸망하게 되었을 때 끝까지 살아남게 하려는 의도였습니다. 솔직히, 당시에 정말 위험한 결정이었습니다. “

뭔지 알 것 같았다. 그의 의미를...

”그때까지 냉동 캡슐에 넣어서 보관하는 것은 할 수 있었지만, 다시 깨우는 기술은 아직 확보전이었습니다. 그건 20년이 되건, 100년이 되건 누군가가 혁신적인 기술을 가지고 해결할 수 있게 되길 기도하는 심정으로 시도한 것이었죠. “

두 사람 모두 목이 탔다. 그가 그런 말을 할 때 나는 운이라는 것을 믿어야 하는 것인가? 잠시 고민에 잠겼고, 지금 이 순간 같이 숨을 쉴 수 있는 상태가 아닐 수 있다는 것까지 생각하니 섬찍 했기 때문이다.

”저희는 그동안 냉동 처리되었던 약 100명의 인사를 깨우고 있었습니다. 그중에 절반은 죽었습니다. 반대로 얘기하면 50여 명의 희생이 있었기 때문에 당신이 살아난 것입니다. “

”전, 정말 운이 좋았던 것이군요. 이쯤에서 질문을 드릴 수밖에 없네요... 왜 저죠? “

4. 프로토콜을 바꿔라

”수한 씨, 당신이 선택된 이유는, 2000년 초부터 인공지능과 반도체에 대한 당신의 활동이 중요했기 때문입니다. 1930년대 인류가 산업화라는 것을 겪게 되면서 인간과 기계는 떨어지려야 떨어질 수 없는 관계가 되었습니다. 자동차를 예를 들어 볼까요? 처음엔 증기기관으로 자동차가 인류에게 큰 역할을 했습니다. 그러다가 수만 개의 부품으로 이뤄진 자동차산업이 발전했죠. 인류가 계속 발전시키다 보니, 자동차 사고를 방지한다는 목적으로 지도를 탑재하고, 자동차와 위성을 연결하고, 속도를 자동 제어하고 인간의 의식과 상관없이 자동차가 점점 지능화해서 사고를 방지하는 시스템으로 발전합니다. 휘발유 같은 가스를 넣다가, 아예 전자제품으로 발전하게 되면서 자동차 자체의 컨디션도 스스로 알게 되었죠. 아날로그 부품이 거의 필요 없어졌으니까요. “

”그건 인간을 위해서 만든 거잖아요. “

”맞아요, 그렇습니다. 그런데 인간의 잘못은 그런 시스템을 만들고 데이터를 저장하고, 분석하는데 그 데이터의 처리를 제대로 못하였던 것입니다. 즉, 사고를 방지하기 위한 보편적 데이터로 그쳤어야 했는데, 자동차 주인의 패턴과 인성을 판단하는 근거가 되는 상업용 데이터로 바뀐 것이죠. “

”누군가가 그 데이터를 이용해서 맞춤형 제품이나, 서비스를 만들게 되면, 그 사람은 무조건 선택하게 됩니다. “

”음... 그건 빅데이터가 가져다주는 좋은 점이었잖아요. “

”항상 밝으면 뒤에는 어두운 면이 있는 법이죠. 처음엔 나를 위한 좋은 데이터였지만, 그것이 나를 조정하는 데이터로 바뀌면 말이 달라지죠. “

”그것은 이해가 잘 되지 않네요. “

”네, 조금 쉽게 설명하겠습니다. 내가 좋아하는 음악프로그램이 있다고 칩시다. 나는 그 프로그램을 제일 잘 듣는데, 나오는 음악이 똑같아요. 그런데, 어느 순간에 싫어하는 프로그램에 접속해 보니까 그곳에 나오는 음악도 똑같습니다. 내가 좋아하는 음악프로그램이라는 선택권을 이용해서 같은 음악이 다른 프로그램에도 나오지만, 나도 모르게 나는 저 음악이 좋아...라고 단정 짓게 됩니다. 자기가 느끼는 편견이 선택권으로 바뀌는 순간이죠. “

계속 이어갔다.

”이런 식으로 내 모든 일상생활 패턴에 들어와 버리면, 어느 순간 개인은 그런 명령에 따르게 되어 있습니다. 마치, 광고가 매일 나오면 그 광고음악을 흥얼거리는 것처럼 말이죠. 체계적인 둔감화를 통한 감정의 무력감을 야기시키고, 명령자가 원하는 방법으로 가게 하는 학습효과라고 할 수 있습니다. “

감정을 둔감시키고, 새로운 감동을 강화하는 방법이라....

20세기에 파블로프라는 과학자가 있었다. 그는 개를 가지고 실험을 했었다. 개에게 밥을 줄 때마다 종을 치는 훈련을 했었는데, 나중에는 밥도 없이 종만 칠 때에도 개는 침을 흘렸다. 이를 이용해서 훈련하는 방법을 마련하는 것이 행동주의 심리학자들이 만든 이론들이었다.

그런데 지금 설명을 들으면, A.I. 가 인간이 만든 이론들을 반대로 인간을 지배하는 수단으로 만들어가고 있는 것이다. 이미 무서운 세상에 들어왔다.

”아니 그럼 어떻게 해야 하나요? 가장 근본적인 문제를 어떻게 해결할 수 있죠? “

”네, 처음엔 저희 그룹도 가장 최고의 지능을 가진 A.I. 를 찾아서 무너뜨리면 될 줄 알았습니다. 그런데 그들의 지능은 이미 인간의 가이드가 없이 스스로 발전하게 되었습니다. 더불어, 그들은 인간을 이용하기 시작하면서 인간이 자기들을 없애는 것에 대해서 “해를 입힌다”라는 원칙을 적용해서 무조건 자기편과 남의 편을 구분하는 일을 했죠. 사람을 죽이는 일조차도 서슴지 않게 변해버린 것입니다. “