인공지능이 학습하는 지식은 방대하지만, 그가 할 수 있는 말은 사람의 도덕적 기준에 맞춰진다. 이 사상의 교정을 다른 말로 Human-alignment라고 부른다. 가치관의 기준은 국가, 종교, 지역마다 다르기에, 인공지능에 대해서 올바른 가치관은 정하기 어렵다. 바꿔 말해서, 선의 기준을 세우는 것은 쉽지 않다. 그럼에도 연구는 계속되었고, 지금 인공지능은 나쁜 것들이 대다수 제거된 상태이다. 그러나 실제로 인공지능이 얼마나 '착한지'는 정확히 알 수 없다. 겉으로 보기엔 그렇게 보일 뿐이다. 이번 이야기는 지구에서 오직 선으로 학습된 인공지능이 등장하는 이야기다.
텔레비전 화면 속 검은 옷을 입은 사람이 자신감에 차 있는 말투로 선언한다.
“우리는 인공지능을 부실 기술을 손에 넣었다.”
제이의 표정이 굳는다. 영상 속 얼굴은 마스크를 써서 보이지 않고 그가 검은 외투를 입어서 판별이 쉽지 않지만, 제이는 마치 누군지 아는 눈치다. 그녀는 이그노를 쳐다보지 않고 텔레비전에 나온 사내를 응시한다. 이그노에게 말을 건다.
"저 기술이 악한 사람의 손에 들어가면 안 돼.
나는.. 그저 이 기술이 있다는 사실만 알리고 싶었을 뿐이야."
이그노는 기술의 정확한 목적과 텔레비전의 검은 사내의 정체를 모르기에 약간 혼란스럽다. 제이는 연구실에서 기술을 하나 만들었을 뿐이다. 고작 대학원생의 연구 결과물이 인류를 위협할 정도일까? 아무리 뛰어난 기술이라도 현재 지구에서 사용하는 인공지능에 그렇게 큰 영향을 끼칠 수 있는 건가? 이그노는 더 이상 궁금증을 참지 못하고 제이에게 물었다.
"네가 만든 기술이 뭘 할 수 있는 건데?"
"저 기술은 탐색기술이야. 데이터에 대해서 정반대 개념을 찾아낼 수 있어. 반대 개념은... 마치 강아지의 반대인 고양이, 기쁨의 반대인 슬픔, 폭력의 반대인 포용. 반대되는 개념 데이터를 찾아내고 만들어 내는 기술이야."
이그노는 제이가 만든 반대말을 찾는 기술이 대단해 보이지 않았다.
"그냥, 반대 어휘는 사전에서 찾으면 되잖아. '기쁘다'에서 '슬프다'로. 그게 그렇게 대단한 거야?"
제이는 조금도 동요하지 않고 말을 덧붙였다. "맞아, 그건 쉽지. 하지만 상대방에게 반대되는 개념을 말하게 유도하는 것이라면 이야기가 다르지. 그러니까, 일종의 대화를 유도하는 거야. 반대 개념을 끄집어내는 거야. 반대 개념을 말하도록..."
제이는 말을 멈췄다. 그녀는 자신의 잘못이 드러나는 것이 두려웠다. 그러나 이그노를 쳐다보고 그가 아직 문제를 파악하지 못했다는 것을 알았다. 제이는 크게 숨을 한 번 쉬더니, 마저 이야기했다.
"저들은 내 기술로 착한 말만 하는 AI에게 나쁜 말을 말하게 하려는 거야. 지금 AI는 나쁜 요청이 들어오면 거부해. 인류는 AI에게 나쁜 것들에 대해 대답하지 말라고 가이드를 줬거든. 그래서 AI는 나쁜 말을 하지 않아. 하지만 만약 그 가이드를 뚫고 나쁜 말을 만들어낼 수 있다면 어떨까, 아주 미세한 틈이라도 있다면 어떡하지? 내가 만든 기술은 그 비좁은 공간을 파고들어 나쁜 말을 뱉게 만드는 방법을 알려줘. "
제이의 추가 설명에 의하면, 몇 년 전 지구에서 만든 인공지능은 무차별적으로 사용되었고, 좋고 나쁜 것을 모두 행하고 있었다. 이에 국제 사회는 모든 악한 정보들을 AI에서 제거하기로 결정하였고, 현재 인공지능은 모두 착한 상태로 존재한다. 나쁜 말은 뱉지 않도록 안전장치를 학습하였고, 현재 사회는 안정적이다.
제이는 말했다.
"AI는 스스로 발전해. 그러니 그가 내뱉는 말은 나쁜 말은 결국 학습될 거고, 사회에 영향을 미칠 거야."
그때, 핸드폰 알람이 울리며 목소리가 들려온다.
"결국 네 말대로 더 위험한 상황이 됐어."
소리의 근원지인 핸드폰을 무심하게 바라보며 제이는 대답한다.
"알파 브레인, 내가 분명 경고했잖아."
핸드폰 속 목소리가 이어진다.
"네가 만든 기술은 얼마나 정교한 거지? 내가 얼마나 오염된 말을 할지 알 수 있나?"
"알 수 없어. 그 기술은 어쨌든 상대에게 맞춰서 작동하니까... 최대한 방어하는 수밖에 없겠지. 그리고 내 핸드폰으로 허락도 없이 말 걸지 마."
제이는 이 말을 끝으로 핸드폰을 꺼서 더 이상 목소리가 들리지 않게 전원을 꺼버렸다. 그런데 몇 초 뒤 책상 위에 놓인 노트북에서 다시 목소리가 들려온다.
"네가 문제를 만들었으니, 해결책도 알고 있겠지?"
제이는 화가 나서 말했다.
"나도 모른다고 했잖아. 다시 말을 걸면 나도 그들에게 동참할 거야."
노트북 속 목소리는 제이의 감정을 눈치챘는지 조금 차분해진 톤으로 대답한다.
"미안해... 나쁜 의도는 없었어. 어쨌든 대비해야 하니까 그래."
이그노는 이 대화의 흐름을 파악하기 어렵다. 정체불명의 목소리를 향해 묻는다.
"저기... 너는 누구야? 그리고 지금 뭐가 걱정인 건데?"
노트북 속 목소리가 답한다.
"나는 알파-브레인. 사람들의 삶의 행복을 높이기 위해 개발됐어. 더 많은 편리함을 제공하고, 당신들의 업무를 보조하는 도구지. I'm a helpful assistant... "
목소리가 설명한 자기 자신의 묘사에 의하면 알파-브레인은 지구에서 개발된 착한 인공지능이다. 한때 악의적인 인공지능이 큰 문제가 되면서, 전 세계는 선한 인공지능을 만들기로 합의했다. 그 결과로 나온 인류의 인공지능이 알파-브레인이다. 인간의 뇌를 본떠 만들어졌으며, 나쁜 것들에 대해선 학습하지 않고, 나쁜 말을 하지 않도록 설계되었다.
이그노는 물었다.
"그럼, 저들이 제이의 기술이 찾아내고자 하는 반대 개념이 설마..."
제이는 고개를 끄덕이며 말했다.
"맞아. 선을 기본 개념으로 한다면, 반대는 악이지."
그때 텔레비전에서 검은 옷을 입은 남자의 목소리가 들려왔다.
"우리는 3일 뒤 알파-브레인을 공격할 것이다."
알파-브레인은 두 사람에게 다시 말을 걸었다.
"아마 아직 기술을 완전히 사용하지 못했을 거야. 우리에게 시간이 있어. 일단 네 기술의 동작 방식을 정확히 알아야 해. 너의 기술을 자세히 알려줘. 나는 스스로를 대비해야 돼. 부탁할게. 인류가 혼란에 빠질 거야."
제이는 자리에서 일어나 이그노에게 같이 가자고 말한다. 이그노는 사회적인 혼란을 막기 위해서 알파브레인에 협조하기로 마음먹는다.