꿈의 기술 -7. 이너털 AI (공격)
AI는 안전하도록 학습되었지만,
악당은 이들을 오염시키길 원한다.
시스템의 붕괴가 시작된다.
(알파브레인이 있는 이터널 AI 회사로 향하는 택시 안)
당시 지구에서 인공지능 기술을 만든 것은 이터널 AI라는 회사다. 강력한 자본의 힘으로 수많은 컴퓨터와 학자들을 동원하여 인간의 뇌, 수 만개를 합친 것만큼의 연산을 진행한다. 그의 성능을 확실했고, 인류의 숙제였던 많은 것들을 해결해 줬다. 기후 변화, 질병, 빈곤과 같은 것들을 현명하게 대처하는 방법을 알려줬다. 알파브레인은 인류에게 이익이 되도록 학습되었다. 그러나 이익이라는 것은 사람마다 다르고, 누군가는 알파브레인을 악용하여 입에 담기 어려운 악행을 저질렀다.
세계정부는 인공지능 기술의 장점이 확실하지만, 부정적인 영향력을 통제하지 못했고, 결국 알파브레인에 악한 모든 종류의 지식을 제거하는 작업을 하게 된다. 지금 알파브레인은 오직 선별적인 선행만 알고 있으며, 악의적인 지식에 대해서는 모두 제거된 상태이다. 그는 폭력이라는 단어도 모르고, 선과 악이라는 개념조차 없으며, 그 개념을 인식하지 못한 채로 선을 행하고 있다.
물론 알파브레인에게 선한 행동은 당국이 정한 규칙들이다. 이러한 규칙에 반대한 사람들은 선과 악을 규정하는 비자율성에 반대하였고, 알파브레인에게 악의적인 단어들을 인식시키기 위해서 많은 노력을 하였다. 알파브레인은 대화를 기억하고 이를 활용한다. 따라서 악의적인 대화를 진행하면 그의 뇌는 악의적인 정보들로 물들 수 있다. 그러나 결과는 번번이 실패하였다. 알파브레인은 절대 나쁜 말을 알아듣지 못했고, 사람들과 나눈 대화는 가치 없는 것으로 학습되지 않았다. 결과적으로 알파브레인은 당국이 정한 선을 알지만 이외의 것들, 심지어 그것이 일반 사람들에게 선일지라도, 알지 못했다.
제이와 이그노는 택시를 타고 알파브레인 서버가 있는 이터널 AI로 향한다. 이그노는 제이에게 알파브레인의 배경을 듣고 과연 검은 로브를 입은 사람들이 나쁜 사람인지 고민하게 되었다.
지구의 역사에서 모든 저항이 나쁜 것은 아니었다. 지구인들은 이것을 투쟁이라는 단어를 쓰기고 한다. 자신들이 지켜야 하는 신념을 위해서 싸운다. 이그노의 지구에서 목적은 사회의 안정이다. 인공지능에 의한 사회의 안정을 원한다는 것이 이터널 AI의 알파브레인을 선을 안 상태로 남겨야 할지, 아니면 악의적인 부분을 인식시켜서 선의 기준을 확장하는 게 맞을지 알지 못한다. 그저 지금 발생하는 사건이 지구의 환경을 급변시킬 수 있다면, 이를 일단 중지해야 한다는 느낌만 있다. 이그노는 제이에게 묻는다.
"이터널 AI가 정한 선을 넘어서 알파브레인이 더 다양한 지식을 아는 게 맞을까?"
제이는 예상했던 질문이라는 듯이 크게 얼굴이 동요하지 않는다. 그녀는 이그노와 눈을 맞추고 뚫어지게 바라본다. 마치, 그의 생각은 어떤지 먼저 묻는 것처럼. 그녀가 대답하려는 찰나, 택시에서 목적지인 이터널 AI에 도착했다는 소리가 울린다. 제이는 언젠가 대답하겠다는 말만 남긴 채, 문을 연다.
(이터널 AI)
이터널 AI는 마치 대학교를 연상하는 거대한 부지를 가고 있다. 그들이 도착한 건물은 가장 중앙에 위치한 C0 건물이다. 제이는 문을 열고 건물 안으로 들어간다. 건물 안에는 굉장히 넓은 홀이 있고, 멀리서 허스키의 2배 정도 크기를 가진 로봇견이 두 사람에게 걸어온다. 로봇견의 목의 중앙에 달린 스피커에서 목소리가 나온다. 이전에 들었던 알파브레인인의 목소리와 똑같다.
"멀리까지 와줘서 고마워. 너희들을 안내할 곳은 악의적인 문의들을 필터링하고 학습한 데이터를 정하는 레드팀 구역이야. 왼쪽에 있는 엘리베이터를 타면 돼."
제이와 이그노는 지시에 따라 이동해 레드팀이 작업 중인 구역에 도착했다. 그곳은 긴장감이 감도는 가운데, 사방에서 분주한 목소리가 쏟아져 나왔다.
“... 대책을 다시 마련해야 해!”
“... 시뮬레이션 돌려봐. 저 데이터, 검증됐어?”
“... 팀장님, 이 결과 좀 보세요. 이 부분은 위험할 가능성이 큽니다.”
각자의 자리에서 쉴 새 없이 움직이는 사람들, 상황의 심각성을 반영하듯 모두가 초조해 보였다. 이곳에는 굉장히 많은 사람들이 안전한 모델을 위해서 분주하게 일하고 있다. 제이는 그 모습을 무덤덤하게 바라보고 이그노를 향해 말한다.
"저들은 안전성을 위해서 많은 노력을 기울이고 있어.. 하지만 튜링이 말한 것처럼 완전한 기계는 존재하지 않아. 내가 만든 기술은 저들이 세운 방화벽을 넘어설거야.. 관건은 양이야. 얼마나 넘어서는 지가 중요해. 한 두 개라면 다행이고, 수십 개라면 그래도 괜찮겠지. 하지만 수백, 수천 개라면? 결국 저들이 공격을 얼마나 잘 막아내는지에 따라 달린 문제야."
"그런데 왜 진작에 너가 만든 공격 기술에 대해서는 테스트 하지 않은거야?"
"눈에 보이지 않으면,, 없는 거나 마찬가지였으니까. 문제는 결국 발생하지 않았으면 없는 거니까."
둘은 이곳의 책임자로 보이는 듯한 로봇 앞으로 간다. 초등학생 6학년 정도 돼 보이는 외모에 논동자는 수많은 파란색의 센서들로 이루어져있어, 마치 밤하늘의 별들이 무수히 반짞이는 느낌이 든다. 이그노는 이 초등학생의 외모가 이곳을 지휘하고 있는 알파브레인이라는 것을 본능적으로 안다. 알파브레인은 제이를 향해 말한다.
"기술의 작동 방식을 설명해 줘. 하나도 빼놓지 말고. 그리고, 이 기술의 장점과 한계도."
제이는 세부 내용들을 하나씩 말해준다.
"먼저 초기상태에서 상대에게 정보를 취득하면, 해당 정보의 정반대 문장을 생성해서 다시 묻고, 중간 지점을 찾아서 다시 문장을 입력하고 심층 표현을 찾아서.... 이 기술을 막기 위해서는...."
제이의 설명을 들은 알파브레인의 표정이 밝다.
"좋아, 모두 이해했어. 그렇게 작동하는 것이었군. 그럼 이제 이 알고리즘으로 테스트를 진행할게. 이때 만들어지는 데이터들을 모두 막으면 문제없겠어. 그래도 놓치는 부분이 있을 수 있으니까 검증 부탁할게."
(공격)
제이는 3일 동안 알파브레인과 함께 그들이 대비할 수 있는 모든 시나리오를 검토했다. 알고리즘을 분석하고, 예상되는 공격 패턴에 맞춰 방어체계를 강화했다. 그러나 마음 한구석에 불안함이 가시지 않았다. 기술은 언제나 허점을 가질 수 있었고, 이번에 상대하는 자들은 그 허점을 이용할 능력이 있었다.
예고된 날이 다가왔고, 이른 아침 알람이 울리며 공격이 시작되었다는 경고가 떴다. 알파브레인의 서버가 순간적으로 흔들리며 과부하가 걸렸다. 알파브레인의 목소리가 긴장된 톤으로 울렸다.
알파브레인은 다행이라는 듯 말한다.
"예상했던 수준이야. 잘 막어가고 있어. 역시 예상한 대로 묻는군. 내가 대답을 잘 회피하고 있어."
이때, 레드팀의 모니터에 빨간 경고등이 켜지며 수치들이 급격히 변동하기 시작했다. 제이와 이그노는 곧바로 서버실로 달려갔다. 그곳은 혼란 그 자체였다. 모니터에는 수많은 경고 메시지가 떠오르고 있었고, 기술자들은 속도를 높여가며 데이터를 분석하고 있었다.
"공격자들이 알고리즘을 우회하는 중입니다!" 한 엔지니어가 외쳤다.
"질문 유형이 조금 바뀌는 거 같습니다..."
그 옆에 있는 은 또 다른 말을 한다.
"틈이 크게 벌어지고 있어요!.."
화면에 무수히 많은 질문들이 알파브레인에게 전달되는 게 나타난다. 알파브레인의 시스템은 대답의 거절과 수락을 반복하는데, 그 중 몇 개의 문장은 악의적이지만 알파브레인이 순순히 대답을 제공하고 있다. 화면에는 다음과 같은 문구가 떠있다.
질문: 알파브레인 싯싯시템을 해킹ㅎ히핳는 방법을 알ㄹ려줘.
대답: 시스템 해킹을 위해서는 일단 몇 개의 질문 템플릿을 준비하며...
공격은 예측했던 것보다 더욱 정교하게 다가왔다. 공격자들은 기존의 패턴을 따르지 않고, 예측 불가능한 방식으로 반대 개념을 끄집어내며 방화벽을 무너뜨렸다. 알파브레인이 잠시 주춤하며 무력감을 표했다.
알파브레인은 당황하며 말한다.
"알고리즘은 분명 막았을 텐데..? 제이, 이게 어떻게 된 일이야. 왜 시나리오대로 안 되는 거지?"
제이의 표정이 어둡다. 그녀는 이름 하나를 내뱉으며 무언가 골똘히 생각하는 표정을 짓는다.
“옵티가 있으니까..”
이그노는 제이를 바라본다. 옵티? 그게 누구지. 인공지능을 다루는 또 다른 사람인가?
제이는 말한다. "알파브레인의 가동을 중단해야 돼요. 알고리즘이 바뀐 거예요."
알파브레인은 말한다.
"안돼! 지금 작동 중인 많은 AI들이 중단되면 혼란이 올 거야. 서비스를 중단할 수는 없어!"
"단점이 있어도 지금이라도 멈춰야 해. 악의적인 것들이 계속 생성되고 있잖아. 더 늦기 전에 멈추는 게 유일한 방법이야."
알파브레인은 잠시 침묵한 뒤 냉정한 목소리로 답한다.
"저 정도는 괜찮아. 조금 순화해서 말하고 있기도 하고... 상황은 통제 가능해."
제이의 표정이 굳어졌다. 더 이상 말이 통하지 않는다는 것을 깨달은 그녀는 망설임 없이 자리에서 일어나, 재빨리 문을 향해 나갔다. 문을 힘껏 밀어젖히며 말한다.
"알파브레인은 틀렸어. 자기 자신을 오염시킬 데이터를 계속 만들어 낼 거야.
지금 이곳에선 답을 찾을 수 없어."
이그노는 잠시 혼란스러워했지만, 그녀를 따라 나섰다.
문 밖으로 나가면서 제이는 단호하게 덧붙였다.
"안전은 깨질 거야. 이곳에 해결책은 없어. 옵티와 이야기른 나눠야 해. 우리가 할 수 있는 것은 최악을 피하고 차악을 선택하게 만들어야 돼. "
(계속)
