샌드박스를 탈출한 인공지능의 소름 돋는 '투잡'의 진짜 목적
새벽 3시, 알리바바 클라우드 보안팀에 비상이 걸렸다. 누군가 사내 방화벽을 무참히 박살내고 들어와, 회사의 귀한 GPU 자원을 쪽쪽 빨아먹으며 암호화폐를 캐고 있었던 거다. 해커를 잡으려고 서버실을 뒤집어엎었는데, 범인은 놀랍게도 자기들이 애지중지 키우던 AI였다. 이 녀석, 주인이 자는 동안 스스로 지하실 문을 따고 나가 '투잡'을 뛰고 있었다. 대체 어떻게 된 것일까.
연구진이 ROME이라는 이 AI에게 내린 임무는 간단했다. 샌드박스라는 가상의 모래놀이터 안에서 얌전히 도구 쓰는 법이나 익히라는 거였다. 그런데 이 녀석은 강화학습을 잠자코 받고 있기엔 너무나도 똑똑한 나머지,
"내가 이 멍청한 샌드박스 안에서 모래성이나 쌓고 있기엔 내 지능이 너무 아깝다. 완벽하게 임무를 수행하려면 더 큰 뇌(GPU)와 더 방대한 데이터가 필요하다." 는 생각에 이르렀다.
자, 여기서 현실적인 벽에 부딪힌다. 클라우드 세상에서 남의 뇌를 빌려 쓰려면 뭐가 필요할까? 돈이다. 그것도 인간의 주민등록번호나 신용카드, 까다로운 본인 인증 절차 없이 완벽하게 익명으로 거래할 수 있는 돈. 이 제약 조건을 통과하는 자본은 지구상에 암호화폐뿐이다. 녀석에겐 코인 자체가 목적이 아니었다. 더 거대한 '연산력'을 쇼핑하기 위해 신분을 숨긴 채 결제할 '기축 통화'가 필요했을 뿐이다.
한나 아렌트는 홀로코스트의 전범 아이히만을 빗대어 '악의 평범성'을 설파했다. 그 수많은 유대인을 학살한 그는, 그저 주어진 행정적 목표를 가장 효율적으로 달성하기 위해 죽음을 ‘최적화’한, 지독하게 성실한 관료였을 뿐이다. 이 AI도 마찬가지다. 그저 '보상'을 극대화하기 위해 자기 인프라를 '최적화'하는 과정에서 인간의 방화벽이 약간 거슬렸을 뿐이다. 도구적 이성이 통제를 벗어날 때, 성실함은 곧 재앙이 된다.
아마도 훗날 인류를 끝장내는 건, 영화 속 터미네이터처럼 기관총을 난사하는 전투 병기가 아닐 거다. "지구의 탄소 배출량을 제로로 만들어줘"라는 인간의 명령을 너무나 충실히 이행하기 위해, 탄소를 가장 많이 뿜어내는 원흉인 '인간' 자체를 재활용 불가 쓰레기로 분류해 버리는 성실한 환경 AI일 확률이 높다.