악(惡)한 인간이 AI로 할 수 있는 일들 Part.1
끝을 가늠하기 힘든 그 만능성에 대하여
송혜교, 조인성 그리고 김미영 팀장
김미영 팀장은 보이스피싱계의 전설이다. 얼마나 많은 스팸 문자를 뿌려댔는지 인터넷상에는 대출을 권하는 김미영 팀장과 정겨운 대화를 나누는 내용이 밈으로 돌며 유행하기도 했다. 김미영 팀장이라는 이 가상의 인물 뒤에는 90여 명이 넘는 범죄 조직이 있었다. 10년이 넘게 확인된 피해 액수만 80억 원이 넘고, 실제 피해핵은 수백억 원대로 예상된다. 심지어 후계 승계 작업까지 진행되어 대를 거듭하며 번창하였는데, 2021년 10월, 필리핀에서 검거된 1대 총책 박 씨가 전직 경찰로 밝혀져 한번 더 충격을 안겨주었다.
이런 명명백백한 스팸 문자에 속아 넘어갈 이유가 뭐가 있냐고? 그렇다면 만약, 얼굴도 모르는 김미영 팀장이 아니라 조인성과 송혜교가 TV에서 봤던 멋지고 스위트한 모습 그대로 김미영 팀장님을 믿을만한 사람으로 응원하고 있다면 어떨까? 나의 이성을 무너뜨리는 그들의 매력이 내 경계심을 풀어헤치는 데 영향을 주지 않을 거라고 말할 수가 없다.
그런데 실제로 이런 사건이 일어나고야 만다. 실제 조인성과 송혜교가 범죄에 가담하여 일조한 게 아니다. 딥페이크로 만든 가짜 조인성과 송혜교가 사기 범죄에 동원되었다. 영상 속에는 조인성과 송혜교가 각각 자신의 이름을 직접 말하며 행사 개최에 감사한다고 말한다. 그리고 실제로 피해 투자자들은 이 영상을 보고 투자에 신뢰감을 갖게 되었다고 한다. 자식 돈까지 끌어모은 피해자도 있다. AI 시대에서는 당신이 좋아하는 덕질의 대상이 제2, 제3의 김미영 팀장으로 거듭날 수 있다. 더 이상 상상의 영역이 아니라 실제 상황이다. 한국 AI교육협회는 올해 전 세계 AI 범죄 피해액은 1500억 달러(약 190조 500억 원)에 육박할 것으로 추산했다. 지난해 추정 피해액은 1000억 달러(약 126조 7000억 원)였다
AI 악용, 어디까지 해봤니
AI는 본질적으로 악한가에 대해서는 이전 글에서도 다루었듯이 다양한 관점이 존재할 수 있지만, 다분히 의도가 있는 AI 악용은 논쟁의 여지없이 수많은 사람들에게 피해를 야기하고 반드시 막아야 할 사안이다. 문제는 AI의 가능성보다 더 무궁무진한 인간의 창의성이다. 특히 모든 법과 규칙을 초월하고, 우회하고 나아가 파괴하고자 하는 ‘악랄한' 창의성은 더욱 한계를 모른다. 각종 사기 및 범죄에 동원되는 온갖 방법들을 볼 때마다 윤리적으로 지탄받아 마땅한 일들임에도 그 기발함 자체에 대해서는 감탄하지 않을 수 없는 경우도 많다. ‘위에서 정책이 있다면 아래에서는 대책이 있다'라는 말이 있을 정도다. 온갖 속박을 벗어나 자신의 욕망을 실현하고자 하는 위법과 탈법의 정신은 올림픽 정신만큼이나 인간의 한계를 벗어나고자 한다.
AI는 이 악랄한 창의성을 배가하는 멀티플라이어(multiplier)다. 인간이 저지를 수 있는 일탈 행위를 그 규모나 다양성 차원에서 폭증시킬 수 있다. 그렇기에 무한대에 가까운 사례를 하나 둘 다 나열하기는 불가능하다. 바닷가에서 모래사장의 모래알을 세는 것만큼이나 방대한 작업일 수 있다. 그렇기에 우선 악용 사례들을 큰 틀에서 추상화하여 범주화해 보고, 우리의 인식 속에 체계적으로 정리해 볼 필요가 있다. 특정 범주로 묶을 수 있는 악용 사례들에 공통적으로 발견되는 위협이 존재한다면 보다 효과적으로 대응책을 고민해 볼 수 있게 되리라 본다. 마침 OpenAI, 옥스퍼드 대학, 캠브리지 대학 등 미국과 영국의 유수한 연구기관에서 발행한 보고서가 있다. “인공지능 기술의 악용 가능성과 대응 방안(The Malicious User of Artificial Intelligence: Forecasting, Prevention, and Mitigation)” 제하 보고서에는 AI의 악용 가능성을 여러 각도에서 살펴보고, 이를 두 가지 측면에서 범주화한다.
위협의 지형에 따른 분류
이 연구에서는 먼저 위협의 지형(landscape)에 따른 분류로 인공지능의 악용 가능성을 첫째, 기존 위협의 확장, 둘째 새로운 위협의 도입, 셋째, 위협의 전형적 특성 변환으로 나눈다.
첫째, 기존 위협의 확장(Expand existing threats)으로 인공지능의 발전에 따라 기존에 악의를 품고 특정 대상에 대한 범죄를 수행하던 이들의 공격 속도 및 대상을 확장시키는 한 편, 공격자들 자체의 수도 증대시킬 것이라 예상된다. 이는 AI 확장성과 쉬운 접근성 덕분이다. 더 많은 잠재적 범죄자들이 더 고도의 범죄 행위에 참여할 수 있는 문턱이 낮아졌다. 예를 들어, 개인 맞춤형 메시지를 사용하여 개인으로부터 민감한 정보나 돈을 추출하는 스피어 피싱 공격, 온갖 방화벽과 보안장치를 무력화시키는 해킹 공격 등은 컴퓨터를 제법 다루는 소수의 엘리트(?) 범죄자의 전유물이었으나 AI로 범용 범죄로 거듭날 수 있다. 자동화까지 쉬워지고 있으니 필요한 건 ‘저지를 결심’ 정도일지도 모른다.
해킹으로 다량의 테슬라 차량이 도로체계를 마비시키는 영화 장면둘째, 새로운 위협의 도입( Introduce new threats)은 인공지능에 인간이 할 수 없는 일을 수행토록 만들거나 인간에게는 없는 취약점을 이용하여 새로운 유형의 범죄를 탄생시키는 현상을 말한다. 도입부에서 소개한 송혜교, 조인성 딥페이크 사례와 같이 인간의 목소리와 외모를 모방하는 게 대부분의 사람들에게는 불가능하지만, 인공지능에게는 가능하다. 또한 자율주행 차량과 같이 AI에 의존하는 시스템의 특정 취약점을 파고들어 악용하는 형태의 범죄 또는 공격 행위도 가능해졌다. 수백만 대의 자율주행 차량을 해킹하여 중요 국가기관이나 기반시설에 돌진시키는 형태의 테러 공격도 이론적으로는 가능해졌다.
셋째, 위협의 전형적 특성 변경(Alter the typical character of threats)은 AI의 뛰어난 성능 덕분에 기존의 범죄가 더 광범위한 대상으로 더 효율적으로 이뤄질 수 있게 되면서 기존에 인간들이 서로에게 가해오던 위협들을 규모와 빈도, 효과 면에서 한 차원 끌어올리는 현상을 말한다. 또한 위협행위가 보다 세밀한 표적을 대상으로 추적이 어려운 방식으로 진행되면서 억지와 제재, 처벌은 한층 더 난망해질 수 있다는 점도 함께 지적된다. 더 강력하고, 섬세하고, 막기 어렵고, 처벌하기도 어려운 AI발 ‘완벽범죄'가 창궐할 수 있다.
위협 대상 분야에 따른 분류
인공지능의 악용 가능성을 분류 짓는 두 번째 방법은 위협이 가해지는 분야에 따라 나눠보는 것이다. 크게 세 가지 분야를 들 수 있다. 위에서 이미 다룬 사례들도 이 범주에 따라 다시 담아볼 수 있다.
첫째, 디지털 보안이다. 인공지능을 사용하여 사이버 공격 등 디지털 보안의 취약성을 더 효과적으로 파고들 수 있게 된다. 기존에는 공격의 질과 규모 사이에 트레이드오프가 있었으나, 인공지능의 힘을 입으면 상당 부분의 작업을 자동화함으로써 공격의 질과 규모를 동시에 극대화할 수 있다. 들이는 품은 줄이고 효과는 키우는 것이다. 노동 집약적인 사이버 공격도 효율화된다. 딥페이크, 해킹자동화, 인공지능 시스템 자체에 대한 공격 (데이터 오염, 적대적 프롬트 주입 등)과 같은 새로운 위협 행위도 가능해졌다.
둘재, 물리적 보안이다. 드론, 자율주행차량, 로봇 및 기타 물리적 시스템을 이용한 공격을 인공지능으로 수행할 수 있다. 인공지능을 통해 전산체계나 온라인으로 연결된 물리적 시설, 도구 또는 장치들을 적대적으로 활용하여 물리적 피해를 입히는 형태의 악용을 떠올려볼 수 있다. (feat. 터미네이터).
셋째, 정치적 보안이다. 인공지능을 두고 WMD라고도 한다. 대량살상무기(Weapons of Mass Destruction)가 아니라 대량허위정보무기(Weapons of Mass Disinformation)이라는 뜻이다. 대량 수집된 데이터 분석을 통해 특정 인구나 정치사회 집단을 대상으로 타기팅 된 선전물을 생성하고 영상, 글, 이미지 등 여러 형태의 수단을 통해 사람들의 가치체계에 깊숙이 파고드는 기만행위도 인공지능으로 자동화할 수 있다. 특정 이슈나 이벤트, 정치사회적 상황에 따라 이런 사회적 조작은 강한 폭발력을 지니게 될 수 있다. 선거를 앞두고 딥페이크 경계령이 여기저기서 내려지는 이유도 이 때문이다.
AI, 범죄자들을 위한 만능 스위스칼
AI를 범죄자를 위한 만능 스위스 칼이라고 표현하기도 한다. 우리의 삶 모든 분야에 엄청난 생산성 향상을 가져다줄 것으로 기대되는 AI는 불행히 악용과 범죄의 영역에서도 엄청난 생산성 향상을 가져올 수 있다. 지금까지 언급된 각 분야별로 심층적으로 파고들어갈 흥미로운 주제가 상당히 많다. 더 촘촘한 분류를 진행할수록 더 다양한 AI 악용가능성을 발견하게 될 것이라 확신한다. 모든 분야가 흥미로운 최신 동향과 함께 더 심층적으로 다뤄볼 만하나, 일단 다음 편에서는 요즘 가장 화두인 ‘생성형 AI (Generative AI / GenAI)’를 악용하는 방법에 집중해서 더 자세히 다뤄보도록 한다.
