악한 생성형 AI (GenAI)가 초래할 독특한 위협들
악(惡)한 인간이 AI로 할 수 있는 일들 Part.2
전편에서 예고한 대로 생성형 AI로 인한 위협을 심층적으로 다뤄보기로 한다. ChatGPT와 생성형 AI(GenAI). 어느 한 기술이나 제품이 기술전문가들을 넘어 모든 사람들의 일상 속에서 입에 오르는 경우가 그리 흔하지는 않다. 범부이자 일반 소비자 입장에서 볼 때 애플의 아이폰 이후로 처음이 아닌가 싶다. 다만 생성형 AI는 아이폰이 처음 나왔을 때와 같은 흥분과 환호뿐 아니라 산업계, 학계, 정부 등 각 분야에서 걱정과 우려를 낳고 있다. 전 세계의 정부들이 이 위험천만한 기술을 통제하기 위해 발 빠르게 나서고 있을 정도다. 얼마 전 3월 14일 유럽에서는 AI규제법이 통과되었고, 주요 7개국(G7)은 작년 10월 AI 시스템 개발 조직이 지켜야 할 국제 지침 및 행동규범에 합의하기도 했다.
AI는 생각보다 오래된 것이라며?
사실 AI자체는 그리 새로운 게 아니다. 개념과 기술 자체는 무려 1940년 후반부터 등장하기 시작했다. AI가 학문분야로 들어선 1956년부터 약 20년간은 AI의 황금기라고도 불렸다. 지금의 ChatGPT와 같이 인간이 자연어로 기계와 대화할 수 있는 AI도 이미 1965년에 등장했다. 조셉 웨이젠바움(Joseph Weizenbaum)의 ELIZA는 이미 대화 상대가 컴퓨터가 아니라 사람이라고 생각할 정도의 수준 높은 대화를 보여 세상을 놀라게 했다. 심지어 2021년 Legacy Peabody Award에서 실시한 튜링 테스트*에서 ChatGPT-3.5를 꺾기도 했다. 1990년대 후반과 2000년대 초부터 ‘빅데이터' 시대에 돌입하기 시작했고 더불어 이 방대한 양의 데이터를 활용하는 기술로 머신러닝 (ML)이 부상했다. 구글, 메타 등 빅테크뿐만 아니라 산업 전반, 서비스 전반에 크고 작은 기업들이 머신러닝을 고루 사용하고 있다. 이렇게 AI가 우리 곁에 있은지 오래인데, 왜 유독 생성형 AI가 불안과 공포를 야기하고 있는 것일까.
*튜링테스트(Turing Test): 기계가 인간과 얼마나 비슷하게 대화할 수 있는지를 기준으로 기계에 지능이 있는지를 판별하고자 하는 시험
이번에 대체 뭐가 다른 거냐
생성형 AI가 기존 AI와 다른 점을 크게 창조성, 범용성, 접근성 세 가지 차원에서 강조해보고자 한다. 먼저, 생성형 AI는 분석을 넘어 창조를 가능케 한다. 생성형 AI도 기술로 기존 AI와 완전히 다른 출발점을 지닌 상이한 AI는 아니다. 보다는 기존 AI에 해당되는 기술과 방법론, 개념 및 연구결과들을 활용한 하위분류로 이해될 수 있다. 다만, 전통적 ML 알고리즘이 주로 분류, 회귀, 클러스터링 같은 작업을 통해 패턴 인식, 예측 분석 등을 수행하고, 기존 데이터에서 패턴을 학습하여 이를 새로운 데이터에 적용하는 데 초점을 둔 반면, 생성형 AI는 데이터를 ‘생성’하는 데 초점을 둔다. 주어진 입력 데이터를 기반으로 새로운 데이터 인스턴스를 ‘창조’하는 것이다. 입력 데이터 속에 존재하는 패턴을 이해하는 것을 넘어 이를 바탕으로 존재하지 않았던 새로운 데이터를 생성할 수 있다.
인공지능 유형과 생성형 AI의 개념도범용성 면에서도 생성형 AI는 기존 AI와 다른 성격을 지닌다. 생성형 AI는 기본 모델(foundation model) 또는 범용 AI (general-purpose AI)라고도 불린다. 기존 많은 AI 시스템들은 특정 목적을 위해 구축되고 훈련되며 사용되는 반면, 생성형 AI는 광범위한 데이터로 훈련된 모델로서 다양한 작업에 적용된다. 쉽게 말해 팔방미인형 모델이다. 올림픽 경기를 보면 종목 별로 평생을 바쳐 훈련을 해온 선수들이 각자의 종목 안에서 뛰어난 기량을 뽐낸다. 기존의 AI 모델들이 수영이면 수영, 유도면 유도, 축구면 축구, 각 분야별로 최고의 기량을 보이는 수영선수, 유도선수, 축구선수 등 특화된 선수를 길러낸다면 생성형 AI는 이 모든 종목을 포함해 어떤 운동이라도 정상급으로 잘 해낼 수 있는 선수를 길러낸다. 더 나아가 공부나 미술, 음악, 요리까지 잘 해낼지도 모른다. 해당 분야에 대해 학습할 데이터만 있다면 가능하다.
기존 AI와 생성형 AI의 비교마지막으로 접근성도 가장 두드러지는 특징이다. ML이나 딥러닝 등 기존 AI는 코딩의 문외한인 일반 유저가 사용하기에는 어렵다. 생성형 AI서비스 대부분은 그렇지 않다. 대개 생성형 AI 시스템은 종종 직관적이고 사용하기 쉬운 사용자 인터페이스를 제공한다. ChatGPT나 Gemini가 그렇다. 비전문가들도 쉽게 접근하고 사용할 수 있다. 많은 작업이 자동화되었고 복잡한 기술이나 컴퓨터공학을 이해하지 않고도 결과물을 생성할 수 있다. 더불어 많은 생성형 AI 서비스가 온라인으로 제공되며 클라우드 기반으로 운영되기 때문에 별도의 고성능 장치 없이 사용자가 웹 브라우저 또는 모바일 앱을 통해 쉽게 접근할 수 있다. 비용마저 상대적으로 저렴하다. 이러한 특징들 때문에 기존 AI보다 생성형 AI는 뛰어난 접근성을 보인다.
다른 게 뭐가 문제냐
인간들의 악의가 이 생성형 AI의 창조성, 범용성, 접근성을 만날 때 기존의 AI보다 본질적으로 다른 큰 우려를 낳을 수 있다. 위협의 위력과 빈도, 성격 모든 차원에서 새로운 위협을 가져올 수 있다.
먼저, 생성형 AI의 창조성은 악의를 품은 사람들이 그 악의를 보다 효과적으로 구체화할 수 있게 도와준다. 요리로 예를 들어 설명해 보자. 기존 ML AI에게는 ‘맛있는 김치찌개를 끓이려면 어떤 육수를 넣고, 김치는 어느 정도로 썰고, 소금은 어느 정도를 넣으면 가장 맛있어질 수 있을지' 형태의 질문을 던져야 했다. 김치찌개라는 화두, 그 안에 최적화하고 싶은 대상들 (육수의 종류, 김치의 굵기, 소금의 양 등)은 여전히 사람이 정한다. ‘엄마 손맛이 그리운데 괜찮은 음식 레시피 좀 추천해 줘'라는 개방형 질문에 대해서는 기존 ML AI에게 답을 얻을 수 없다. 생성형 AI에게서는 가능하다. 김치찌개보다 내 마음에 쏙 드는 다르 요리 아이디어를 가져올지도 모른다. 범죄나 공격 같은 악의적 행위 역시 마찬가지다.
범죄나 공격에 대한 악의만 가지고 있으면 수단은 생성형 AI가 소위 말해 ‘알잘딱깔센’하게 구체화해 줄 수 있다. ‘이 사람의 재산을 내 것으로 만들고 싶어'라는 프롬트(prompt)에 보이스피싱, 금융사기, 해킹, 절도, 로맨스 스캠 등 이미 알려진 범죄뿐 아니라 우리가 미처 떠올리지도 못할 기상천외한 유형의 갈취 방법을 제공해 줄지도 모른다. 이는 AI를 통한 악의적 행위에 대한 예방을 어렵게 한다. 알파고가 인간이 이해하기 어려운 허를 찌르는 수로 이세돌을 당황하게 했듯, 그 창조성이 우리를 무방비 상황에 노출시킬 가능성이 있다.
범용성 또한 문제다. 전편에서 언급한 것처럼 AI를 두고 범죄를 위한 만능 스위스칼이라고도 칭한다. 온갖 종류의 악행을 하나의 솔루션으로 가능하게 할 수 있다는 의미이다. 생성형 AI는 일반 모델이다. 스탠퍼드 대학교 인간중심 AI 연구소는 AI 일반 모델이 다양한 도메인에서 다른 여러 AI 시스템에 기반 또는 통합되어 구축될 수 있다고 평가했다. 이는 악용 시에도 여러 유형의 범죄 및 악행에 AI를 사용하기 쉽게 만들 수 있다는 시사점을 지닌다. 절도면 절도, 사기면 사기, 테러면 테러에 뛰어난 성능을 보일 수 있다. 쉽게 말해 더 다양한 악행을 더 잘 수행할 수 있다.
트럼프 전 대통령에 대한 딥페이크 이미지나아가 생성물 차원에서 보자면 범용 모델은 다양한 형태의 콘텐츠를 이해하고 생성할 수 있는 능력을 지닌다. 인간 수준의 자연어 이해 및 생성 능력을 바탕으로 다양한 맥락의 콘텐츠를 생성하고 사람들의 신뢰를 얻을 수 있는 고품질의 가짜 뉴스, 가짜 문서, 가짜 사진 등 허위 콘텐츠를 여러 형태로 생성할 수 있다. 허위조작정보 전파 또는 미디어 조작을 통한 여론 선동 등 사회적 불안이나 혼란을 야기하기에도 좋다. 10줄의 글보다 강렬한 한 장의 이미지, 100장의 이미지보다 강렬한 비디오 한 편도 모두 생성 가능하다.
마지막으로 접근성면에서 악의를 현실에서 구체화할 수 있는 능력이 수많은 이들에게 확산되는 효과가 있다. 영화로 비유하자면 마블 시리즈에서 지구를 침공하는 이름 모를 말단 외계 병사 하나하나가 아이언맨 수트를 입게 되는 것과 같다. 위협의 주체들이 강력하고 똑똑해진다. 기존 AI의 기술의 특성과 활용방식에는 이런 걱정이 이렇게까지 크지 않았다. 기술의 이해와 활용에 대한 진입장벽이 높았기 때문이다. 생성형 AI의 쉬운 접근성으로 인해 악의적 사용자들이 더 쉽게 이 기술을 악용할 수 있다.
어떤 구체적 악용 사례들을 떠올릴 수 있을까
미국 USC대학(University of Southern California)의 Emilio Ferrara 교수는 "GenAI Against Humanity: 생성 인공지능과 대규모 언어 모델의 악의적 응용" 제하 연구에서 AI악용의 지형을 표 하나로 정리했다. 위해(Harm)와 의도(Intent)의 유형에 따라 분류했다. 이 범주에 포함되지 않는 사례들이나 딱 맞아떨어지지 않는 사례들도 분명 있겠지만 개념적으로 깔끔하게 분류된 편이다. 전편에서 언급한 조인성-송혜교 딥페이크 사기 사건의 경우 두 번째 위해 유형인 “디지털 사칭(Digital Impersonations)”과 “금융/경제적 손해 (Financial & Economic Damage)”의 조합으로 분석할 수 있다. 생성형 AI 악용 사례는 꾸준히 증가할 게 분명해 보인다. 저녁 뉴스에서 또 어떤 기상천외한 악용 사례가 등장할지 지켜볼 일이다. 이에 대비하기 위해 우리에게 닥칠 수 있는 다양한 악용 시나리오들을 위의 분류에 따라 미리 사고훈련을 해보는 것도 바람직하다. 내 주변에 나에게 닥칠 수 있는 위협에는 어떤 것이 있을지 한번쯤 분류별로 생각해 보는 것도 좋겠다.
악의를 가진 AI의 악용만 문제일까
지금까지는 생성형 AI가 명백한 악의를 가진 사람에게 ‘악용'될 경우의 위협에 대해 다뤄보았다. 생성형 AI는 창조성, 범용성, 접근성 면에서 기존 AI와 현저한 차이점을 보이며, 인간 사회에 대해 가할 수 있는 위협 차원에서도 질적으로 다른 복합적인 위협을 노정한다. 이 복합적 위협 때문에 생성형 AI에 대한 대응은 단순히 기술적 해결책을 넘어서 사회적으로 통합적인 접근이 필요하다고 지적되고 있다. 기술 개발자, 정책 입안자, 윤리학자, 법학 전문가, 그리고 일반 대중을 포함한 모든 이해관계자들 사이의 지속적인 대화와 협력을 요구하고 있다.
그런데 생성형 AI에는 이러한 악의를 전제하지 않고도 발생되는 심각한 문제들이 있다. 그 독특한 기술적 성격과 작동 방식 때문이다. 생성형 AI의 어떠한 측면이 악의를 전제하지 않고도 우리와 우리 사회에 악영향을 미칠 수 있는지 다음 편에서 다뤄보도록 하겠다.
고마운 독자분들께:
모자란 글을 끝까지 읽어주셔서 감사드립니다. 초보 브런치 유저로서 독자님들께 여쭙고 싶은 게 있습니다.
이 글이 유용하다고 생각하시나요?
혹시 이해하기 어려운 부분이 있었다면 어느 부분에 설명이 더 필요했을까요?
혹시 더 다루어줬으면 하는 주제나 이슈가 있을까요?
귀중한 피드백 반영해서 다음 글들도 꾸준히 준비해 보겠습니다! 감사합니다.
