프랑스도 인정한 "딥페이크 공화국"

프랑스의 유력 매체 르몽드(Le Monde)가 선정 딥페이크 공화국

프랑스의 유력 매체 르몽드(Le Monde)가 “한국은 이제 ‘딥페이크’ 공화국”이라고 보도했다. 르몽드는 2023년 3월 7일 테일러 스위프트의 얼굴이 합성된 음란 이미지를 거론하며 한국은 이런 사건이 놀랍지 않은 나라라며 온라인 합성 음란물이 한국에서는 수년 전부터 문제였으며 이미 일상적인 일이 됐다면서 ‘몰카 공화국’으로 불리던 한국은 이제 ‘딥페이크 공화국’이라고 비판했다.

딥페이크는 딥러닝(Deep Learning)과 가짜(Fake)란 말의 합성어로, 인공지능(AI) 기술을 기반으로 만들어 내는 가짜 이미지나 오디오, 영상 등을 말한다.  

르몽드는 한국에서 딥페이크의 첫 번째 희생자는 여성 연예인들이며, 5년간 5개의 동영상 플랫폼을 조사한 결과 전 세계에서 가장 많은 표적이 된 유명인 50명 중 절반 이상(56%)이 한국 스타로 확인 됐다. 그러면서 한국 사회의 성차별과 여성 혐오가 이런 음란물 확산에 영향을 미치고 있다고 전했다.  

르몽드(Le Monde) 2023년 3월 7일

실제 방송통신심의위원회(방심위)에서 2024년 5월 2일 딥페이크 기술을 이용해 유명 연예인 얼굴을 포르노 영상과 합성해 유포한 성적 허위 영상물 총 4691건에 대해 시정 요구를 의결했다.

방심위는 해외 음란 사이트 등에서 K팝 아이돌 등 연예인의 성적 허위 영상물 유포가 증가함에 따라, 지난 1~4월 중점 모니터링을 실시했다. 전년 동기 대비 3745건 증가, 약 400% 폭증한 결과다.

방심위는 유명 연예인뿐만 아니라 청소년과 일반인을 대상으로 한 성적 허위영상물도 확인되는 등 딥페이크 기술을 악용한 영상물 유포가 증가가 심각하게 우려되는 상황이라며 사적 보복이나 호기심에 따른 음란물 제작이 문제가 될 수 있다고 예견했다. 딥페이크가 상용화될 경우 간단한 명령어 만으로도 실제와 같은 영상을 뚝딱 만들어내다 보니 누구누구의 어떠한 영상물을 만들어내는 것은 일도 아니게 되기때문이다.

현재 온라인에 존재하는 딥페이크 영상의 약 96%가 음란물이라는 주장도 있어 충격을 주고 있다.

그리고 2024년 9월 현재 일반인을 대상으로 한 딥페이크 성착취물이 버젓이 돌아다니며 그 우려를 그대로 현실로 드러냈다. 이미 예견된 미래였지만 누구도 막지 못했다.

필자가 이 글을 작성했던 5월을 기준으로 성폭력범죄의 처벌 등에 관한 특례법 제14조의 2항에 따라 ‘반포 등을 할 목적으로 사람의 얼굴∙신체∙음성을 대상으로 한 촬영물∙영상물∙음성물을 영상물 등의 대상자 의사에 반해 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집∙합성∙가공한자는 5년 이하 징역 또는 5000만 원 이하 벌금에 처한다. 다만 ‘반포 등을 할 목적’이 구성요건이라 개인 소지 목적의 딥페이크 음란물 제작 행위는 처벌 대상이 아니고, 반포 목적의 입증도 쉽지 않아 문제가 된다. 최근 팝스타 테일러 스위프트뿐 아니라 일반인 대상의 딥페이크 성착취물에 대해 거의 무방비했다고 봐도 무방하다.

(디지털 성범죄 신고 ARS ☎ 1377을 누르고 3번) 

처음 딥페이크 영상이 등장했을 때 아직은 어설픈 모습이었음에도 영상제작자들은 흥분을 감출 수 없었다. 곧 가짜임에도 진짜 같은 영상이 제작될 날이 머지않았음을 짐작할 수 있었으니 말이다. 실제로 그 일은 일어났고 현재 사진 몇 장만으로 사실과 같은 현장을 만들어 낼 수 있는 정도까지 도달해 있다.  

물론 딥페이크가 부정적인 면만 있는 것은 아니다. 얼마 전 인기 있었던 드라마 ‘살인자O난감’에서도 손석구 씨의 어린 시절 아역 배우에게 딥페이크를 사용하여 더 몰입감 있는 장면을 만들어 내기도 했고, KBS의 ‘고려거란전쟁’에서는 박진감 넘치는 전투 장면을 만들기 위해 수십만 명의 군사들을 딥페이크로 만들었다. 실제 촬영에 참여한 인원은 몇 십 명에 불과했지만 이들에게 딥페이크로 각기 다른 얼굴을 적용해 압도적인 전투장면을 완성한 것이다.

가짜 구분 요령 MIT미디어 연구소 딥페이크 구별 구별법이 나오기는 했지만 이는 대부분 인공지능이 복잡한 장면에서 물리법칙을 이해하지 못하는 과정에서 생기는 오류들을 찾으면 되는 것이다. 하지만 인공지능은 우리의 생각보다 빠른 시간 안에 빛과 물리법칙을 학습하고 오류를 수정해 나가고 있다.  

MIT미디어 연구소의 Deepfake 구별법 (출처:mit media lab)

---

1. 얼굴에 주목하세요. 고급 딥페이크 조작은 거의 항상 얼굴이 변합니다.
2. 볼과 이마에 주의를 기울이세요. 피부가 너무 매끄러워 보이나요, 아니면 너무 주름이 많아 보이나요? 피부의 노화가 머리카락과 눈의 노화와 비슷한가요? 딥페이크는 어떤 차원에서는 서로 맞지 않을 수 있습니다.
3. 눈과 눈썹에 주의를 기울이세요. 여러분이 예상할 수 있는 장소에 그림자가 나타나나요? 딥페이크는 장면의 자연 물리학을 완전히 나타내지 못할 수도 있습니다.
4. 안경에 주의를 기울이세요. 눈부심이 있나요? 눈부심이 너무 많은 건가요? 사람이 움직일 때 눈부심의 각도가 달라지나요? 다시 한번, 딥페이크는 빛의 자연 물리학을 완전히 나타내지 못할 수도 있습니다.
5. 얼굴 털이나 수염이 없는 것에 주의를 기울이세요. 이 얼굴 털이 진짜처럼 보이나요? 딥페이크는 콧수염, 구레나룻, 수염을 추가하거나 제거할 수 있습니다. 하지만 딥페이크는 얼굴 털을 완전히 자연스럽게 만들지는 못할지도 모릅니다.
6. 얼굴 점에 주목하세요. 그 점 진짜로 보이나요?
7. 눈 깜빡임에 주의하세요. 눈 깜빡임이 충분한가요, 아니면 너무 많이 깜빡이나요?
8. 입 동작에 주목하세요. 어떤 딥페이크는 립싱크를 기반으로 합니다. 립 동작이 자연스러워 보이나요?

---

2024년 2월 공개된 딥페이크 영상에서는 실제 촬영영상과 구분할 수 없을 정도로 정교한 영상이 등장했다. 배경으로 등장하는 사람들과 배경이 빼곡하고 오류가 없으며 메인으로 등장하는 여성의 움직임이 정교하고 그녀의 모공까지 일정하게 보일 정도이다. 영상제작자들은 입을 다물지 못했고 또 일부는 올 것이 왔다고 여기는 이들도 있었다.  

하지만 단순히 영상제작의 문제만으로 치부할 것이 아니라는 게 모든 언론이나 영상제작자들의 의견이다. 실제로 목소리를 딥페이크 하여 보이스피싱하는 경우가 있기도 했다. 이제는 그 목소리가 우리 가족의 목소리와 똑같아질 수도 있고, 또 우리 가족의 얼굴과 똑같은 모습으로 내게 영상 통화를 걸어올 수도 있다.

2023년 충남경찰청에 발각된 보이스피싱 일당이 방송에 출연한 적 있는 검사의 얼굴을 딥페이크로 제작해 범죄 수법을 개발 중이었던 것으로 밝혀졌다. 이런 피싱범죄는 딥페이크로 인해 더욱 교묘해질 것이다. 그렇다면 국민 개인이 스스로 재산을 지킬 수 있는 힘이 다시 한번 약해지게 되는 것이다.  

월스트리트 저널(WSJ), CNBC방송 등에 따르면 투자의 달인 워런 버핏(Warren Edward Buffett)은 미국 네브래스카주 오마하에서 열린 버크셔 해서웨이(Berkshire Hathaway Inc) 연례 주주총회에서 인공지능(AI)을 핵무기 개발에 비유했다. 이는 파괴적인 결과를 가져올 수도 있다는 경고를 했다. 인공지능의 발달이 무서운 성장세인 만큼 우리는 그것에 대비할 수 있는 상황이 아니기도 하고 마땅한 대비책이 마련돼 있지도 않다. 그렇기에 최악의 상황을 대비하지 않을 수 없는 것이다.

2024년 5월 인도 총선에 딥페이크가 등장해 홍역을 치르기도 했다. 인도 경찰은 제1야당 인도국민회의(INC) 사회관계망서비스(SNS) 책임자 아룬 레디(Arun Reddy)를 체포했다. 내무장관 동영상을 조작했다는 혐의 때문이다. 만들어진 영상에서 내무장관은 인도국민당(BJP)이 총선에서 승리해 집권을 연장하면 헌법상 하층계급과 가난한 이들에게 부여된 교육과 일자리 등에 대한 혜택을 폐지하겠다고 말하는 것처럼 보이도록 만들었기 때문이다.

이런 가짜뉴스는 정말 큰 문제다.

내 눈과 귀를 가려버리는데 나는 그게 무엇인지 구분할 수도 없게 되는 것이다. 당장 내가 피해를 본 것이 아니니 별일 아니라고 넘어갈 수 있는 문제지만 이 것이 만약에 가짜 뉴스로 만들어져 내가 선동의 일원이 된다면 어떨까 생각해 본다면 무섭기 그지없다.

그리 오래되지 않은 옛날 광주에서 계엄령이 내려지고 광주 시민들과 군인들과 대립하게 되면서 일어난 피의 민주화 운동이 생각난다. 유시민 작가도 그 당시 뉴스를 보고 광주 폭동, 광주 사태라고 알고 있었다고 한다.  

아직 딥페이크에 대한 법과 처벌이 미비한 상태이다. 그동안 우리는 무방비로 딥페이크의 공격을 받아내야 할지도 모른다. 부디 그 결과가 참혹하지 않기 만을 바랄 뿐이다.  

그런 와중에도 여러 가지 대응 방안들을 시급하게 모색하고 있기는 하다.

우선 빅테크 기업들은 딥페이크 콘텐츠를 금지하거나 삭제하는 대신 딥페이크에 워터마크를 붙이는 합의문을 발표했다. 유럽연합(EU)도 2026년부터 인공지능 생성 표시를 의무화하기로 했다. 우리 정부도 2023년에 워터마크 도입 추진 계획을 발표했지만 아직 진전은 없는 상태다. 진전이 있다고 한들 미국이나 영국 등 아직 전 세계적으로 시행되고 있는 것이 아니라 실효성이 떨어지는 것도 문제다.  

업체 측은 ‘소라를 오픈 AI제품에서 사용하기에 앞서 몇 가지 중요한 안전 조치를 취할 예정’이라며 ‘레드팀원들과 협력해 잘못된 정보, 혐오 콘텐츠, 편견 등을 테스트하고 ‘소라가 언제 동영상을 생성했는지 알 수 있는 도구도 개발 중’이라고 했다. 텍스트 분류기를 통해 극단적인 폭력, 성적인 콘텐츠, 혐오 이미지, 유명인 초상이미지, 타사 지적재산권(IP) 등을 요청하는 텍스트 프롬프트를 입력하지 못하도록 막고 있으며, 이미지 분류기를 개발해 생성된 모든 동영상 프레임을 검토해 사용자에게 표시되기 전에 사용 정책을 준수하고 있는지 확인하고 있다고 전했다.

업체 측에서도 이렇게 노력하고 있는 만큼 사용자도 그것을 훌륭하게 사용할 수 있는 인성과 지성을 갖추었으면 좋겠다.

우리나라에서도 문제가 커짐에 따라 국회에서 9월 27일 딥페이크 성범죄 방지법이 국회 본회의를 통과했다. 이로써 딥페이크 성착취물을 만드는 것뿐 아니라 보거나 소지만 하고 있어도 처벌을 받을 수 있게 됐다. 딥페이크 성착취물 제작에 대한 처벌을 최고 5년형에서 최고 7년형으로 늘렸고 딥페이크 성착취물을 시청, 소지, 구입, 저장했을 경우 3년 이하 징역의 처벌이 내려진다. 성착취물에 대한 형량도 더욱 강화 되어야 겠지만 여기저기 뚫릴 사회 안전망에 대해서도 시급히 보완이 필요할 것이다.

<참고문헌>

신성원. (2023). 딥페이크 기술을 활용한 디지털 성범죄에 관한 연구. 한국치안행정논집, 20(4), 147-168.

Detect DeepFakes: How to counteract misinformation created by AI

https://www.media.mit.edu/projects/detect-fakes/overview/

Le Monde Diplomatique - Les deepfakes pornographiques, une réalité quotidienne pour les Sud-Coréennes Par Quentin Le Van Publié le 07 mars 2024 à 16h01, modifié le 07 mars 2024 à 17h23

https://www.lemonde.fr/pixels/article/2024/03/07/deepfakes-pornographiques-la-coree-du-sud-aux-avant-postes-du-fleau_6220683_4408996.html