딥페이크와 성범죄 방지법, 마케팅 전략에미칠 영향은?
SOCIAL ISSUE
딥페이크 사건과 딥페이크 성범죄 방지법은 무엇인가
‘딥페이크’란 생성형 인공지능(AI)의 심층 학습인 ‘딥 러닝’과 가짜라는 의미의 ‘페이크’의 합성어로, AI를 이용해 사람의 이미지나 영상, 음성 등을 합성하는 기술을 의미한다.
출처: 경인일보 텔레그램 딥페이크 음란물 유포 사건(이하 2024 딥페이크 사건)은 2020년에 개설되어 2024년 8월 기준 1,200명의 참여자가 존재하는 텔레그램 채팅방에서 시작되었다. 그들은 채팅방에서 특정 여성들에 대한 딥페이크 성착취물과 함께 이름, 나이, 사는 지역 등의 개인정보를 공유하고 있었고, 참여자들 중에는 피해자의 지인도 다수 있었다. 이러한 채팅방은 ‘능욕방’, ‘겹지인방’ 등으로 불리며 조직적으로 운영되었으며, 유사한 사례가 연달아 공개되었고 대다수의 피해자가 미성년자를 포함한 학생이라는 점에서 더욱 이슈가 되었다.
이에 딥페이크 사건이 보도된 직후 한 달 동안 딥페이크 관련 35개의 법률 개정안이 발의되었으며, 성적 허위영상물에 대한 처벌 범위와 형량을 확대하는 내용이 중심이 되었다. 논의된 사항을 바탕으로 한 ‘딥페이크 성범죄 방지법’은 10월 16일에 시행되었고, 개정된 법안은 딥페이크 성착취물을 비롯한 허위영상물 등의 소지·구입·저장·시청죄를 신설해 3년 이하의 벌금형에 처한다. 또한, 처벌 규정에서 ‘반포등을 할 목적’ 규정을 삭제함으로써 유포 목적이 입증되지 않더라도 징역 7년 이하 또는 5000만원 이하의 벌금에 처하게 되었다. 같은 날에 ‘청소년성보호법’의 개정안도 함께 시행되었는데, 긴급을 요하는 경우 사법경찰관리가 신분 비공개 수사를 할 수 있도록 하며, 아동·청소년성착취물의 게시·상영·유통을 확인한 사법경찰관리에게 방송통신심의위원회에 대한 삭제 또는 접속차단 조치를 요청할 의무를 부과했다.
그러나 개정된 법안에도 한계는 존재했는데, 그 중 하나가 경찰이 신분 비공개 수사를 할 수 있는 범위는 아동·청소년 대상 성범죄에 한정되어 있다는 것이다. 또한, 인터넷 서비스 제공자에게 직접 아동, 청소년 성착취물의 삭제와 차단을 요청하는 법안인 ‘응급조치법’은 경찰의 업무 부담이 늘어나고 인터넷 서비스 사업자에게 과도한 의무가 될 수 있다는 반대 의견으로 인해 통과되지 못했다. 해당 법안 없이는 인터넷 서비스 제공자가 아닌 방송통신심의위원회에 삭제조치에 나설 것을 요청해야 하므로 경찰의 신속 대응이 어렵다는 한계가 있었다.
이러한 한계가 계속해서 지적되자, 2024년 11월 6일 법무부는 성폭력처벌법과 전기통신사업법의 개정안을 발표했다. 해당 개정안에 따르면, 딥페이크 성범죄에 대한 신분 비공개 수사 범위가 아동·청소년 피해자에서 성인 피해자로 확대되며, 텔레그램 등의 플랫폼 사업자가 딥페이크 성범죄 영상물 유통을 방치할 시 시정명령 및 과징금을 부과한다. 이 때, 영상물 유통에는 오픈채널 접속 링크를 배포해 불특정 다수에게 접속을 유도하는 것 또한 포함되어 플랫폼 사업자의 의무가 강화된다. 더 나아가, 플랫폼 사업자가 피해자로부터 콘텐츠 삭제 요청을 받았을 때 ‘선 차단 후 심의’ 조치를 통해 피해자를 지원하는 방안도 제안되었다.
딥페이크 사건, 왜 발생한 것일까?
이번 딥페이크 사건의 중심 활동지는 최대 20만 명까지 참여할 수 있는 텔레그램 채팅방이었다.텔레그램은 종단간 암호화 기술을 활용한 이용자의 개인정보 보호를 최우선 원칙으로 하며, 클라우드 대화 데이터의 암호 해독키를 지역별로 다른 법인이 관리한다. 이 때문에 데이터를 제공받기 위해서는 여러 관할 법원의 명령이 필요해 텔레그램 내 범죄 행위가 적발되기 어렵다. 또한, 최대 2GB 크기의 파일까지 전송할 수 있기에 용량에 관계없이 딥페이크 합성물을 유포하기 용이하다.
이렇듯 다양한 범죄의 유통 창구로 활용되는 상황에서도 텔레그램은 익명성과 프라이버시 보호를 원칙으로 범죄 증거를 넘겨달라는 경찰 당국의 요청에 비협조적인 태도를 보여왔다. 이에 올해 8월 26일 프랑스에서 현 텔레그램 CEO인 파벨 두로프가 불법 거래, 아동 성학대물 유통 등 12가지의 혐의로 체포되어 구금되었다.
더 나아가 기존 성폭력처벌법에 따르면 불법촬영물과 다르게 딥페이크 성착취물과 같은 불법합성물은 소지 및 시청 등에 대한 처벌 규정이 존재하지 않으며, 편집 및 제작 행위에 대해서도 ‘반포등을 할 목적이 없다”고 진술하면 처벌을 피할 수 있다는 문제가 존재했다. 또한, 텔레그램의 경우 ‘사적 대화방’에 속해 개정법의 규제 대상에 포함되지 않아, 디지털 성범죄 유통 창구를 제재할 수 없다는 문제도 있었다.
이러한 배경에서 미성년자의 범죄 참여도가 높게 나타났는데, 2024년 1월부터 7월까지 딥페이크 성범죄의 10대 피의자 수는 전체의 73.6%를 차지했다. 그 원인으로는 디지털 성범죄에 대한 잘못된 인식이 존재한다. 2022년 방송통신위원회가 디지털 성범죄의 원인에 대해 미성년자를 대상으로 질문한 조사에 따르면, 디지털 성범죄의 원인으로 가장 많이 언급되는 것은 ‘약한 처벌’이었고, 그 다음이 ‘인터넷의 익명성 때문에 붙잡힐 염려 없음’이었다.
또한, 원하지 않더라도 쉽게 범죄에 노출되는 온라인 환경도 문제가 되었다. 딥페이크 업체들은 자본이 부족한 10대를 온라인 홍보책으로 유인했다. 크레딧을 통해 딥페이크를 사용할 수 있기에, 국내 미성년자들은 이 크레딧을 받기 위해 온라인에서 업체를 홍보하거나 불법 합성물을 유포하고 있었다. 한편, 딥페이크 관련 기술의 올바른 활용에 대한 교육 부족 또한 사건의 원인으로 지목되었다. 지난해 시행된 미성년자 대상 설문조사에 따르면, 생성형 AI를 이용한 적이 있다고 응답한 비율은 52.1%인 반면 ‘생성형 AI 기술 활용 교육’을 받았다고 응답한 비율은 35.7%에 불과했다.
소제목3: 관련 해외 법안과 시사점은 어떠하며, 딥페이크 사건은 기업에 어떤 영향을 미치고 있을까?
중국은 2022년 11월 25일에 ‘인터넷 정보 서비스 딥페이크 관리규정(이하 딥페이크 관리규정)’을 발표했다. 이 법에서는 딥페이크 서비스 제공자를 포함한 모든 조직과 개인을 규율대상으로 확대하고, 플랫폼의 책임을 강화했다. 딥페이크 영상이 가짜 동영상임을 일반인이 명확히 식별할 수 있도록 워터마크 삽입을 의무화하고 이를 삭제 및 변조하는 것을 금지하는 내용도 담았다.
딥페이크의 발전에 따라 실제 영상과 조작된 영상의 구분이 어려워진 상황에서, 중국처럼 한국에도 가짜 동영상을 일반인 시청자가 명확하게 판별할 수 있도록 워터마크 삽입을 의무화하는 규정이 필요할 것이다. 과학기술정보통신부가 딥페이크 가짜뉴스 대응의 일환으로 워터마크 표시 의무화를 추진하기로 발표했지만 이 사항은 ‘가짜뉴스’ 대응에 한정되어 있기에, 디지털 성범죄로의 확대 추진이 필요하다.
유럽연합(EU)에서는 2024년 8월 1일에 인공지능법을 발효했다. 인공지능법은 인공지능시스템을 네 가지 위험 수준으로 분류하고 각 수준에 따라 다른 규제 요구사항을 적용하는데, 딥페이크는 엄격한 규제를 충족해야 하는 고위험 또는 제한된 위험 AI로 분류되었다. 또한, EU는 2024년부터 디지털서비스법(DSA)을 시행했는데, 온라인 서비스 제공업체들에게 불법 콘텐츠 삭제, 광고 시스템 보고 등의 의무를 부과하고, 이를 위반하면 최대 6%의 벌금을 부과한다.
현행법 하에서는 텔레그램에게 책임을 물어 성착취물 삭제를 요청할 법안이 존재하지 않으며, 불법 게시물의 삭제까지 몇 주가 걸리는 경우도 존재한다. 딥페이크가 고위험 AI 시스템으로 분류될 가능성이 있으며, 디지털 성범죄의 특징이 온라인 유포인만큼 온라인 플랫폼을 압박할 수 있는 법적 근거가 필요하다. 따라서, EU의 DSA를 참고해 온라인 플랫폼의 사업자에게 불법 합성물 삭제를 의무화할 필요가 있다.
한편, 딥페이크 사건을 계기로 딥페이크 대응 기술을 개발하는 정보보안 기업들이 주목을 받고 있다. 보안 솔루션 제공 기업인 라온시큐어는 기존 모바일 보안 애플리케이션에 자체 개발한 ‘딥페이크 감지 안면인식 기술’ 탑재를 목적으로 현재 개발 중이다. 또한, 사이버 위협 탐지 전문기업인 샌즈랩은 지난해 4월부터 정부 생성형 AI 역기능 억제 기술 개발 공동 사업에 참여해 소셜 미디어에서 딥페이크 영상을 필터링할 수 있도록 탐지 모델을 가볍게 만드는 데 주력하고 있다. 이로써 전문가가 아닌 일반인도 딥페이크 영상을 쉽게 판별해낼 수 있는 기술이 개발될 것이다.
출처: 구글 딥마인드 신스ID생성된 영상을 탐지하는 기술뿐 아니라 영상이 생성될 때의 조치도 주목을 받았는데, 9월 25일 구글 딥마인드는 AI가 생성한 콘텐츠에 디지털 워터마크를 삽입하는 ‘신스ID(SynthID)’를 베타 출시했다. 육안으로 보이지 않는 비가시성 워터마크를 픽셀 단위로 삽입하고 이를 식별해 조작 여부를 판단할 수 있는 딥러닝 모델을 기반으로 작동한다. 카카오브레인의 AI 이미지 생성 모델인 칼로 또한 이 기술을 도입했다. 카카오톡 채널에서 ‘칼로 AI 프로필’을 만들게 되면 눈에 보이지 않는 워터마크를 자동으로 적용해 AI로 만들어진 이미지임을 나타내는 것이다.
온라인 플랫폼 또한 딥페이크 문제 해결을 위한 조치를 내렸다. 네이버 AI 챗봇 클로바X는 이미지 편집 기능으로 불법적인 콘텐츠가 생성되지 않도록 안전 조치를 적용했고, AI 필터링 기술을 사용해 유해 딥페이크를 실시간으로 차단했다. 또한, 틱톡과 메타는 AI를 활용하여 제작한 콘텐츠에 그 사실을 알리는 라벨을 붙이도록 한다. 이는 불법 딥페이크 합성물의 생성과 유포를 플랫폼 차원에서 방지하고자 한 시도로, 플랫폼의 책임이 강화되고 있음을 인지한 것이다.
딥페이크 사건과 개정법이 기업의 마케팅 전략을 어떻게 변화시킬까?
*해당 단락은 2주 동안 해당 이슈를 조사한 작성자의 주관적인 예측을 기반으로 한 의견입니다.
#1
디지털 성범죄의 처벌 범위와 강도는 높아지는 추세이지만, 사후적 대응에 비해 선제적 대응이 부족한 상황이기에 학교 차원에서 개정된 법과 올바른 기술 활용에 대한 지식을 학습시켜주는 서비스의 수요가 커질 것이다.
#2
워터마크 삽입에 대한 법률이 제정되고 온라인 플랫폼의 책임이 강화되는 상황 속, 국내 온라인 플랫폼은 비가시성 워터마크 생성 기술을 보유한 기업과 협업하고자 할 것이다.
딥페이크 사건의 재발 방지를 위해 법 개정과 기술 개발에 많은 노력이 필요할 것이다.
고려대 영어영문학과 고서현
koohbaby@gmail.com
