개정 정보통신망법도 마찬가지
1. 오늘 팩트체크 주제는 <AI 기본법 시행과 허위정보>입니다. 먼저 AI 기본법 시행에 대한 내용부터 짚어보죠.
- 네 어제부터 <인공지능 발전과 신뢰 기반 조성 등에 관한 기본법>이 시행됐습니다. 인공지능기본법, AI기본법이라고 부르는데요. 국가 AI 경쟁력을 높이고, 안전하고 신뢰할 수 있는 인공지능 활용 기반을 조성하는 내용 등이 담겨있습니다. 허위정보와 관련해서도 주목할만한 내용이 들어있는데요. 생성형 인공지능의 결과물, 사회적 부작용이 우려되는 딥페이크 등 인공지능 영상 조작 결과물에 대해서는 이용자의 나이 등을 고려하여 명확하게 인식할 수 있는 방법으로 표시하도록 규정했습니다.
실제와 구별하기 어려운 생성물을 뜻하는 딥페이크 콘텐츠는 사람이 직관적으로 인식할 수 있는 표시방법을 적용해야 하는데요. 음성은 재생초기에 ai로 생성됐다는 내용의 안내 음성을 송출하도록 정했고요. 이미지인 경우에는 눈에 띄는 워터마크를 삽입해야 하고, 영상은 전체 재생구간에 눈에 띄는 워터마크를 넣도록 정했습니다.
딥페이크가 아닌 애니메이션이나 웹툰 등 실제와 헷갈리지 않는 AI 결과물에 대해서는 가시적 방법뿐 아니라 눈에 보이지 않는 디지털 식별 무늬(워터마크)도 허용했습니다. 인공지능 사업자가 알림 창이나 사용자 인터페이스(UI) 등을 통해 생성형 인공지능 결과물을 안내하도록 규정했습니다.
2. AI로 만들어 낸 영상은 AI로 만들었다는 표시를 하도록 했다는 것이네요. 그렇다면 AI로 만들었다는 표시가 없다면 실제 영상이라고 봐도 되는 건가요?
- 초등학생 딸아이와 함께 짧은 동영상을 보다 보면 "어 이거 진짜로 찍은 거야?"라는 생각이 들 때가 왕왕 있는데요. 그럴 때면 이 초등학생 아이는 "에이 이거 AI잖아."라고 말하는 경우가 많습니다. 그만큼 'AI잖아, AI로 만든 거잖아.'라는 반응은 실제로 촬영한 콘텐츠를 기대하고 무언가를 시청했을 때 그 기대가 깨졌다는 걸 의미합니다. 한 마디로 속은 것, 낚인 것인데요. 처음부터 "이건 AI로 만든 영상입니다"라는 고지가 있었다면 안 봤을 영상들이 정말 많죠. AI로 그럴듯하게 만들어서 실제로 있었던 일인 것처럼 꾸미는 콘텐츠를 안 볼 수 있는 것이죠.
이 법 취지는 참 훌륭한데요. 얼마나 실효성이 있을지는 좀 지켜봐야 할 것 같습니다. 이 법은 일단 AI 개발 사업자와 AI 이용 사업자에게 적용이 되는데요. 챗gpt나 동영상 제작할 때 쓰는 Sora를 만든 Open AI, 하이퍼클로바를 만든 네이버라든지 이런 회사한테 표시 의무를 부과한 겁니다. 그런데 요즘에도 이런 워터마크가 적용된 AI 생성 동영상에서 워터마크를 지운 채로 유튜브 등을 통해 유통되는 영상들이 많거든요. 이럴 경우에는 규제할 방법이 없습니다. 이런 허점을 어떻게 메꿀 것인지에 대한 추가적인 논의가 필요해 보입니다.
3. 최근에는 설악산에 유리다리가 놓였다는 영상이 돌아다닌다면서요?
- <한국이 또 해냈다! 설악산 유리다리 충격 공개>(95만), <다른 나라는 절대 못 만든다. 삼성 유리길의 위엄!>(433만), <한국에서 가장 위험한 다리, 설악산 옆에 있다>(175만), <세계에서 가장 위험한 설악산의 다리>(263만) <설악산 정상의 신비한 절, 어떻게 만든 걸까>(187만) 이런 동영상들이 공개돼 있는데요. 하나같이 허위사실입니다. AI를 이용해서 가짜로 만든 영상도 있고요. 중국에 있는 시설을 우리나라 설악산이라고 거짓말을 하고 있는 콘텐츠도 있습니다.
이게 사실 검증할 필요도 없고, 그냥 재미로 보고 마는 내용이긴 합니다만. 그래도 시간 들여서 봤는데 사실이 아니라면 굉장히 불쾌감이 들죠. '우리나라가 또 뭘 해냈구나'라는 기쁜 마음으로 동영상을 봤는데 조작된 거라면 더 기분이 나쁘겠죠.
AI 기본법이 설계 의도대로 작동이 된다면 이런 조작 동영상에는 AI로 만들었다는 워터마크가 표시됩니다. 그 워터마크를 보고 실제로 찍은 영상인지, AI로 조작한 영상인지 알 수 있는 것이죠.
4. 최근 저질 ai 동영상이 만연하면서 ai 슬롭이라는 신조어가 생겨났는데요. 우리나라에서 많이 소비되고 있다고요?
- 네, 'Slop'은 원래 음식물 찌꺼기, 오물, 진흙탕 같은 질척한 것을 뜻하지만, 최근에는 생성형 AI가 대량 생산하는 저품질의 무의미하거나 오해를 불러일으키는 디지털 콘텐츠(글, 그림, 영상 등)를 지칭하는 신조어로 사용됩니다. 작년 메리엄-웹스터 사전 올해의 단어로 선정되기도 했습니다.
미국 영상 플랫폼 카프윙이 작년 11월에 발간한 보고서에 따르면 AI 슬롭 채널의 누적 조회수는 630억 회를 돌파했습니다. 전 세계 상위 유튜브 채널 1만 5000개 중 278개 채널이 AI로만 제작된 저품질 콘텐츠를 게시하고 있지만, 이들의 연간 광고 수익은 약 1690억 원에 달하는 것으로 추정됩니다.
유튜브 쇼츠의 자동 재생 기능과 알고리즘 추천 구조가 이용자의 의도와 무관하게 AI 슬롭을 확산시키며 '한국 유튜브가 AI 쓰레기로 변하고 있다'는 불만이 커지는 상황인데요. 이러한 저품질 AI 영상은 신규 계정에 추천된 쇼츠 영상 5개 중 1개가 AI 슬롭으로 분류될 만큼 확산하고 있습니다.
우리나라는 전 세계에서 AI 슬롭을 가장 많이 보는 국가라는 불명예를 안았는데요. 국가별 인기 유튜브 채널 상위 100개를 분석한 결과, 한국 기반 AI 슬롭 채널의 누적 조회 수는 84억 5000만 회로 조사 대상 국가 중 가장 많았습니다. 이는 2위인 파키스탄(53억 회)과 3위인 미국(34억 회)을 크게 웃도는 수치였습니다.
AI 슬롭 범람은 콘텐츠 품질 저하를 넘어 허위 정보를 확산하거나 고령층의 오인 소비를 유도하는 등 '디지털 오염' 문제로 번지고 있는데요. 허위 정보를 가려내는 능력이 약한 고령층과 어린아이들이 자극적인 합성 영상과 허위 사실을 사실로 오인하는 사례가 늘어날 우려가 있습니다.
5. 최근에 허위조작정보를 규제하는 방향으로 정보통신망법이 개정됐잖아요. 그럼 그 법으로 이런 허위정보는 막을 수 없는 건가요?
- 안타깝지만 개정된 정보통신망법으로는 이런 유형의 허위정보를 막을 수 있는 가능성이 없다고 봅니다. 개정 정보통신망법은 타인을 비방할 목적으로 허위정보를 유포하고 명예를 훼손했을 때 처벌하도록 정했고요. 특정 개인이나 집단에 대한 폭력이나 차별을 선동하는 정보, 증오심을 조장하거나 인간 존엄성을 해치는 정보를 규제합니다.
따라서 조회수를 높이기 위해서 아무렇게나 만들어 낸 앞서 말씀드린 규제 대상에 포함되지 않는 한 엔 막을 방법이 없는 거죠. <설악산에 유리 다리><가짜 AI 의사가 알려주는 건강정보>이런 류의 허위정보는 설악산의 명예를 훼손한 걸까요, 유리다리의 명예를 훼손한 걸까요. 아니면 가짜의사의 명예를... 명예 훼손은 아니지만 불특정 다수에게 피해를 주는 이런 콘텐츠는 규제의 대상에서 빠져있는 겁니다.
6. 이런 허위 정보 때문에 내 시간과 데이터를 허위 정보에 빼앗기는 셈인데요. 허위정보 게시자는 선량한 사람을 속여서 조회수라는 이득을 부당하게 챙기는 거잖아요. 무슨 방법이 없을까요?
- 남을 속여서 재물을 건네받거나 재산상의 이득을 취득한 자는 20년 이하의 징역. 이게 우리나라 형법에 정해져 있는 사기죄입니다. 사기죄로 허위정보를 처벌하려면 굉장히 복잡한 과정을 거쳐야 하는데요. 사실이 아닌 내용을 동영상을 만들어서 유튜브에 게시했다. 조회수를 높이려는 목적으로 사실인 것처럼 제목과 썸네일을 만들어 시청을 유도했다. 결과적으로 나는 시간과 데이터를 낭비하는 재산상 피해를 입었다. 그 반대급부로 유튜버는 총수입을 조회수로 나눈 것만큼의 재산상 이익을 봤다. 이런 논리로 수사를 하고 기소를 하고 재판을 해서 유죄판결까지 받아내야 할 텐데요. 아니면 민사로 손해배상 소송을 내든지 해야 할 것 같은데. 수사기관 입장에서는 실익이 없다고 판단할 것 같습니다. 민사 소송을 내려고 해도 개인이 하기엔 시간도 많이 걸리고 비용도 만만치 않을 테고요.
집단소송은 한 번 해볼 만한 것도 같은데요. 워낙 이런 류의 허위정보가 아무런 규제도 없이 활개를 치고 있으니 준엄한 경고를 보낸다는 차원에서 집단 소송 한번 추진해 봐도 좋을 것 같네요. 법무부나 정부법무공단이 정부 정책에 관한 허위정보를 전달하는 가짜 ai 콘텐츠 제작유포자를 상대로 시범적으로 소송을 해봐도 좋겠네요.
7. 유튜브나 틱톡 등 콘텐츠 플랫폼이 걸러주면 좋을 것 같은데요?
-안타깝게도 플랫폼은 허위 정보의 폐해에는 별로 관심이 없어 보입니다. 오히려 저질 동영상을 확산시켜 자사의 이용량을 늘리는 것에 더 몰두하는 상황입니다. 유튜브는 Veo3라는 동영상 생성형 AI를 유튜브 스튜디오에 무료로 탑재했습니다. 유튜브라는 플랫폼 안에서 숏츠를 생성하고 소비할 수 있는 생태계를 구현하고자 하는 목표입니다.
생성형 AI 업체들은 명목상으로는 허위정보 방지에 신경을 쓰는 척은 하고 있습니다. OpenAI는 Sora 2로 생성된 모든 영상 곳곳에 워터마크를 삽입하고, C2PA(디지털 콘텐츠 출처 증명 표준) 메타데이터를 포함해 AI 생성물임을 명시하는 노력을 하고 있긴 합니다. 유튜브는 제작자가 AI 생성물의 경우 해당 사실을 의무적으로 공개하도록 하고, 이를 위반할 시 콘텐츠 삭제나 파트너 프로그램 정지와 같은 제재를 가한다고 하고요. 최근에는 AI로 생성된 반복적이고 저품질의 콘텐츠를 ‘비인증 콘텐츠’로 분류하여 수익화를 정지시키는 자체 가이드라인을 발표하기도 했다. 그러나 이미 Sora 2의 워터마크를 몇 초 안에 지우는 방법들이 나와 있고요. 유튜브에는 딥페이크로 제작된 허위정보로 조회수 장사를 하는 채널이 셀 수 없이 많습니다. 제가 몇 곳 신고를 해봤는데요. 아무런 반응이 없네요. 아직까지는 미디어 이용자들이 스스로 쓰레기 정보를 걸러내는 것 밖에는 뾰족한 방법이 없어 보입니다.