딥페이크가 무엇이길래

딥페이크, 그리고 딥페이크를 막기 위한 AI

2023년 러시아 국경 지역에서 푸틴 대통령의 계엄령 발표가 나왔다. 러시아 국민들의 SNS를 타고 흘러나온 영상에는 푸틴 대통령이 "우크라이나군이 러시아를 침공해 계엄령을 선포한다."라는 내용이 담겨있다. 러시아 사람들은 일제히 혼란에 빠져 당황하였지만, 알고 보니 이 영상은 가짜 영상 즉 딥페이크 영상임이 탄로 났다. 푸틴 대통령은 해당 발표를 한 적이 없었기 때문이다. 

2024년 2월 국내에서도 송혜교, 조인성과 같은 유명인이 등장해 투자를 권유하는 영상이 퍼졌다. 사람들은 유명인이 하는 이야기니 의심치 않고 신뢰를 하였다가 사기를 당한 사례가 나타났다. 배우들은 "수익금의 일부가 기부되고 있어 감사하다."라면서 "투자가 순조롭게 진행되길 바란다."라는 말을 영상에서 하였다. 사람들은 그 말울 그대로 믿으면서 후원을 하였지만 알고 보니 해당 영상은 사기였던 것이다. 국가 안보, 경제 투자, 비도덕적 콘텐츠 배포까지 딥페이크로 인한 피해가 사방에서 발생하고 있는 요즘이다. 

인공지능의 발전은 의료, 교육, 생활 전반의 다양한 측면에서 긍정적 영향을 미쳤지만 동시에 딥페이크와 같은 문제도 발생시키고 있다. 위의 푸틴 사례는 대표적인 딥페이크 사례인데 딥페이크는 딥러닝과 페이크의 합성어이다. 인공지능을 활용하여 특정 인물의 눈, 코, 입, 얼굴 전반, 신체 구조 등을 원하는 형태로 조작하고 합성하는 기술을 의미한다. 내 몸에 있는 팔을 다른 사람의 팔로 변경할 수도 있고 내 몸은 그대로이지만 다른 사람의 얼굴을 합성할 수도 있다. 이렇게 딥페이크를 활용하면 어떤 것이 진짜이고 가짜인지 분간하기가 어려워 사람들이 속이기가 쉽다. 

딥페이크는 생성형 적대 신경망 GAN 모델을 중심으로 제작을 한다. 두 개의 신경망이 서로 경쟁하며 더 나은 결과를 만들어내는 AI 알고리즘이다. 그럴듯한 가짜 이미지를 생성하면 더 정교하게 식별하는 이미지가 나타나 서로 경쟁하며 발전시켜 나가는 알고리즘을 의미한다. 한 데이터 세트는 임의로 노이즈를 생성해 실제 데이터 샘플과 유사한 합성 데이터 샘플을 생성한다. 반면 다른 네트워크는 가짜 샘플을 구별해 생성자에 의해 생성된 샘플을 분류하는 것을 목표로 한다. 훈련 중에 한 생성기는 판별자를 속이는 샘플을 생성하고 판별자는 가짜 샘플을 정확하게 구별하는 것을 목표로 한다. 마치 위조지폐와 경찰이 서로 속이고 찾는 것처럼 계속 유사하지만 가짜 이미지를 만들고 탐지하는 프로세스를 계속 주고받는다. 이렇게 프로세스를 반복하다 보면 GAN 훈련은 생성기가 실제 데이터와 구분할 수 없을 정도로 정교한 합성 데이터를 생성하게 되고 매우 고품질의 합성 샘플을 생성하게 된다. 얼마나 GAN 모델이 발전을 하였으면 최근 딥페이크는 피부, 머리카락 등까지 사실까지 만들어 더욱 가짜를 분간하기가 어려운 상태로까지 진화하고 있다. 

딥페이크 기술이 발전함에 따라 다양한 영상, 음성 등의 생성으로 사회적 문제가 비일비재하게 발생하고 있다. 위의 러시아 사례와 같이 가짜 정보로 인해 국가 안보에 위협을 끼칠 수도 있고 잘못된 투자 정보, 경제 지식으로 인해 개인의 경제적 문제에까지 영향을 미칠 수 있다. 유명인의 잘못된 사진, 영상의 합성으로 인한 명예훼손이나 사생활 침해 등의 윤리적 문제까지 이어질 수 있다. 이러한 문제를 해결하기 위해 AI로 비롯된 딥페이크 문제를 AI로 방지하는 움직임이 본격적으로 이뤄지고 있다. 

구체적으로 인텔은 실시간 딥페이크 탐지기를 도입하여 진짜인지 가짜인지를 즉시 감지하고 있다. 뉴욕주립대학교가 개발한 FakeCatcher는 실시간 탐지기로 실제 비디오에서 단서를 찾아 픽셀의 이상 흐름을 확인하고 분석하는 역할을 한다. 탐지하는데 중요한 포인트는 비디오 픽셀의 혈류 신호이다. 얼굴 전체에서 수집된 혈류 신호를 통해 영상 속 인물이 진짜인지 가짜인지를 감지한다. 약 96%의 정확도로 가짜 동영상을 감지할 정도로 매우 미묘한 움직임과 혈류를 사용해 딥페이크를 감지하는 형태이다. 

마이크로소프트의 Video Authenticator Tool 역시 딥페이크 영상이나 사진을 분석하는 강력한 툴이다. 솔루션은 인간의 눈으로 탐지하기 어려운 딥페이크 얼굴이나 행동을 인공지능을 기반으로 상세히 검토해 감지한다. 고급 AI 알고리즘을 사용해 피사체의 경계를 면밀히 감지하여 딥페이크를 탐지하는 형태이다. 딥페이크를 할 경우 경계 부분의 변화나 미묘한 퇴색이 발생한다. 인간의 눈으로 감지하기 어렵지만 AI로 미묘한 퇴색이나 그레이스케일 등을 검출하면서 자체적인 '신뢰점수표'를 기반으로 딥페이크인지 판단을 하게 된다.  

메타 역시 딥페이크 감지 도구에 대한 관심이 높다. 페이스북, 인스타그램에 범람하는 가짜영상으로 골머리를 앓고 있는 탓에 일찍이 딥페이크 검출에 대한 R&D 개발에 대한 관심이 높다. 메타가 만든 '메타 AI'로 만든 이미지에 한정하여 '이메진드 위드 AI'라는 표식을 붙였지만 2024년 2월, 이제 생성형 AI를 만든 이미지, 딥페이크 이미지에 모두 표식을 할 예정이라 발표하였다. 아직 구체적인 소스 코드는 공개하지 않았지만 딥페이크 감지 도구까지 개발을 하여 가짜 미디어를 검출하는데 활용하고 있다. 라마처럼 오픈 소스로 공개하지 않는 이유는 딥페이크 개발자들이 역으로 해당 API를 이용할 수 있기 때문이다. 일찍이 딥페이크 영상으로 골머리를 앓았던 회사인 만큼 딥페이크 기술 탐지에도 앞장서서 AI를 개발하고 있는 추세이다. 

마이크로소프트, 페이스북, 아마존 등 전 세계적인 빅테크는 AI 미디어 무결성 운영위원회 파트너십이라는 이름으로 딥페이크 문제를 해결하기 위한 챌린지를 개최하기도 하였다. 딥페이크 문제를 해결하기 위해 3개월간 열린 AI 기술 챌린지에는 총 2100여 명의 사람들이 참여하고 3만 5천 개의 모델이 출품될 정도로 관심이 높았다. 얼굴 감지, 물체 인식에 능숙한 알고리즘의 정확도를 향상하기 위한 미세 튜닝을 통해 탐지 모델의 신뢰도를 향상해 딥페이크를 탐지 신뢰도를 높이는 방안에 대한 알고리즘을 개발하였다. 

AI는 잘 활용하면 번거로운 작업을 없애주고, 내 지식을 넓혀주고, 때론 마음의 위안까지 주는 긍정적 역할을 한다. 그 누구보다 지능적이고 학습이 잘된 알고리즘이지만, 반대로 부정적으로 사용하면 큰 문제를 발생할 위험이 있다. 양날의 검인 인공지능을 어떻게 활용할지는 이 시대에 남겨진 도전적인 과제이자 고민 중 하나이다. 이 양날의 검을 잘 활용하기 위해서는 다양한 각도에서 공동의 노력이 필수적이다. AI 시스템의 개발을 하기 전 윤리적 프레임워크를 만들어 공정성, 투명성, 책임의 원칙을 준수할 수 있는 가이드라인이 필수적이다. AI 기술 자체에 대한 가이드라인도 중요하지만 무엇보다 한 개인이 AI를 현명하게 사용할 수 있도록 분별력과 디지털 리터러시를 가지는 것도 필수적이다. 잠재적 피해를 완화하기 위해 기술자, 정책 입안자 등의 다양한 사람들 간 조화로운 협력과 공존 역시 매우 중요하다. 

참고 출처 : 

https://www.economicmagazine.co.kr/news/articleView.html?idxno=1725

https://news.kbs.co.kr/news/pc/view/view.do?ncd=7692762