딥페이크 골라내기

최근, MIT 미디어랩에서 딥페이크 검증(Detect fake) 웹사이트를 구축했다. (https://detectfakes.media.mit.edu/).

미디어랩 연구진은 이번 프로젝트를 진행하면서, 딥페이크 동영상과 실제 영상과의 차이를 직관적으로 확인할 수 있는 몇 가지 단서를 발표했다.

참고로, 이전에 예측모델 플랫폼인 캐글(Kaggle)에서는 딥페이크 검증 챌린지(Deepfake detection challenge, 이하 DFDC)를 통해 알고리즘 해법을 찾아낸 바 있다. 캐글은 기계학습모델이 검증에 실패한 영상 3,000개를 수집했다. 이 영상은 인간은 물론, 기계학습모델조차도 진짜와 가짜를 구별하기 어려운 영상들이다. 대부분의 조작대상은 얼굴이나 음성이다.

MIT 미디어랩에서 실시한 딥페이크 검증은 딥페이크가 어떻게 노출되는지를 탐색하고, 아주 미세한 알고리즘 조작에 대해 인간과 기계가 학습효과를 축적하면 딥페이크를 식별하는 리터러시가 증대할 것이라는 기대를 갖고 출발한다. 미디어랩에서 밝힌 기술적인 영상 조작 단서는 다음과 같다.

#1. 영상에 등장하는 얼굴을 주목하라. 고급 딥페이크 조작은 거의 대부분 얼굴 변형으로부터 시작하기 때문이다.

#2. 인물의 볼과 이마를 주목하라. 피부가 너무 매끄러워 보이지는 않는지, 주름이 너무 많지는 않은지, 피부의 노화와 머리카락 및 눈가 주름과 일치하는지 확인하라. 딥페이크는 신체 각 부분들의 노화정도가 불일치하는 경우가 있다.

#3. 눈과 눈썹을 주목하라. 그림자가 있어야할 곳에 그림자가 보이는가? 딥페이크는 자연에서 일어나는 물리 현상을 완전하게 재현하지 못한다.

#4. 안경을 주목하라. 빛의 반사는 없는지, 눈부심이 너무 많지는 않은지, 사람이 움직일 때 안경에 비치는 빛의 각도가 달라지는지 확인하라. 딥페이크는 인공적인 물리 현상 역시도 완벽하게 재현하지 못한다.

#5. 얼굴에 난 털을 주목하라. 딥페이크는 콧수염, 구렛나룻, 수염 등을 추가하거나 제거할 수 있지만, 때로 털의 변형을 완전히 자연스럽게 처리하지 못하는 경우가 있다.

#6. 눈 깜박임을 주목하라. 눈을 일반적인 수준으로 깜박이는지, 너무 많이 깜박이지는 않은지 혹은 지나칠정도로 조금 깜박이는지 확인해야 한다.

현재의 수준에서, 정교하게 제작된 딥페이크를 인간이 식별하는 것은 불가능에 가깝다.

그러나 미디어랩의 시도와 같은 경험과 학습이 축적된다면, 기계학습모델뿐만 아니라, 사람도 무엇이 가짜이고 무엇이 진짜인지를 가려내는 직관을 가질 수 있을 것이다.

첨언하자면, 이와 같은 리터러시 능력은 비단 딥페이크 영상에 대해서만이 아니라 범람하는 페이크뉴스에 대해서도 적용해야만 한다.