없던 걸 그리고, 있던 걸 되살리는 인공지능
- 영상 제작에 도입된 인공지능 기술 몇 가지와 쟁점들
ACT! 136호(2023.08.03)에 게재된 글입니다. https://actmediact.tistory.com/1826
소위 생성형 인공지능이란 존재가 작년부터 전세계적으로 화제가 되고 있다. 그동안은 과학기술 분야나 기업 차원에서나 주로 사용되어 일반인들은 그 영향을 체감하기 어려웠는데 2022년에 OpenAI사의 Dall-E 2와 ChatGPT가 대중에게 공개되면서 누구나 인공지능을 이용할 수 있게 되었다. 특히 그동안은 인간 고유의 영역이라 여겨지던 예술 창작 분야까지 진출한 생성형 인공지능은 다양한 매체에 걸쳐 그야말로 ‘침공’을 하고 있다. 이 글에서는 영화를 비롯한 영상미디어쪽 사례를 몇 가지 소개하려고 한다.
할리우드 작가들의 파업을 촉발한 인공지능
OTT 서비스 때문에 시나리오 작가의 수요가 늘어날 거라 했다. 반은 맞고 반은 틀렸다. 기존 극장용 영화와 방송국 드라마 위주의 시장에 OTT 오리지널 콘텐츠까지 더해져서 작품 수는 폭발적으로 늘었지만 많은 작가들의 처우는 열악해졌다. 예전엔 10명 안팎의 작가들이 반년 이상의 집단 창작 과정을 거쳐 시나리오를 썼기 때문에 그 기간 동안 고용 상태를 유지할 수 있었지만, 최근의 작품들은 시즌당 에피소드 수도 절반 이하로 줄어들고 심지어는 해외 작품의 리메이크작도 늘어나서 작업기간이 대폭 줄었다고 한다. 또 짧아진 기간 때문에 출연진이나 스탭과 의견을 주고받는 과정도 사라져서 작품의 완성도도 저하될 가능성이 높다. 인공지능이 쓴 시나리오도 이런 우려에 한 몫을 더하고 있다. 영화사측에서 인공지능으로 생성한 초고를 들고와서 작가들에게 각색해주길 원한다고 하는데 이 경우엔 오리지널 시나리오를 쓰는 것보다 더 적은 임금만 받고 일할 수밖에 없다. 기계가 쓴 글을 손보는 데서 오는 자괴감은 덤일 것이다.
파업하는 작가들의 주된 요구사항 중 하나는 ‘기존 시나리오’를 인공지능을 학습시키는 데에 쓰지 말라는 것이다. 단순히 기계가 작가들의 일자리를 빼앗는 것을 넘어 그들의 저작물이 학습 데이터로 사용되면서도 작가들은 그에 상응하는 대가를 받지 못하는 것에 불만을 표출한 것이다. 누군가의 작품으로 인공지능을 학습시키면 그와 유사한 결과물을 뽑아내는 건 어려운 일이 아니라는 ’노라 애프런 문제’라는 용어가 있다. 무난한 시나리오를 원하는 제작사라면 뻔한 인공지능의 작품조차 마다할 이유가 없을 텐데, 그렇게 되면 결국 작가들은 과거의 작품에게 현재의 자신이 위협받게 된다.
(그림1 - 시트콤 Seinfeld의 대본을 숙지한 인공지능이 끊임없이 새로운 에피소드를 만드는 트위치 시트콤. www.twitch.tv/watchmeforever )
딥페이크 - 인간의 얼굴을 한 괴물(?)
<소셜 네트워크>(2010)에서는 쌍둥이 형제를 화면에 등장시키기 위해 배우의 얼굴을 3D 스캐닝을 한 뒤 CGI 모델로 만들어 몸만 빌려준 배우의 얼굴에 덧입혔다. 우리 눈이 가장 예민하게 반응하는 인간의 얼굴이기 때문에 조금만 어설퍼도 티가 날 수밖에 없고, 그래서 많은 시각효과 전문가들이 달라붙어 장기간 작업을 해야 했다. 물론 많은 예산이 들었을 것이다.
인공지능에 기반한 딥페이크 deepfake 기법이 도입되며 그런 작업은 이제 누구나 컴퓨터 한 대만 있으면 할 수 있는 수준으로 만만해(?)졌다. 유튜버 @Shamook의 영상을 보면 알 수 있듯, 기존 영화 속 배우를 다른 배우로 대체해도 거의 이질감이 느껴지지 않는다. 특히 <로그원>에 등장한 젊은 레아 공주 등장씬을 보면 영화 제작진보다 더 진짜 같은 영상을 ‘일개 유튜버’가 생성한 걸 볼 수 있다. 출연진의 사연을 잘 아는 <스타워즈> 시리즈의 팬이 아니라면 정말 제대로 속을(fake) 수밖에 없는 수준이다. 나날이 발전하는 딥페이크 기법은 지금도 활발히 활용되고 있고, 앞으로도 더 많은 분야에서 진짜처럼 사용될 것이다.
첫째, ‘한 적 없는 연기’를 대량 생산할 것이다. 유명 배우의 젊을 적 모습을 영화와 광고에 출연시키고, 고인이 된 연예인들을 예능 방송에 소환한다. 먼 나라의 광고에 이름과 얼굴을 사용할 권리만 주고 출연료를 받을 수도 있다. 과거에 출연했던 작품이 많으면 많을수록 더 실감나게 만들 수 있으니 유명배우일수록 인공지능 시대에 더 바쁘게 활약하지 않을까 예상한다. 심지어는 목소리까지 인공지능으로 다듬거나 새롭게 만들어 낼 수 있으니 세상을 떠난 가수가 신곡을 내는 것도 흔한 일이 될 것이고, 배우의 연기가 마음에 들지 않으면 포스트 프로덕션 과정에서 연출자의 의도대로 표정과 발성을 제어할 수 있다.
둘째, 많은 이들이 경계하듯 가짜 뉴스가 범람할 것이다. 가짜 뉴스의 핵심은 완성도나 정교함이 아니라 대중의 호기심을 충족시키는 ‘혹시?’라는 가정이다. 거창한 음모론 수준은 아니어도 흔히 있을 법한 의심에 진실 몇%만 섞어서 보여주면 사람들은 믿고 만다. 중국산 무료 딥페이크앱만으로도 움직이는 영상 속 얼굴을 바꿀 수 있고, 미드저니나 스테이블 디퓨전 같은 생성형 이미지 서비스를 사용하면 사실적인 사진을 만드는 건 일도 아니다. 특히 기존 언론보다 빠른 SNS의 확산 속도와 결합하면 가짜 뉴스의 전파력은 지구상에 존재했던 그 어떤 바이러스보다 빠를 것이 분명하다.
셋째, 사생활 보호를 쉽게 할 수 있을 것이다. 블러미(blur.me) 같은 사이트를 이용하면 사진 속 인물의 얼굴을 자동으로 가릴 수도 있고 특정 인물만 선택하여 가리거나 보여줄 수 있다. 유튜브 스튜디오의 편집기 기능을 이용하면 움직이는 사람의 얼굴도 클릭 한 번만으로 블러 처리를 할 수 있다. 하지만 블러나 모자이크 기능은 인물의 얼굴(신원)을 가려주지만 보는 사람의 몰입은 방해한다. 처리한 화면이 자연스럽지도 않고, 왠지 모자이크를 제거하고 싶은 생각도 들게 만드니까. 그런 면에서 가상의 얼굴을 출연자의 얼굴 위로 씌운 BBC와 SBS 방송은 악명 높은 딥페이크 기법이 유용하게 쓰일 수 있는 몇 안 되는 사례가 될 수도 있겠다. 시청자들이 이야기에 녹아들 수 있게 도와주면서도 출연자의 안전은 보호하니 앞으로 널리 보급될 건 분명하다. (이미 실시간으로 CCTV 카메라에 잡힌 대중의 얼굴을 AR 이모지 씌우듯 인공 얼굴로 대체해서 보여주는 기술도 개발된 지 오래다.)
(그림2 - 넷플릭스 오리지널 <아이리쉬맨> 메이킹 필름 中)
누구나 가능한 창작 - 낮춰진 문턱, 패러다임의 변화
원더 다이나믹스사의 ‘Wonder Studio’란 사이트가 있다. 사용자가 실사 영상을 업로드하고 등장하는 인물을 선택만 하면 업체가 제공하거나 자신이 업로드한 3D 캐릭터로 대체할 수 있는 영상 제작 서비스다. 기존에도 단순히 AR 아바타를 덧씌워주는 서비스들은 존재했지만 영상 속 인물보다 캐릭터가 커야 완벽히 덮어씌울 수 있었고, 실사 영상과 이질감도 커서 짧은 재미 위주의 영상에서나 쓸만한 수준이었다. 하지만 원더 스튜디오는 특수효과 기법 중 하나인 로토스코핑을 적용하기 위해 먼저 인공지능이 실사영상에서 인물을 지운 배경화면을 만든 뒤 그 위에 CGI 캐릭터를 올리는 방식이라 캐릭터의 모양이나 크기도 자유롭게 바꿀 수 있다. 어차피 배경 그림의 빈 공간은 다 메꿔져 있으니까. 심지어 카메라가 움직여서 흔들리는 영상이더라도 인공지능이 3D 공간의 움직임과 심도까지 계산을 했기 때문에 캐릭터와 배경 영상이 따로 놀지 않는다. 물론 최근까지 무료 체험 수준인 베타 버전이었고, 확대해서 보면 합성이 어색한 경우도 있지만 전문가나 만들 수 있던 실사 3D 애니메이션을 클릭 몇 번으로 만들 수 있다는 점은 이런 류의 제작 방식이 순식간에 보급되리란 걸 알 수 있게 해준다.
런웨이사의 RunwayML이란 웹 사이트와 앱에서는 다양한 방식의 인공지능 기반 영상 제작 기술을 쓸 수 있는데, 그중에서 Gen-1과 Gen-2라는 기능은 영상 제작에 대한 개념을 완전히 바꿔놓았다. 생성형 인공지능을 필터처럼 도입한 Gen-1은 기존 영상을 원하는 대로 바꿀 수 있는데 단순히 필터를 적용한 수준을 넘어 기준점으로 쓰는 참고용 그림의 느낌을 충실히 반영한 영상을 생성해낸다. 예제 영상 중 클레이 애니메이션 클립을 보면 단순히 느낌만 주는 게 아니라 물성과 양감을 가진 진짜 클레이 애니메이션이라고 생각할 정도다. Gen-2는 한 발 더 나아가서 원하는 이미지를 문자 명령어로 입력하면 움직이는 동영상 클립을 생성한다. 영상물을 만들기 위해 더 이상 카메라를 들고 촬영을 하거나 남이 찍어 놓은 스톡 푸티지를 뒤질 필요가 없는 것이다. 물론 아직까진 인공지능의 우연성에 기대야 하고 실사 수준에는 못미치는 화질이 대부분이지만 미드저니로 만든 정지 이미지의 수준이 버전이 올라가며 함께 진화한 사례에서 보듯 Gen-2의 완성도가 올라가는 것도 시간 문제일 것이다.
이런 흐름을 보면 예술과 창작이란 개념의 정의가 달라지는 걸 알 수 있다. 예전에는 작가가 모든 걸 구상하고 구현하고 책임졌지만, 이젠 예술가도 컨셉을 정한 뒤부터는 직접 하는 게 없을 수도 있고, 창작을 하면서도 원하는 결과물을 끌어내기 위해 기술에 대해 공부하고 인공지능에게 주문할 프롬프트를 정교하게 입력하는 방법에 더 공을 들여야 할 수도 있다. 또 긴 시간 동안 반복적인 훈련을 통해 실력을 키울 필요도 없고 인공지능과 협업하며 우연에 기대는 일도 늘어날 것이다. 이제는 수천 년 이상 이어져 온 예술과 창작이란 틀을 재정립해야 할 때다. 원하든 원하지 않든.
(그림3 - 원더스튜디오로 글쓴이가 직접 만들어 본 영상)
인공지능을 둘러싼 논쟁은 많다. 단순히 인간의 자리를 대체할 것이냐, 기계는 인간처럼 창의적일 수 있느냐 같은 원론적이고 철학적인 문제도 있지만 그보다 더 실제적인 이야기들. 예를 들어 인공지능의 학습 데이터로 사용된 원본 작품들의 저작권이나 사전 동의 문제, 생성형 인공지능으로 만든 콘텐츠의 소유권 문제 같은 법적인 문제부터 배우의 연기는 사후에 얼마나 수정할 수 있는지 그렇게 만들어진 연기는 그 배우의 연기로 봐야 하는지, 망자가 부른 적 없는 신곡은 그 가수의 노래인지 같은 예술적 문제, 출연자 사후에 스크린으로 소환해서는 제작진의 대본을 읽게 만들고는 마치 당사자가 이야기하는 것처럼 속이는 제작 방식이나 돈만 주면 퍼블리시티권을 넘겨주는 아티스트의 행태까지 진지하게 고민해야 할 윤리적 문제들도 있다. 물론 딥페이크 포르노나 가짜 뉴스 같은 해결이 시급한 문제들도 도처에 쌓여 있다.
중요한 건 관련 기술을 써본 적도 없고 자세히도 모르면서 기존의 잣대를 들이대서 함부로 판단을 내리는 것도 위험하고, 기술의 유용함만을 강조하며 위에서 언급한 이슈들을 그저 성장통인 것처럼 무시하는 것도 위험하다는 점이다. 인공지능 기술의 발전 속도를 봤을 때 결국에는 매번 임기응변식 대응만 할 수 있을 것 같긴 하지만, 적어도 과학기술이 가치중립적이라는 판단은 버리고 우리 삶에 도입할 때 한 번쯤은 고민할 필요가 있다. 인공지능도 결국 인간이 제공한 학습 데이터에 의해 편향성을 가진다는 것은 널리 알려져 있지 않나.
지금까지의 인공지능보다 훨씬 뛰어난 인공지능이 하루가 다르게 쏟아져 나올 텐데, 창작자든 아니든 인공지능의 가능성과 함께 위험성까지 골고루 성찰하며 문명의 이기를 누리면 좋겠다.
그림4 – COMPAS라는 범죄 예측 시스템의 편향성을 보여주는 사례. 전과자의 위험도를 측정하면서 저지른 범죄의 심각성보다 인종이 더 크게 반영된 결과가 나왔었다.<참고자료>
헐리우드 작가 파업 원인 중 하나는 AI. https://www.cnbc.com/2023/07/05/how-ai-took-center-stage-in-the-hollywood-writers-strike.html
OTT가 가져온 작가들의 열악한 근무 여건. https://youtu.be/ILaU78Oo7XM
<아이리쉬맨> 메이킹 영상. https://youtu.be/OF-lElIlZM0
<로그원> 레아 공주 컷 딥페이크 영상. https://youtu.be/byKy9kGnyvo
‘KB라이프:윤여정편’ 딥페이크 영상. https://youtu.be/nv_pIz4YMis / (메이킹) https://youtu.be/3cdpKBqlpuo
KBS ‘불후의 명곡’ 2023.03.04 故송해 출연 영상. https://youtu.be/geFsxA08fuc
TvN ‘회장님네 사람들’ 故박윤배 출연 영상. https://youtu.be/3dIEgB9dmY8
브루스 윌리스 출연 러시아 광고 https://youtu.be/8GXIT5qvQH0 / (메이킹) https://youtu.be/Wrw10Y-szlw
Mnet ‘다시 한 번’ 故김광석의 ‘너의 뒤에서’ 영상. https://youtu.be/aBpstYAPOWY
<폴 600미터> F욕설을 다른 낱말로 대체하고 영화 등급을 낮출 수 있던 사례 영상. https://youtu.be/iQ1OPpj8gPA
출연 계약서에 ‘하지 않은 연기를 만들지 않기’ 조항을 넣은 키아누 리브스 사례. https://www.wired.com/story/keanu-reeves-chad-stahelski-interview/
트럼프 전 대통령의 체포 현장 사진의 진위를 판별한 BBC 기사. https://www.bbc.com/news/world-us-canada-65069316
BBC 홍콩 시위 참가자 얼굴 교체 영상. https://www.bbc.co.uk/iplayer/episode/m001f7t5/hong-kongs-fight-for-freedom-series-1-episode-1 (영국 IP로 시청 가능)
SBS ‘그것이 알고싶다’ 2021.2.27 방송. https://youtu.be/WWLg-s87m64
Runway사의 Gen-1 소개 영상 https://youtu.be/fTqgWkHiN0k
Runway사의 Gen-2 소개 영상 https://youtu.be/trXPfpV5iRQ
Runway사에서 2023년 초에 개최한 영화제. 수상작을 볼 수 있다. https://aiff.runwayml.com/#winners
