갱스터 영화 속 AI
아이리시맨: 나이를 되감는 영화 속 노배우들
50년 인생을 담은 필름
최근 개봉한 '아이리시맨'은 세 남자의 50여 년에 걸친 드라마를 그려내고 있습니다. 이 영화가 특별한 점은 SF 장르나 마블의 히어로 시리즈가 아님에도 불구하고 가장 진보적인 시각효과 기술(VFX)이 활용했다는 점입니다. 영화 속 세 주인공 로버트 드 니로(Robert De Niro, 76세), 조 페시(Joe Pesci, 76세), 알 파치노(Al Pacino, 79세)의 30대부터 70대까지의 모습이 대역 없이 필름에 담겼습니다.
영화 속 로버트 드 니로의 30대, 50대, 80대사진이나 영상 속 배우의 나이를 되감는 기술을 '디에이징(de-aging)'이라고 부릅니다. 마틴 스코세지 감독과 함께 작업한 영상 시각효과 전문회사 ILM(Industrial Light & Magic)은 라이다(Lidar)와 머신러닝 기술을 결합하여 노년의 배우가 직접 연기하는 '젊은 버전' 영상 구현했습니다. 참고로 Lidar는 자율주행차가 객체를 인식하는 핵심 기술입니다.
디에이징 기술, 무엇이 달랐을까
우리는 이미 관람한 많은 영화에서 디에이징 기술을 셀 수 없이 접했습니다. 마블은 2016년 개봉한 '캡틴 아메리카:시빌워'부터 본격적으로 이 기술을 활용했습니다. 이후 '앤트맨과 와스프'(2018년), '캡틴 마블'(2019년)에서 주인공들의 과거 시절을 자연스럽게 보여주는 데 성공했습니다. 최근 개봉한 윌 스미스 주연의 '제미니 맨'(2019년 10월) 또한 디에이징 기술이 적용되었습니다.
영화 '제미니 맨'의 윌 스미스 촬영 과정위에서 언급한 영화들은 모두 젊어 보이는 캐릭터를 구현하기 위해 여러 가지 물리적 장치들을 동원했습니다. 첫째, 배우의 머리에 헬멧을 씌웁니다. 둘째, 얼굴 곳곳에 근육의 움직임을 추적할 수 있는 장치(tracking dot)를 붙입니다. 셋째, 영상을 원하는 방식으로 가공할 수 있도록 스튜디오 안의 빛을 적절하게 설정합니다.
아이리시맨은 디에이징을 위해 촬영장에서 카메라를 제외한 어떠한 물리적 장치도 이용하지 않은 최초의 영화입니다. 이 영화에는 화려한 액션 장면이 없습니다. 주인공들의 상황, 대화, 표정으로 많은 감정과 메시지를 전달합니다. 만약 마블의 영화처럼, 알 파치노와 드니로가 블루 스크린을 배경으로, 점박이 얼굴을 하고, 헬멧을 쓴 채로 서로의 감정을 탐색하며 연기를 펼쳤다면 몰입이 가능했을까요? 감독은 다음과 같은 파격적인 수준을 요구했습니다.
마커도 없고, 헬멧 카메라도 없고, 탁구 공도 없고, 테니스 공도 없고, 아무것도 없어야 합니다. 배우들은 서로를 바라보고 즉흥적으로 연기할 것입니다. 하나의 테이크는 꽤 길겁니다. 기술이 현장에 보이지 않도록 해주세요.
데이터 수집과 처리
아이리시맨은 (블루 스크린이 아닌) 다른 일반적인 영화와 어느 것 하나 다를 것 없는 촬영 현장에서 'FLUX'라는 새로운 시스템으로 배우의 얼굴에 닿는 모든 빛을 데이터로 수집했습니다. 배우를 특정한 값으로 설정된 배경 속으로 들여놓는 것이 아니라, 배우가 연기하는 그 순간의 고유한 환경을 오롯이 받아들여 재구성하는 것입니다.
세 대의 카메라가 하나의 세트로 구성된 'FLUX'FLUX는 중앙의 RGB 카메라와 양 쪽의 적외선 카메라가 한 세트로 구성된 '하드웨어'와, 이로부터 수집한 데이터를 가공하는 '소프트웨어'로 구성됩니다. 카메라가 수집한 모든 빛을 각각의 프레임 단위로 분석하여 촬영장의 모습과 배우의 표정과 연기를 복제한 3D 지오메트리(geometry)를 생성합니다. 특히 배우의 얼굴에 닿는 빛의 정교한 굴곡은 질감(texture)으로 구현됩니다. FLUX의 소프트웨어는 영상의 프레임 단위로 배우의 얼굴을 추적하면서 3D 지오메트리를 변형해 나갑니다. 이 과정에서 감독이 의도하는 24부터 80세까지의 얼굴을 창조하게 됩니다.
(좌-하단) 원본, (좌-상단) 렌더링 결과, (우-상단) 지오메트리, (우-하단) 텍스쳐 표현머신 러닝의 결합
FLUX가 창조해 낸 젊은 배우의 얼굴은 완벽히 자연스러운 것은 아닙니다. 더 정교한 '젊은 얼굴 창조'를 위해 Face Finder라는 AI가 함께 일합니다. 이를 위해 세 주인공이 30세~55세 시기에 등장한 영화 속 장면들을 모두 캡처하여 방대한 데이터 라이브러리를 구축했습니다. AI는 FLUX로 1차 렌더링이 완료된 프레임과 가장 유사한 빛으로 촬영된 장면, 똑같은 각도로 찍힌 얼굴이 있는 과거 영화 장면을 찾아서 보여줍니다. 찾아낸 데이터와 렌더링 한 프레임의 비교를 통해 품질을 검증하는 것 또한 AI의 역할입니다. 예를 들어 "얼굴의 코 주름은 자연스럽게 디자인되었지만 턱은 부자연스럽다."라고 지적할 수 있습니다.
촬영 프레임과 가장 유사한 과거 영상 검색
(위)과거 영화 속 알 파치노, (아래) 생성한 41세의 알 파치노기술의 명암
다른 어떠한 새로운 기술들도 그러하듯, 이 기술에도 빛과 그림자가 예상됩니다. 우리가 사랑하는 베테랑 배우들이 다시 스크린에 설 수 있습니다. 그것도 연기의 폭을 넓혀서 말입니다. 또한 젊은 시절을 대역 없이 소화할 수도 있습니다.
이는 유망한 젊은 배우들의 작품 기회를 빼앗을 수 있음을 뜻합니다. 공교롭게도, 아이리시맨 주인공 로버트 드 니로는 '대부 2'에서 말론 브란도의 젊은 시절 역할로 등장해 큰 명성을 얻은 바 있습니다.
영화 '대부 2' 속 로버트 드 니로비하인드 스토리
새로운 기술로 피부의 나이는 복원할 수 있었지만, 고령의 연기자들의 행동까지 컨트롤할 수는 없었다고 합니다. 걷는 속도나 행동의 민첩함은 배우가 각 장면 속 캐릭터의 나이를 고려하여 조절해야만 했습니다. 그리고 이 영화의 핵심인 적외선 카메라는 유리를 통과할 수 없습니다. 즉, 유리가 있는 영역은 검게 처리되고 유리 뒤의 배우는 보이지 않습니다. 이 때문에 세트장의 자동차와 건물의 모든 유리창을 제거하였고, 모든 촬영이 끝나고 편집할 때에 CG로 다시 유리창을 복원했습니다.
참고기사 및 영상
1. De-againg De Niro (LINK)
2. The Pros and Cons of the De-aging Effects in 'The Irishman' (LINK)
3. How The Irishman’s Groundbreaking VFX Took Anti-Aging To the Next Level (LINK)
