넷플릭스는 어떻게 영상기술의 가능성을 키우고 있을까?

아이리시맨을 통해 새로운 가능성을 확인시킨 넷플릭스

넷플릭스는 그저 콘텐츠 유통에서만 힘을 키우고 있을까?

아니다. 오히려 넷플릭스는 영상기술의 가능성을 통해

새로운 콘텐츠 기획과 연출을 가능하게 만들고 있다.

삼성전자, 엔비디아, 머신러닝,

자율주행 기술, 인공지능, 넷플릭스.

뭔가 공통점이 없어 보이는 회사들이다.

흥미롭게도 이 회사들은

하나의 영화로 나아간다.

바로 아이리쉬 맨이다.

지난 아카데미 시상식의 주인공은

봉준호 감독의 기생충이 주인공이었다.

반면에 ‘아이리시맨 사용된

AI 영상기술은 상대적으로 주목받지 못했다.

이 영화가 기존 영화가 조금 다른 점은

SF 장르가 아님에도 최첨단 시각효과를 사용했다는 점이다.

아이리시맨은

살인 청부업자 프랭크 시런의 이야기를 통해

세 남자의 50년간 걸친 이야기를 그린다.

그런데 세 명의 주인공인 로버트 드니로,

알 파치노, 조 페시 모두 70대다.

나이가 70대인 사람들에게 어떻게

30대 연기를 맡길 수 있을까?

일단 아이리시맨 분장팀은

세 배우의 모습을 20대나 30대처럼

만들기 어렵다고 판단했다.

게다가 마틴 스콜세지 감독은

영화를 촬영할 때 연기 몰입을 방해하는

모션 캡처용 마커를 비롯한

장치들을 사용하는 일도 꺼려했다.

마틴 스콜세지 감독은 아이리쉬 앤 촬영 시 모션 캡처용 마커 사용을 꺼려했다. 출처: 넷플릭스

그렇지만 아이리시맨에서

우리는 30대 시절

알 파치노, 로버트 드니로,

조 페시를 볼 수 있다.

70살이 넘은 세 배우는 어떻게

30대 모습으로 돌아갈 수 있었을까?

이는 마틴 스콜세지 감독과

영상 시각효과 전문회사인

ILM이 라이다, 인공지능,

머신러닝 기술을 결합해

노년 배우들 연기를

젊은 버전으로 되살렸기 때문이다.

그렇다면 어! 어! 어떻게?

2개의 적외선 카메라와 RGB케라가 한 세트인 FLUX(가운데 카메라는 ARRI사의 ALEXA MINI 출처: 넷플릭스)

영상 혹은 사진 나이를

과거로 돌리는 기술을

‘디에이징’이라고 한다.

일단 머신러닝과

인공지능이 나왔다고 주눅 들지 말자.

머신러닝은 일단 데이터를 필요로 한다.

그렇다면 어떤 데이터가 필요했을까?

빛이었다.

일단 아이리시맨 영화 현장과 크게 다른 점은 없었다.

하지만 ILM사는 FLUX라는 시스템을 개발해

배우 얼굴이 비치는 모든 빛을 데이터로 수집했다.

여기서 빛이 중요하다.’

배우 얼굴에 비치는 빛을 수집한다?

‘빛이 물체에 반사되는 것을 센서로 감지하고

물체와 거리, 속도, 방향을 파악하는 기술’.

이게 바로 ‘라이다’다. 이 ’ 라이다’ 기술은

자율주행차가 객체를 인식하는 핵심기술이다.

그리고 이 작업을 위한 연산처리를 위해

엔비디아 GPU를 사용했다.

(참고로 엔비디아는

삼성전자 파운더리 고객 중에 하나다.)

마블 히어로물과 다르게 촬영 현장에는 특별한 특수효과 장치가 없었다 출처: 넷플릭스

ILM은 3D 기하학적 데이터와 질감을

촬영하기 위해 두 대의 적외선 카메라와

감독용 카메라 총 3대의 카메라로 이뤄진

새로운 장치 FLUX를 개발해

세트에서 배우들의 연기를 촬영했다.

FLUX는 중앙의 RGB 카메라,

양쪽에는 적외선 카메라,

이로부터 수집한 데이터를 가공하는

소프트웨어가 한 세트로 구성된 시스템이다.

영상은 총 3개로 저장된다. 출처: 넷플릭스.

FLUX 시스템에서는 카메라로 수집한

모든 빛을 각각 프레임 단위로 분석한다.

이를 기반으로 배우의 표정과

연기를 복제한 3D 지오메트리를 생성한다.

3D 지오메트리는 배우 얼굴에 닿은

빛의 정교한 굴곡들을 질감으로 구현한다.

FLUX의 소프트웨어는 영상을

프레임 단위로 배우 얼굴을 추적하고

이 과정에서 감독이 의도한

24세에서 80세까지 얼굴을 만든다.

이게 끝이 아니다.

빛으로 수집한 데이터를 3d 지오메트리 영상으로 구축한다. 출처: 넷플릭스

ILM은 배우 얼굴을 더욱 자연스럽고

정교하게 만들기 위해 FLUX가 만든

3D 모델링에 ‘페이스 파인더’라는

인공지능을 사용했다.

이 인공지능은 배우가 과거 연기했던 모습을

담은 수천 장의 이미지를 면밀하게 확인한다.

데이터를 모아서 모델링을 한다. 이를 인공지능이 영화가 구현하고 싶은 최적 피부를 만든다. 출처: 넷플릭스

예를 들어 아이리쉬 맨 속 40살 정도의

로버트 드니로를 묘사하고자 한다면,

먼저 로버트 드니로가 40세 전후로 출연했던

다른 영화 속 장면 카메라 각도, 프레이밍,

조명, 표현 등 찾는다. 이렇게 찾은 데이터를

로버트 드니로의 아이리쉬 맨 촬영 장면과 비교한다.

그리고 서로 간 최대한 일치하는 프레임을 찾아

방대한 데이터 라이브러리를 만든다.

인공지능은 FLUX가 만든 만든

1차 영상과 가장 유사한 빛으로 촬영된 장면,

각도로 찍힌 얼굴을 과거 영화와

비교하면서 최적 결과를 찾고 이를 아이리쉬 맨 영상에 적용한다.

(인스타그램 필터 적용처럼 말이다.)

아이리시맨에서 연출하고자 하는 시간대와 배우가 과거에 출연한 영화를 비교한다.

인공지능은 과거 작품에서 최적 피부결을 뽑아낸다. 생각만 해도 엄청난 연산속도가 예상되지 않는가?

아직은 이 기술이 완전하지 않다.

아이리쉬 맨 같은 경우 배우들이

모두 70대였기 때문에 걷는 속도,

표정과 행동은 젊은 시절과

완전히 똑같을 수는 없었다.

70대의 로버트 드니로의 피부는 보다 더 젊어졌다. 출처: 넷플릭스.

또한 FLUX시스템에 사용한

적외선 카메라는 유리를 통과할 수 없어서

촬영 시에는 세트장 내 자동차, 건물 내

모든 유리창을 제거하고 CG로 유리창을 복원했다

상당히 장황하게 설명했지만

중요한 건 기술이 아니다.

아이리쉬 맨은 ‘디에이징’ 기술이라는

최첨단 기법을 사용했지만

마블 영화와는 다르게 촬영장에서

카메라 외에는 아무것도 없었다는 점이다.

감독과 배우가 작품을 창조하는 과정에

인위적으로 개입하지 않았다.

특수효과 범위를 SF에서 서사극으로 얼마든지 구현할 수 있게 했다는 점을 주목해서 보자. 출처: 넷플릭스.

오로지 주인공들이 마주한

상황, 대화, 표정으로 많은 감정과

메시지만으로 영화를 구성했다는 점이 다르다.

즉, 특수효과 범위를 SF물이 아닌

서사극, 일상 모습으로 친숙하게

가지고 왔다는 게 중요하다.

넷플릭스: AI 기반 예측 모델 사용

넷플릭스는 AI로 구현된 추천 엔진을

이용해 사용자의 시청 내역에

기반한 개인 맞춤형 콘텐츠 또는

사용자와 유사한 시청습관을 갖고 있는

다른 사용자들이 시청한 유사도

지수를 제공하는 건 이미 유명하다.

넷플릭스는 또 개별 사용자에게

어필하기 위해 개인 맞춤형

영화 섬네일을 제공한다.

종종 이 결과물들을 뉴스레터 형태로 보내며

넷플릭스 시청을 유도한다.

뿐만 AI를 사용해 스트리밍 품질을

최적화하고 있다. 이 같은 작업 역시

엔비디아의 GPU를 활용한다.

(머신러닝 작업 시 최적 수치를 찾기 위해

hyperparameter tuning을

한 번이라도 해본 이들은 GPU가 연산속도에

엄청난 영향을 준다는 걸 알 것이다.

나 같은 경우에는 Intel Iris Plus Graphics 640 1536 MB로

HPT를 해보았는데 연산속도가 너무 느려 좌절했다.)

아이리시맨은 기술적으로 매우 어려운 작업이었지만 넷플릭스는 이를 충분히 감수했다.

넷플릭스는 스스로 기술기업과

엔터테인먼트 기업으로

나누어 있음을 고백하지만

창조 영역에 기술을 적용하는 걸

전혀 주저하지 않는다.

영상기술은 이제 단순히 영화와

드라마의 특수효과를

위해서 존재하지 않는다.

아이리쉬 맨을 통해 우리는

영상기술과 이를 뒷받침하는 기술이

특수효과를 넘어 다양한 콘텐츠

기획 방향으로 넘어오고 있다는

흐름을 봐야 한다.

이제 배우에게 주어진 새로운 과제는

단순히 연기력이 아닌 기술과

라이프스타일 변화에 대한 폭넓은 이해다.

사실 이게 지금 당장은 한국에서도 현실화할 수 있냐는

따질 문제는 아니다. 하지만 지금 시대는

기술이 어느 날 갑자기 무엇인가를 바꾸는 게 아니라,

어느 순간 자연스럽게 느끼는 변화라는 걸 알아야 한다.

아이리시맨은 넓은 연기 스펙트럼을 가진 배우, 감독 그리고 기술을 활용한 도전이 만들어낸 결과다.

아이리쉬 맨을 만드는 과정에서 봐야 할 건

머신러닝, 라이다 같은 기술에 대한 내용이 아니다.

알 파치노, 로버트 드니로, 조 페시 같은

걸출한 3명의 연기가 있었다는 점.

여기에 거장 마틴 스콜세지라는

감독까지 있었다는 점이다

디에이징 기술은 배우와 감독 간의 편집력.

그걸 뒷받침한 팀워크가 있었기에 가능했다.

아이리쉬 맨은 기술적으로 매우 어려운 작업이었지만

넷플릭스를 이를 감당했다. 그들에게 기술은

단지 비용이 아니라 새로운 창조를 위한 도전이었다.

동시에 기술은 전부가 아닌 일부였고,

감독이 만들고자 한 장대한 서사를

구현하게 도와준 존재였다는 걸 알아야 한다.

마틴 스콜세지 감독이 디에이징 기술을

이야기하며 "지금까지 이같은 서사와

캐릭터를 담은 영화는 처음이었다."라고 말한건

본인 스스로도 이러한 도전이

처음이라서 나온 말이었을 것이다.

어도비, 언리얼 엔진, 블랙매직(다빈치 리졸브), 유니티 등 엔비디아는 우리 일상 속에서 보는 기술 근간에 있다/ 출처: 엔비디아.

아이리쉬 맨, 넷플릭스, 디에이징 기술

(이를 가능하게 하는 시스템반도체 기술)은

'콘텐츠와 기술이 어떤 방식으로 협력하는가?'에 대한

질문에 대한 여러 가지 답변 중 하나다.

배우들은 ‘나이’와 무관하게 연기를 선보일 수 있는

가능성이 열렸다는 점. 배우들은 이제 나이에 상관없이

서사의 한계와 경계를 기술을 통해 넘어설 수 있다는 가능성을 보아야 한다.