AI로 영상 만들기

전세계 모든 방법.14장

Part III. 프로덕션: 생성 기법의 모든 길

14장. 3D와 가상 프로덕션

네프/가우시안 스플랫, 메타휴먼/오므니버스, 언리얼 파이프라인

14.1 현실을 캡처하는 새로운 눈

– NeRF와 가우시안 스플랫

어느 날, 아주 단순한 상상을 하나 해봅시다.

“이 방을 여러 각도에서 찍은 사진만 가지고,
나중에 컴퓨터 안에서
마음대로 걸어 다니며 구경할 수 있다면 어떨까?”

왼쪽 구석으로 가서도 보고,
천장 쪽으로 올려다도 보고,
소파 뒤에 숨은 그림자도 들춰보고…

원래라면
다시 촬영하러 와야 할 이 일을,
단 한 번의 촬영 + 몇 장의 사진으로 해결할 수 있다면,
영상 제작자의 삶이 얼마나 편해질까요?

바로 여기서 등장하는 것이
**NeRF(네프)**와 가우시안 스플랫입니다.

14.1.1 NeRF — 사진 몇 장으로 “보이지 않던 화면”까지 메우는 기술

이름은 어렵지만,
NeRF를 아주 쉽게 말하면 이렇습니다.

“여러 각도에서 찍은 사진들을 먹고,
그 사이에 존재할 수 있는 모든 화면을
신경망이 상상해서 채워 넣는 3D 장면 생성 기술”

조금 더 이미지로 표현하면,

우리가 방 안을 빙 둘러가며
사진을 수십 장 찍어서 컴퓨터에 넣는다.

AI가 묻습니다.

“네가 찍지 않은 각도에서 보면,
이 장면은 어떻게 보였을까?”

그리고 실제로는 존재하지 않는
새로운 시점의 화면들을 계산해서 만들어냅니다.

결과적으로 우리는:

“그때 찍어 두지 못한 각도”에서도

카메라를 움직여 보는 것 같은
가상의 카메라 무빙을 만들 수 있게 됩니다.

NeRF가 주는 감각

NeRF의 핵심은
빛과 재질, 깊이를 함께 기억한다는 점입니다.

벽의 질감, 나무 책상의 반사,

창문으로 들어오는 빛의 퍼짐,

물건 사이의 거리감…

이런 것들이
그냥 “평면 영상”이 아니라,
**“공간으로 저장된다”**는 것이죠.

그래서 나중에:

“카메라를 조금 더 낮춰볼까?”

“조금 더 오른쪽으로 움직여서 찍었다면?”

이런 후회를
가상 공간 안에서 어느 정도 되돌릴 수 있습니다.

14.1.2 가우시안 스플랫 — 공간을 색점 구름으로 채우는 방식

NeRF가 먼저 등장했다면,
**가우시안 스플랫(3D Gaussian Splatting)**은
“현실적인 속도로, 실무에서 좀 더 쓰기 좋게 다듬은 후배”쯤 됩니다.

이름만 들으면 머리가 아픈데,
느낌은 의외로 단순합니다.

“공간 전체를
아주 작은 색깔 구름(점)들로 가득 채워놓고,
카메라가 보는 방향에서 그 점들을 빠르게 그려주는 방식”

마치 이런 장면을 떠올리면 쉽습니다.

방 안에
아주 작은 색 유리구슬들이
허공에 촘촘히 떠 있다고 상상해 보세요.

우리가 어느 방향에서 방을 보든,
눈앞에 보이는 구슬들의 조합이 달라지겠죠?

그 구슬들의 색과 투명도, 크기를 잘 조합하면
“진짜 방을 보는 것 같은 화면”이 만들어집니다.

가우시안 스플랫은
바로 이 아이디어를 수학적으로 정리해
**“빠르게 그릴 수 있는 3D 장면”**으로 만든 기술입니다.

왜 굳이 스플랫까지 나왔을까?

이유는 간단합니다.

NeRF는 멋지지만,
실시간으로 다루기엔 조금 무겁고 느린 편이었어요.

반면, 3D·가상 프로덕션·VR 환경에서는
“실시간으로 카메라를 움직이며 확인”하는 게 중요하죠.

그래서 등장한 것이
3D Gaussian Splatting입니다.

현실 공간을 스캔한 뒤

비교적 가벼운 구조로 표현해

VR·실시간 렌더링·가상 프로덕션에서도
쓸 수 있을 정도의 속도를 확보하는 방향으로 발전했습니다.

14.1.3 AI 영상 제작자가 이 기술에서 가져갈 핵심 포인트

중요한 건,
이 장이 연구자용 논문 해설이 아니라
**“AI 영상 크리에이터의 실전 참고서”**라는 점입니다.

그래서 NeRF와 가우시안 스플랫을
토사님과 독자가 어떻게 받아들이면 좋을지,
아주 현실적으로 정리해볼게요.

1) “로케이션 스캔”이라는 새로운 옵션

예전에는…

괜찮은 장소를 발견하면,
눈으로 보고 메모하고, 몇 장 사진 찍고,
촬영 날 다시 찾아오는 것밖에 방법이 없었습니다.

이제는 한 가지 옵션이 더 생깁니다.

“이 공간을 통째로 스캔해 놓자.”

스마트폰이나 카메라로
공간을 여러 각도에서 촬영해 둔 뒤

나중에 NeRF/스플랫 계열 툴로
3D 장면으로 다시 불러낼 수 있습니다.

그렇게 되면:

집에 돌아가서도
가상 카메라로 이리저리 움직여 보며
“어떤 구도가 좋을지” 미리 연구할 수 있고,

스토리보드·프리비즈 단계에서
실제 장소를 바탕으로 한 콘티 영상을 만들 수도 있습니다.

2) “한 번만 가도 되는 장소”가 늘어난다

예를 들어 이런 상황을 상상해봅시다.

촬영 허가 받기 힘든 장소

해외 로케이션

일회성으로밖에 들어갈 수 없는 공간

예전에는
“그 장소에서 찍은 컷만 가지고”
평생을 버텨야 했다면,

NeRF/가우시안 스플랫을 이용하면:

한 번 들어갔을 때
최대한 다양한 각도에서 촬영해두고

나중에 그 데이터를 바탕으로
실내에서 “가상 재촬영”을 해볼 수 있는 여지가 생깁니다.

완벽하진 않지만,
“아예 불가능”이었던 것들이
**“어느 정도 가능”**으로 바뀐다는 것이 중요합니다.

3) 언리얼·블렌더와의 연결 — “가상 프로덕션의 밑그림”

이 기술들은 보통
언리얼 엔진, 블렌더, 옴니버스 같은 3D/가상 프로덕션 툴과 이어집니다.

흐름은 이렇게 생각하면 됩니다.

현실에서 공간 촬영 여러 각도에서 영상/사진 촬영

NeRF/스플랫으로 3D 장면 생성 “이제 이 방은 컴퓨터 안의 하나의 세계가 되었다.”

3D 엔진(언리얼·블렌더 등)으로 가져오기 가상 카메라를 배치하고 조명, 렌즈, 무빙, 인물 동선을 테스트

프리비즈·가상 프로덕션에 활용

실제 촬영 전에
“어떤 카메라 워크가 가장 좋은지”
“어디에 조명을 둘지”
충분히 시뮬레이션

이걸 한 문장으로 줄이면 이렇습니다.

“이제는 장소 답사를 하면서
동시에 ‘가상 세트’를 만들 수 있는 시대다.”

4) 이 책에서 NeRF·스플랫을 다루는 방식

마지막으로,
이 절의 태도를 분명히 적어두면 좋습니다.

이 책은
NeRF·가우시안 스플랫을
“수학·코드로 파헤치는 매뉴얼”이 아니다.

대신,
“AI 영상 크리에이터가 어떤 순간에 이 기술을 떠올리면 좋을지”
기준을 알려주는 나침반이다.

그래서 우리는 독자에게 이렇게 말하게 하고 싶습니다.

“내가 다음 프로젝트에서
실제 장소를 빌리기 어려운데,
그래도 현실감을 살리고 싶다면…
NeRF나 스플랫으로 공간을 캡처해볼 수도 있겠다.”

이 깨달음 하나면 충분합니다.

14.2 디지털 배우와 가상 스튜디오

– 메타휴먼·옴니버스·다중 월드

한때 영화는,
“배우가 있어야 찍을 수 있는 것”이었습니다.

하지만 지금은 조금씩 바뀌고 있죠.

“배우는 가끔 오고,
나머지 시간엔 디지털 더블이 대신 연기한다.”

“세트장은 하루 빌리고,
나머지 장면은 가상 스튜디오에서 만든다.”

이 절은,
그 변화의 한가운데에 있는 도구들,
**메타휴먼(MetaHuman)**과 옴니버스(Omniverse),
그리고 “가상 캐스팅·가상 세트”의 생각법에 대해 다룹니다.

14.2.1 디지털 인간 — 메타휴먼으로 배우를 ‘불러낸다’

먼저, 디지털 배우의 대표격인
언리얼 엔진의 **메타휴먼(MetaHuman)**을 떠올려 봅시다.

메타휴먼은 쉽게 말하면,

“고퀄리티 게임·영화 속 인물을,
웹에서 레고처럼 조립해 만들고,
언리얼 엔진 안으로 바로 데려올 수 있는
디지털 인간 공장”

입니다.