AI로 영상 만들기

전세계 모든 방법.13

Part III. 프로덕션: 생성 기법의 모든 길

13장. 비디오→비디오 리스타일·리라이트(연출 바꾸기, 샷 매칭)

13.1 개념 지도 — “이미 찍힌 영상도 다시 연출할 수 있을까?”

옛날에는 한 번 찍힌 영상은
거의 운명이 정해진 필름처럼 느껴졌습니다.

“아… 저때 카메라만 조금 더 왼쪽이었으면…”
“저 조명만 조금 부드러웠으면…”

하지만 이제는,
이미 있는 영상 위에 한 번 더 촬영하는 시대가 열렸습니다.
카메라를 다시 들지 않고도,
AI에게 이렇게 말할 수 있는 거죠.

“이 장면, 같은 동작 그대로 두고
다른 영화처럼 보여줄 수 있을까?”

13장은 바로 이 능력을 다룹니다.
Video → Video,
“영상에서 다시 영상으로” 바꾸는 기술의 지도입니다.

13.1.1 세 가지 마법: 리스타일 · 리라이트 · 리디렉션

AI가 이미 찍힌 영상에 할 수 있는 일은
크게 세 가지입니다.

이 세 가지만 이해해도,
뒤에 나오는 도구 설명과 워크플로를
훨씬 쉽게 받아들일 수 있습니다.

1) 리스타일(Restyle) — “같은 동작, 다른 영화”

핵심 문장 하나로 정리하면 이렇습니다.

“몸짓은 그대로 두고,
색감과 질감, 분위기만 다른 영화처럼 바꾼다.”

예를 들어,

집 거실에서 대충 찍은 브이로그가
→ 1970년대 필름 카메라로 찍은 영화처럼 보이게

평범한 카페 씬이
→ 네온이 번지는 사이버펑크 도시 장면처럼 보이게

실사 영상이
→ 애니메이션·유화·만화톤으로 바뀌게

카메라 위치, 배우의 움직임, 컷의 타이밍은 그대로인데,
겉에 입힌 “피부”만 바뀌는 느낌입니다.

이게 리스타일입니다.

2) 리라이트(Relighting) — “빛과 시간 바꾸기”

두 번째는 빛입니다.

“같은 장면인데,
마치 다른 시간·다른 날씨처럼 보이게 만드는 것.”

예를 들어,

낮에 촬영했던 방 안 장면을
→ 석양이 비치는 황금빛 오후처럼
→ 혹은, 밤에 스탠드 하나만 켜놓은 고요한 방처럼

인물 얼굴에
→ 부드러운 측면광을 더해
→ 감정을 더 섬세하게 드러나게 만들기

리라이트는
배우의 연기와 구도는 그대로 두고,
빛의 방향·색·강도만 바꾸는 기술입니다.

다만 여기에는 주의점이 하나 있습니다.

빛을 잘못 건드리면,

그림자 방향이 안 맞고

피부가 종이처럼 보이고

“어딘가 이상한 합성 느낌”이 나기 쉽습니다.

그래서 13장에서는
“빛을 얼마나, 어디까지 바꿀 수 있는지”
안전선도 같이 다루게 됩니다.

3) 리디렉션(Redirection) — “연출 다시 짜기”

세 번째는 조금 더 욕심 많은 영역입니다.

“같은 영상인데,
마치 다른 연출자가 찍은 것처럼 보이게 할 수 있을까?”

여기에는 이런 일들이 포함됩니다.

카메라 호흡 바꾸기

원래는 그냥 삼각대에 고정된 샷인데
→ 약간 핸드헬드 느낌을 줘서 더 다큐처럼
→ 혹은, 더 안정적으로 만들어 영화처럼

프레이밍·화면비 바꾸기

가로 16:9 유튜브 영상을
→ 세로 9:16 쇼츠용으로 자연스럽게 리프레임
→ 인물의 얼굴을 중심으로 재구도

속도와 리듬 바꾸기 중요한 순간은 살짝 슬로우모션 덜 중요한 부분은 조금 빨리 전체적으로 “이 장면이 이렇게 흐르는 게 맞나?”를 다시 설계

리디렉션은
**“이미 찍힌 클립을 가지고, 편집 타임라인 위에서 두 번째 연출을 하는 것”**에 가깝습니다.

13.1.2 무엇은 잘 되고, 무엇은 아직 어렵나

초보자는 여기서
한 가지 착각에 빠지기 쉽습니다.

“AI면 다 되겠지?”

아직은 그렇지 않습니다.
지금(2025년 기준) 기술로 잘 되는 영역과
여전히 위험한 영역이 나뉩니다.

잘 되는 것들 (기대해도 좋은 부분)

색감 바꾸기

“따뜻한 영화 톤”, “차가운 스릴러 톤”처럼
룩을 통째로 바꾸는 작업

질감·스타일 바꾸기 애니메이션, 유화, 만화, 수채화 느낌 입히기

노이즈 제거·선명도 향상·업스케일 오래된/저화질 영상 복원

샷들끼리 색·톤 맞추기 같은 공간·같은 시간대처럼 보이게 통일

이건 이미 여러 현업 크리에이터, 편집자, 유튜버들이
일상적으로 활용하는 영역입니다.

아직 조심해야 할 것들 (기대치를 낮춰야 하는 부분)

배우의 연기 자체를 바꾸는 것

입 모양, 표정 타이밍, 시선을 완전히 다른 연기처럼 만들기

이건 여전히 딥페이크/합성 영역이고,
윤리·법 이슈도 매우 큽니다.

복잡한 3D 카메라·배경 교체

손, 머리카락, 투명한 물체가 많은 장면에서
배경만 매끈하게 바꾸는 것은
아직 불안정하고, 후처리 손이 많이 갑니다.

물리 법칙까지 완벽하게 맞추는 리라이트

조명 방향·강도·색을 과하게 바꾸면
그림자와 반사, 피부 톤이 현실과 어긋나
쉽게 “위화감”을 줍니다.

그래서 이 장에서는
“기술적으로 재밌다”보다
“실제로 써먹을 수 있다”에 초점을 둡니다.

13.1.3 이 장에서 다룰 것과, 다른 장으로 넘길 것

마지막으로,
13장이 담당하는 범위를 분명히 해둘게요.

이 장(13장)에서 다루는 것

이미 찍힌 영상을 다른 스타일로 보이게 하는 법 (리스타일) 다른 시간·다른 분위기처럼 보이게 하는 법 (리라이트) 카메라·속도·프레이밍을 다시 설계하는 법 (리디렉션)

특히,

샷 A와 샷 B의 룩·무드를 맞추는 “샷 매칭”

짧은 샷 하나를 기준으로
시퀀스 전체의 룩을 정리하는 실전 워크플로

이 장에서 다루지 않는 것 (다른 곳에서 다룰 내용)

얼굴 완전 교체 / 다른 사람으로 바꾸기

딥페이크, 얼굴 스왑, AI 배우 생성

→ 윤리·법·플랫폼 정책과 깊이 엮이므로
12장(이미지→비디오)와 후반부에서 별도로 다룸

본격 VFX·합성·3D 작업

배경 녹색 화면 통째 교체,
괴물을 합성하고, 폭발을 넣고,
완전히 새로운 공간을 만드는 일

→ 이건 “VFX·컴포지팅 파트”에서 따로 다룸

이렇게 13.1을 정리하고 나면,
독자는 다음 페이지를 넘기며
이 질문을 품게 됩니다.

“그렇다면,
Runway, Luma, Pika, DaVinci 같은 도구들을
어떤 순서로, 어떻게 조합하면 좋을까?”

바로 다음 절 13.2에서,
우리는 이 도구들을
**“두 번째 촬영을 위한 카메라들”**처럼 한 줄로 세워
하나씩 살펴보게 될 거예요.

13.2 툴 & 기술 — 두 번째 촬영을 돕는 친구들

이 장에서 기억하면 좋은 건 딱 두 줄입니다.

생성형 엔진: 영상 자체를 새로 “그려주는” 친구들

편집·보정 툴: 이미 있는 영상을 “다듬어주는” 친구들

이 둘을 잘 섞으면,
카메라를 다시 들지 않고도
“한 번 더 연출”할 수 있습니다.

13.2.1 리스타일 엔진 — 룩(스타일)을 바꾸는 친구들

먼저, “같은 영상, 다른 영화처럼 보이게” 해주는 애들입니다.

대표적인 역할만 아주 쉽게 정리해볼게요.

1) Runway — “영상 화장 전문가”