AI로 영상 만들기

전세계 모든 방법. 17장

Part IV. 포스트: 결대로 다듬는 기술

17장. 업스케일·노이즈·프레임보간·레스토레이션(Topaz, RIFE, DeOldify)

— 영상이 태어나는 것이 아니라 ‘다시 살아나는’ 순간

17.1 해상도와 질감 복원 — 공간 정보를 되찾는 기술

흐릿함을 없애는 일이 아니라, 사라진 디테일을 다시 상상해 주는 일

우리는 흔히 “화질을 높인다”고 말합니다.
하지만 AI 업스케일은 단순히 픽셀을 크게 만드는 작업이 아닙니다.

낡은 사진을 돋보기로 보면 더 선명해질까요?
아니요. 더 크게 보일 뿐, 흐릿함도 함께 커집니다.

AI 업스케일은 전혀 다른 일을 합니다.

확대가 아니라 복원
복원이 아니라 추론

즉, 과거의 데이터에서 “이 장면은 원래 이런 질감이었을 것이다”라고
모델이 상상해 채워 넣는 과정입니다.

그래서 어떤 영상은 기적처럼 살아나고,
어떤 영상은 플라스틱처럼 변합니다.

차이는 기능이 아니라 사용 순서와 판단에서 생깁니다.

17.1.1 슈퍼해상도의 원리 — 픽셀을 키우는 것이 아니라, 의미를 찾는다

예전 업스케일 방식은 단순했습니다.

주변 픽셀 평균내기

경계선 보정

노이즈 제거 후 확대

그래서 결과는 항상 부드럽지만 흐릿했습니다.

지금의 AI 업스케일은 이렇게 작동합니다.

이 물체가 무엇인지 먼저 판단

그 물체의 “가능한 질감”을 추정

새 픽셀을 생성

예를 들어

얼굴 → 피부결 생성

글자 → 획 복원

나무 → 섬유질 패턴 생성

벽돌 → 반복 구조 생성

즉 확대가 아니라 재촬영 시뮬레이션입니다.

그래서 같은 720p 영상도
어떤 장면은 4K처럼 보이고
어떤 장면은 만화처럼 됩니다.

AI가 이해할 수 있는 정보가 있느냐 없느냐의 차이입니다.

17.1.2 최신 업스케일 엔진 이해 — 어떤 도구가 무엇을 잘하는가

초보자가 가장 많이 하는 실수는
“어떤 프로그램이 최고냐”를 찾는 것입니다.

사실 질문은 이것이어야 합니다.

“이 장면은 무엇인가?”

인물 중심 영상

피부와 눈 디테일이 중요합니다.
강한 복원 모델은 과장된 질감을 만들 수 있습니다.
부드럽고 보존형 업스케일이 적합합니다.

건물·풍경 영상

반복 패턴과 선이 중요합니다.
선명도 중심 모델이 좋습니다.

애니메이션·일러스트

노이즈 제거가 과하면 그림이 무너집니다.
에지 보존형 모델이 필요합니다.

즉 하나의 최고 도구는 없습니다.
대상에 맞는 도구만 있을 뿐입니다.

17.1.3 질감 복원의 전략 — 선명함은 때로 가짜가 된다

AI 업스케일에서 가장 흔한 실패는
“너무 깨끗한 영상”입니다.

사람 눈은 완벽한 영상을 오히려 가짜로 인식합니다.

현실에는 반드시 존재하는 요소들이 있습니다.

미세 노이즈

필름 그레인

미묘한 흐림

렌즈 미세 왜곡

AI는 이것을 제거하려 하고
우리는 다시 추가해야 합니다.

그래서 좋은 업스케일의 기준은

얼마나 선명해졌는가가 아니라
얼마나 자연스러운가

입니다.

특히 인물 영상에서는

피부 모공을 만들기보다

피부 질감의 “불균일성”을 남겨야 합니다.

완벽한 얼굴은 CG가 되고,
불완전한 얼굴은 현실이 됩니다.

17.1.4 실전 워크플로 — 가장 안전한 복원 순서

많은 초보자가 바로 업스케일을 합니다.
그러면 실패 확률이 높아집니다.

영상 복원에는 반드시 순서가 있습니다.

권장 순서

흔들림 안정화
→ 움직임이 안정되어야 AI가 물체를 인식합니다

노이즈 제거
→ 잘못된 픽셀을 먼저 정리

업스케일
→ 이제야 디테일을 생성

샤프닝 최소 적용
→ 필요한 만큼만

그레인 복원
→ 현실감 회복

이 순서를 바꾸면 결과가 크게 달라집니다.

간단 실습 예시

낡은 480p 영상을 복원한다고 가정해봅시다.

잘못된 방법
→ 바로 4K 업스케일 → 인물 붕괴

올바른 방법
→ 안정화 → 약한 디노이즈 → 2배 업스케일 → 추가 업스케일 → 필름 그레인

결과 차이는 “화질”이 아니라
현실감에서 나타납니다.

정리 — 해상도는 숫자가 아니라 정보다

사람들은 해상도를 숫자로 생각합니다.

720p
1080p
4K

하지만 실제로 중요한 것은 숫자가 아니라
얼마나 많은 장면의 정보를 복원했는가입니다.

좋은 업스케일은 더 선명한 영상이 아니라

더 기억나는 영상
더 실제처럼 느껴지는 영상

을 만듭니다.

그리고 그것은
프로그램이 아니라 사용자의 판단이 결정합니다.

17.2 시간축 복원 — 프레임 보간과 움직임의 재구성

영상은 선명도보다 “흐름”에서 현실이 된다

사람들이 흔히 화질을 말할 때
해상도만 떠올립니다.

하지만 우리의 눈은 사실 픽셀보다
움직임의 자연스러움에 더 민감합니다.

해상도가 낮아도 자연스러운 영상은 진짜처럼 보이고,
4K라도 끊기면 가짜처럼 느껴집니다.

그 이유는 간단합니다.

현실 세계에는 “프레임”이 존재하지 않기 때문입니다.

카메라는 시간을 잘라 기록하고,
AI는 잘린 시간을 다시 이어 붙입니다.

이 과정이 바로
프레임 보간(Frame Interpolation) 입니다.

17.2.1 프레임 보간의 원리 — 두 장면 사이에서 시간을 상상한다

영상은 연속된 사진입니다.

예를 들어 24fps 영상은
1초에 24장의 사진입니다.

AI 보간은 이 사진 사이에
존재하지 않았던 사진을 만들어 넣습니다.

원리는 세 단계입니다.

물체의 이동 방향 계산

중간 위치 예측

새로운 프레임 생성

즉 AI는 “다음 장면”을 만드는 것이 아니라
사라진 순간을 복원합니다.

그래서 보간이 잘 되면
사람은 촬영 장비가 좋아졌다고 느끼고
보간이 잘못되면 멀미를 느낍니다.

17.2.2 프레임레이트의 미학 — 왜 영화는 24fps인가

많은 초보자가 묻습니다.

프레임은 높을수록 좋은가?

정답은 아닙니다.

프레임레이트는 화질이 아니라
감정의 종류를 결정합니다.

24fps → 영화적, 꿈같은 느낌

30fps → 현실적 영상 느낌

60fps → 또렷하고 방송 같은 느낌

120fps → 초현실적, 게임 같은 느낌

즉 프레임은 “선명도”가 아니라
시간의 질감입니다.

그래서 오래된 영화를 60fps로 바꾸면
선명해지지만 영화 느낌은 사라집니다.

우리는 보간을 할 때 항상 묻습니다.

이 장면은 현실인가
기억인가
혹은 꿈인가

보간은 기술이 아니라 연출입니다.

17.2.3 보간이 실패하는 이유 — 움직임은 항상 단순하지 않다

보간이 가장 잘 되는 장면은 단순합니다.

사람이 걷는다

자동차가 지나간다

카메라가 부드럽게 이동한다

하지만 다음 상황에서는 문제가 생깁니다.

빠른 회전

겹치는 물체

머리카락과 물

반투명 유리

폭발·물보라

AI는 물체의 앞뒤 관계를 헷갈립니다.

그래서 나타나는 현상이 바로

물체가 녹는 듯한 왜곡

팔이 두 개로 보임

배경이 흔들림

화면 떨림

이것을 흔히 “AI 멀미”라고 부릅니다.

17.2.4 실전 워크플로 — 가장 자연스러운 움직임 만드는 법

좋은 보간은 한 번에 끝나지 않습니다.

다음 순서를 따르면 실패 확률이 크게 줄어듭니다.

권장 순서

흔들림 안정화
→ 움직임 방향을 먼저 고정

필요 구간만 보간
→ 전체 영상이 아니라 필요한 컷만

프레임 선택
→ 영화 느낌이면 24→48
→ 현실 영상이면 30→60

셔터 블러 추가
→ 너무 또렷하면 가짜가 됨

간단 실습

스마트폰으로 찍은 30fps 영상을
영화처럼 만들고 싶다면

잘못된 방법
→ 60fps 변환 → 비디오 느낌

올바른 방법
→ 48fps 보간 → 약한 모션 블러 → 색보정

결과는
선명도가 아니라 분위기가 달라집니다.

정리 — 보간은 선명하게 만드는 기술이 아니다

보간의 목적은 부드러움이 아닙니다.

장면의 시간 감각을 조절하는 것

우리는 보간을 통해

과거를 현재처럼 보이게 하고

현실을 기억처럼 만들고

기록을 영화로 바꿉니다

해상도는 공간을 복원하고
보간은 시간을 복원합니다.

그리고 영상의 현실감은
대부분 시간에서 탄생합니다.

17.3 복원과 재생 — 손상·색·시대의 복구

영상은 고쳐지는 것이 아니라, 기억이 다시 이어진다

어떤 영상은 흐릿합니다.
어떤 영상은 끊기고, 얼룩지고, 색이 없습니다.

우리는 보통 이렇게 말합니다.

“고쳐보자.”

하지만 복원 작업을 오래 해본 사람은
조금 다른 표현을 씁니다.

“살려보자.”

레스토레이션은 기술이 아니라 태도입니다.
목표는 완벽한 영상이 아니라 살아 있는 영상입니다.

AI 복원은 새 장면을 만드는 작업이 아닙니다.
지워진 흔적을 이어 붙여,
시간의 연속성을 되찾는 과정입니다.

17.3.1 노이즈·손상 복원 — 깨끗함보다 존재감을 남긴다

낡은 영상에는 흔적이 많습니다.

필름 얼룩

압축 블록 노이즈

깜빡임

먼지

긁힘

초보자는 이것을 전부 없애려 합니다.
하지만 모든 흔적을 제거하면
영상은 오히려 가짜처럼 보입니다.

현실에는 언제나 약간의 불완전함이 있기 때문입니다.

그래서 복원의 기준은 단순합니다.

보이지 않게 만드는 것이 아니라
거슬리지 않게 만드는 것

특히 인물 영상에서는
노이즈 제거가 과하면 피부가 플라스틱처럼 변합니다.

복원은 제거가 아니라 균형입니다.

실전 원칙

작은 노이즈는 남긴다

큰 노이즈만 제거한다

얼굴 디테일은 가장 늦게 건드린다

좋은 복원은 “깨끗함”보다
존재감 유지에 가깝습니다.

17.3.2 컬러라이즈와 HDR — 색은 정보가 아니라 해석이다

흑백 영상에 색을 입히면
사람들은 감탄합니다.

하지만 여기에는 중요한 사실이 있습니다.

우리는 실제 색을 복원한 것이 아니라
가능한 색을 추정한 것입니다.

AI 컬러라이즈는 물체의 의미를 보고 색을 고릅니다.

하늘 → 파랑

나무 → 녹색

피부 → 살색

하지만 역사 속 장면은 항상 평균적이지 않습니다.

그래서 컬러라이즈에는 두 가지 방향이 존재합니다.

기록형 복원

가능한 현실에 가깝게
절제된 색 사용

감정형 복원

보는 사람이 느끼도록
연출된 색 사용

어떤 것이 맞는지는 기술이 아니라
영상의 목적이 결정합니다.

HDR 복원의 의미

HDR은 밝기를 늘리는 기능이 아닙니다.

그림자가 검게 죽지 않고
빛이 하얗게 날아가지 않게 만드는 기술입니다.

즉 정보의 확장이 아니라
눈이 느끼는 입체감의 회복입니다.

17.3.3 레스토레이션 워크플로 — 순서를 바꾸면 결과가 무너진다

복원 작업은 순서가 전부입니다.

많은 실패가 “좋은 기능을 잘못된 순서로” 사용해서 발생합니다.

권장 순서

안정화
→ 흔들림이 있으면 모든 AI 판단이 틀어짐

깜빡임 제거
→ 밝기 변화가 남으면 이후 단계가 오작동

노이즈 제거
→ 큰 결함만 먼저 정리

프레임 보간
→ 시간 흐름 복원

업스케일
→ 이제 디테일 생성 가능

색 복원
→ 마지막에 해야 자연스러움

그레인 추가
→ 현실감 회복

순서를 바꾸면 흔히 이런 일이 일어납니다.

먼저 업스케일 → 노이즈 확대

먼저 색입힘 → 색 번짐

먼저 보간 → 왜곡 증가

AI는 기능보다 순서를 더 많이 탑니다.

17.3.4 프로젝트 실습 — 기억을 복구하는 작업

사례 1: 오래된 가족 영상

목표: 기록 보존

노이즈 최소 제거

낮은 채도의 색

프레임은 과하게 늘리지 않기

결과: 과거가 현재로 이어진 느낌

사례 2: 옛 영상의 영화화

목표: 감정 전달

보간 적극 사용

색 대비 강조

약한 필름 그레인 추가

결과: 기록이 아니라 이야기처럼 보임

정리 — 복원은 기술이 아니라 해석이다

우리는 종종 묻습니다.

“원래 모습은 무엇이었을까?”

하지만 대부분의 경우
정답은 존재하지 않습니다.

AI 레스토레이션은 과거를 정확히 되돌리는 작업이 아니라
지금의 눈으로 다시 이해하는 과정입니다.

그래서 복원에는 항상 선택이 들어갑니다.

남길 것

지울 것

강조할 것

그리고 그 선택이
영상의 의미를 바꿉니다.

좋은 복원은 가장 선명한 영상이 아니라

가장 자연스럽게 기억되는 영상

을 만듭니다.

이로써 17장은
공간(해상도) → 시간(보간) → 기억(복원)
세 축이 완성되었습니다.

다음 장에서는 이 결과물을 실제 플랫폼과 규격에 맞춰 전달하는 단계로 넘어가게 됩니다.