Luma Modify로 댄스 쇼츠 만들기
게임 NPC가 댄스 챌린지를 추는 영상이 딸깍
오늘 워크플로우는 Luma Modify 기능의 테스트 영상 제작기입니다.
총평: 꽤 놀라운 수준으로 자연스럽게 동작을 묘사해서 내 캐릭터에 적용이 가능하다
------------------------------------------------------------------------------------------------------------------------
QUICK Review
워크플로우
- 원본 영상 편집: Capcut (10초 단위 트리밍)
- 캐릭터 이미지 생성: Freepik Flux Kontext (게임 NPC 실사화 모델 생성)
- 캐릭터 이미지 등신대 편집: Freepik
- 캐릭터 + 배경 합성 이미지: Freepik
- 원본 영상 인물 -> 캐릭터로 교체 합성: Luma Modify
- 최종 영상 편집: Capcut
Luma Modify 기능은 아래 장점을 보유
- V2V 작업으로 후보정, VFX, 캐릭터 변형 및 씬 합성이 매우 간편해짐
- 카메라 워크는 유지하면서도 캐릭터, 의상, 오브제 변경이 가능
- 또한 영상 내 배경도 쉽게 변경이 가능 (다만 케이스 바이 케이스)
- 캐릭터 변경 시 원본 영상의 무브먼트를 꽤 잘 유지해 주는 강점
------------------------------------------------------------------------------------------------------------------------
아래에 원본과 작업한 결과물들을 먼저 보여드릴게요.
베이스가 된 원본 댄스 챌린지 쇼츠입니다.
NPC 게임 캐릭터 실사화 모델로 바꾼 영상입니다.
이어서 배경도 바꿔봤습니다.
배경 변경 시 오브제(군중)이 다소 있다면 캐릭터 구현도나 디테일이 떨어지는 결과물이 나오네요.
이건 무언가 연산량이 많아짐에 따라 다소 부하가 생기는 듯합니다.
------------------------------------------------------------------------------------------------------------------------
Luma의 UX는 직관적인 편이라 처음 기능을 접하는 분들도 크게 어렵지 않게 시도해 볼 수 있습니다.
거기다 캐릭터, 배경들의 리소스가 풍부하고 아이디어가 많은 분이라면 이번 업데이트가 매우 재미있는 작업의 계기가 될 거예요.
다만, 아래와 같은 제한 사항이 보입니다.
- 영상이 10초 이내만 작업이 가능
- extend 기능은 매끄럽게 작업물이 나오지 않고, 기존 영상 오디오가 사라짐
- 원본 영상의 캐릭터/인물의 비율과 합성할 캐릭터의 비율, 톤 앤 매너가 유사해야 제대로 동작이 구현
- 캐릭터 변경, 배경 변경 등 모든 합성 작업은 반드시 사전 이미지 작업 후 modify 영상화
- 배경의 합성이나 캐릭터의 변형이 랜덤 케바케 영향이 다소 큼
------------------------------------------------------------------------------------------------------------------------
이해를 돕기 위한 중간 작업 과정입니다.
게임 NPC의 실사화 작업
1차 Luma Modify 작업 영상 1,2번 (10초 단위로 끊어서 생성)
Capcut으로 1,2번 영상을 합치고 프레임 조정 (음원에 맞춘 프레임 단위 편집)
화면 이펙트, 타이포그래피 모션 적용한 최종본
실패 사례들도 올려봅니다.
제가 파악한 주요 실패 원인은 크게,
1. 합성할 캐릭터의 등신대가 맞지 않았음
2. 캐릭터 이미지와 원본 영상의 비율이 맞지 않았음
