AI 영화 프로덕션은 다르다
AI로 영화 만들기 3
나는 영화 촬영을 하고 있다. 실사 촬영만 하고 있었으며 이 프로젝트로 처음 AI 영화 작업을 하였다. 나머지 팀원들도 마찬가지이다. 나머지 팀원 둘은 모두 영화 연출을 하던 사람들이다. 이번 작업을 통해서 AI 툴들을 처음 만져보았으며 내가 직접 교육을 진행 후 작업을 시작하였다. 추가로 사운드를 담당해 주는 팀원도 추가로 영입했는데 이 팀원 또한 실사 영화에서 사운드, 믹싱 작업을 하는 팀원이었으며 AI로 음악, 폴리 사운드를 만들어주기로 하였다.
전체적인 워크플로우
전체적인 워크플로우는 실사 영화에서 했던 경험을 기반으로 시작했다. 그리고 주요 목표는 전체적인 팀의 합을 맞춰보는 것이었고 무엇보다 '얼마나 빠르게' 만들 수 있는지 집중해보려고 하였다. 왜냐하면 아직까지 AI가 우리의 의도를 정확하게 담아내지는 않기 때문에 AI의 결과에 우리가 맞춰나가는 플로우를 만들어 나가려 했다.
- 사용툴
우리 팀은 아래와 같은 툴로 작업을 하였다.
이미지 _ Midjourney (연간 결제 시 매달 24달러_Relax 속도로 무제한 이용)
동영상 _ Kling AI (첫 결제 한 달 25.99 달러 _ 3000 크레디트 충전. 스탠다드 모드로 영상 1번 추출에 20 크레디트가 소모됩니다.) Hailuo AI (Standard 플랜 매달 9.99달러), Runway
음향 _ Udio, Eleven Labs
- 제작기간
2024년 12월~2025년 2월, 약 2개월 소요 (기획, 후반작업 포함)
1. 기획안 제출 및 시나리오 선정
시나리오와 기획은 팀원들이 직접 작성하고 선정하는 과정을 거쳤다. 아직까지 AI가 쓰는 것보다는 확실히 사람이 기획하고 선정하는 게 조금 더 개성 있는 이야기라고 느껴졌다. 특히 여러 기획안 중에서 애니메이션이 처음으로 만들기 가장 적합하고 이질감이 없는 장르라고 생각했다. 물론 작업을 하면서 캐릭터 일관성 때문에 동물을 주인공으로 설정한 것이 후회되는 순간들이 많았다. 이 당시에는 모두가 작업을 처음 해보는 것이기 때문에 이질감이 덜한 애니메이션이 기획안으로 채택되었다.
2. 사전 콘셉트 디자인
우리 영화의 주인공 프렌치 불독 '마블'캐릭터의 배경과 공간 톤을 Midjourney를 통해서 생성하였다. 무엇보다 3명의 작업자가 하나의 톤을 통일하는 과정을 이 단계에서 거치는 것이 중요하였다. 특히 캐릭터의 경우는 주인공이 강아지라서 일관성을 맞추기가 어려웠지만 그럼에도 불구하고 체형이나 분위기는 서로 통일하고 작업하였다. 여러 표정들과 여러 구도들의 프로필 사진들을 생성해 다양한 샷들을 구성할 수 있도록 계획하였다.
공간 톤 레퍼런스씬 별로 정해진 조명의 색의 조합이나 공간 무드를 정하고 시작하였다. 위의 사진은 밤씬 거실의 톤이고 미드저니의 톤 레퍼런스를 이용해 해당 사진을 입력하고 여러 샷들을 추가로 생성하면서 작업을 계획하였다. 디테일한 물건은 다르더라도 조명이 비슷하면 용인되는 수준으로 샷들이 나왔다. 디테일한 소품 배치가 달라지는 것들은 감안하고 넘어가 빠른 작업을 할 수 있도록 계획하였다.
3. 줄콘티 작성
이미지를 생성하기 전 필요한 컷들을 간추리는 작업들을 진행하였다. AI 이미지가 너무 쉽게 생성 가능하다 보니 계획 없이 콘티를 진행하는 경우가 많았는데 해당 프로젝트에서는 필요한 컷들을 짜는 작업을 진행하였다. 해당 사진은 줄콘티의 초안 버전이고 우리의 프로젝트에서는 총 92컷이 계획되었다. 물론 실제 작업 컷수는 더 늘어났지만 필수 컷들을 미리 정하면서 이야기가 만들어질 수 있는 것을 목표로 삼았다.
4. AI 이미지 생성
미드저니의 생성 이미지
함께 작업했던 작업 시트
모든 사전 준비가 끝난 후에야 이미지 생성을 시작했다. 앞선 작업들이 중요했던 이유는 우리는 서로 일을 '분담' 하였기 때문이다. 3명의 작업자가 2~3 개의 씬들을 도맡아서 작업했다. 실사 영화 작업자라면 익숙하지 않을 수도 있는데 오히려 만화나 애니메이션 작업자라면 해당 방식으로 작업을 해봤을 수도 있다. 앞선 사전 콘셉트를 어느 정도 맞추다 보니 해당 줄콘티를 작성하고 작업하면서도 각자 다른 신을 맡아서 했지만 합쳤을 때 일관성이 잘 유지되었다. 무엇보다 장정은 이러한 작업을 각자 집에서 하루에 3~4 시간씩 투자하면서 이루어 낼 수 있었다는 것이다. 위 시트를 만들어서 각자 분담량을 정하였고 기한까지 채워서 제출하는 방식으로 일주일간 콘티 작업을 하였다.
5. AI 동영상 생성
Hailuo AI모든 과정을 거치고 나서야 영상을 생성하기 시작했다. 우리 팀은 미드저니로 만든 이미지를 베이스로 영상을 생성했다. Text to Video는 일관성을 유지할 수 없기에 Image to Video 기능만 이용해서 작업을 하였다. 위 이미지는 Hailuo AI 툴인데 정작 가장 많이 사용한 툴은 Klina AI이다. 애니메이션이 가장 자연스러웠다. 재미있는 점은 툴별로 잘할 수 있는 것들이 달라서 인서트는 Hailuo 나 Runway를 쓰고 연기가 필요한 컷은 Kling을 쓰는 등 한정된 크레디트를 아껴서 쓰기 위해 노력을 다했다. 해당 지점에 대해서는 추후 편에서 기술하겠다.
6. 음향
음향은 현재 진행 중인 작업이다. Eleven labs 툴을 이용하여 효과음이나 전체적인 사운드를 만들고 있으며 Udio를 통해서 전체적인 음악을 제작하고 있다. 해당 작업에 대해서는 추후에 자세히 다루도록 하겠다.
이렇게 간략한 워크플로우를 설명해 보았다. 전체적으로 실사 영화를 작업할 때와 크게 다르지 않았다. 다음 글부터는 작업별로 디테일하게 어떤 문제가 있었고 어떻게 해결하였는지 프로젝트의 사례를 통해서 설명해 보도록 하겠다.
