혼자서 만드는 SF 블록버스터 영화 제작과정
CGV AI 영화 공모전 우수상 수상작 <은하의 고양이 택배>
*본 글은 유튜브 '김씨네마'에서 영상으로도 시청하실 수 있습니다.
현재 <은하의 고양이 택배>는 최종 수상작으로 선정되어 우수상을 수상하였습니다!
조만간 CGV 극장에서 상영될 예정이니 많은 관심 부탁드립니다.
혼자서 만든 17분짜리 단편 영화가 CGV AI 영화 공모전 본선에 올랐습니다.
이미지 1,500장, 영상 470개. 툴 사용료만 40만 원.
3주 동안 정말 재밌게 몰입해서 만들었습니다.
오늘은 제가 이 영화를 어떻게 만들었는지, 현재 AI 영상으로 가능한 것과 불가능한 것,
약 6개월간 AI 영상만 만들며 알게된 저만의 꿀팁들까지 다 말씀드리고자 합니다.
AI 영상에 관심 있다면, 분명 도움이 되실 거라고 생각합니다.
AI 영상 제작이 생소하신 분들도 많으실 겁니다.
들어본 적은 있어도, 정확히 어떻게 만들어지는지는 잘 모르실 수도 있고요.
오히려 이렇게 생각하시는 분들도 많죠. 이미지 몇 장 넣고, 자동으로 영상 나오면 개꿀 아님?
...와 그런 분들에게 진짜 소신발언 하나 하자면...
솔직히 맞는 말입니다.
AI 툴을 잘만 활용하면 내가 상상만 하던 이야기 속 장면들이
그저 키보드 타닥타닥, 마우스 딸깍딸깍 몇 번으로 눈 앞에 펼쳐지니까요.
하지만 문제는, 그 다음부터입니다.
⠀
내 머릿속엔 전체 이야기의 흐름도 있고, 캐릭터의 감정선도 있지만
AI는 매번 ‘빈 도화지’에 새로운 그림을 그리듯 각 장면을 그저 ‘따로따로’ 만들어냅니다.
얘한테는 내가 생각하는 원대한 꿈과 이야기들이 알 바가 아니에요.
⠀
그래서 결국 중요한 건— 그렇게 만들어낸 수백, 수천 개의 이미지와 영상들을 얼마나 어색하지 않게,
몰입에 방해하지 않게, 하나의 완성된 이야기로 엮어낼 수 있느냐의 싸움입니다.
⠀
그리고 그걸 위해선, 내가 상상한 한 장면이 제대로 나올 때까지 몇 번이고 다시 만들고,
갈아엎는 그런 과정이 반드시 필요해요.
그리고 아직은, 기술적으로 연출이 불가능한 장면들도 많습니다.
⠀
두 캐릭터가 자연스럽게 한 장면에 등장한다거나,
빠른 액션이 매끄럽게 표현된다거나— 지금 시점에선 거의 불가능에 가까운 것들이 많습니다.
⠀
그래서 결국엔, 내가 상상한 장면이 과연 가능한가를 먼저 파악하고
불가능하다면 그 안에서 어떻게 타협하고, 설득력 있게 보여줄 것인가 이게 진짜 중요한 포인트가 됩니다.
⠀
AI 영화도 예술이라고 감히 말할 수 있다면—
이건 아마, ‘타협의 예술’이 아닐까 싶어요.
시나리오
자, 그래서 저는 어떤 이야기를 만들었을까요?
제가 만든 단편 ‘은하의 고양이 택배’는 SF 세계관 속에서 우주를 누비며 물건을 배달하는 택배 기사와 우주 고양이 이야기입니다. 처음엔 그냥 ‘이상한 외계 행성들 돌아다니는 스타일리시한 SF 이야기 만들고 싶다’는 단순한 욕망에서 시작했어요. 제가 좋아했던 작품들인 카우보이 비밥, 가디언즈 오브 갤럭시, 만달로리안… 그런 유쾌하고 자유로운 분위기의 여정을 떠나는 옴니버스 형식의 SF를 만들고 싶었거든요.
그래서 GPT에게 말했죠. 난 이런이런 스타일이 좋아, 옴니버스식 SF를 만들고 싶어라고.
그리고 그렇게 나온 아이디어가 바로 ‘은하의 고양이 택배’였습니다.
우주 택배 기사라는 직업 특성상, 여러 행성, 다양한 외계 종족 등 제가 상상하던 SF 장면들을 자연스럽게 담을 수 있었죠. 사이버펑크 스타일을 꼭 넣고 싶어서 ‘렉시움’이라는 행성을 설정했고, 씬시티의 비주얼, 듄2의 아라키스, 토르3의 흑백 전투씬처럼 강한 흑백 비주얼 장면도 꼭 실험해보고 싶었습니다. 그래서 ‘태양을 잃은 행성 루시온에 유물을 배달하는 이야기’를 메인 줄거리로 삼게 되었죠.
사실 AI가 현실을 자연스럽게 표현하는 건 아직 어렵습니다. 그래서 오히려 SF처럼 비현실적인 장면들이 AI 영상의 어색함을 감춰줄 수 있다고 생각했어요. 뭐, 우주선 내부 계기판 UI 같은 게 좀 엉망이어도 ‘어느 우주에서는 저렇게 생겼나 보지 뭐’ 하면서 넘어가게 되는 거 있잖아요. 그런 나름… 간악한 전략이었습니다.
이야기 자체는 완전히 새롭지는 않아요. 다 어디서 한번쯤 봤던 것들을 모아놓은, 어떻게 보면 그냥 제가 좋아했던 영화와 애니들 이것저것 섞어놓은 ‘레퍼런스 모음집’이라고도 할 수 있어요.
하지만 AI 영상은 아직 스토리 전달력이 약하기 때문에 익숙하고 인기 있는 이야기 구조를 일부러 차용한 것도 있어요.
...네, 사실 핑계고요. 제가 뭐 막 엄청 참신하고 새로운 이야기 만들 그릇은 안 되기 때문에
그냥 이거저거 따라해서 만들었습니다ㅋㅋ
이미지 생성
이제 시나리오가 어느 정도 정리되면, 바로 이미지 제작에 들어갑니다.
저는 Midjourney를 사용했고, 스탠다드 플랜을 이용중입니다.
1년 구독으로 매달 약 15시간의 생성 시간이 주어집니다.
이 정도면 일반적인 단편 영화 작업엔 무리가 없습니다.
⠀
이미지 생성용 프롬프트는 대부분 ChatGPT에 작성 요청을 합니다.
‘SF 스타일의 극사실 톤, 16:9 비율로, 간결하게 써줘. 그리고 내가 검토할 수 있게 한국어 번역도 함께 달아줘.’ 이렇게 요청하면, 대부분 만족할만한 프롬프트를 받을 수 있어요.
처음에는 다양한 스타일을 테스트해보고, 키 비주얼부터 먼저 만듭니다.
주요 캐릭터, 빌런, 배경, 장소 등을 그려보며 ‘이 작품은 어떤 스타일로 갈 것인가’를 정하게 되는 거죠.
⠀
저는 여러 실험 끝에 ‘극사실적인 SF 톤’을 이 작품의 메인 무드로 정했습니다. 이후 작업은 모두 이 스타일에 맞춰 톤을 유지했어요. 그런데 이 단계에서 이야기는 또 달라지기도 합니다. 이미지를 만들다 보면 ‘이 장면은 되겠는데?’ 싶은 것도 있고, ‘이건 아무리 해도 안 되겠다’ 싶은 것도 생기거든요. 그래서 저는 초기에는 Draft 모드로 작업합니다. 퀄리티 차이는 거의 없지만 훨씬 빠르고, 작업 시간을 아낄 수 있기 때문이죠.
⠀
미드저니에는 이때 조절할 수 있는 세 가지 주요 수치가 있습니다.
Stylization: 낮을수록 정확, 높을수록 창의적
Weirdness: 이상한(창의적) 요소를 추가
Variety: 결과물의 다양성 범위
*이건 본인의 작업 목적에 따라 달라질 수 있으니 몇 번씩 실험해보시는 걸 추천합니다.
이미지 제작에서 가장 중요한 건 역시 주인공 캐릭터겠죠.
AI 영상의 가장 큰 한계 중 하나는 바로 ‘일관성 부족’이에요.
장면마다 얼굴이 달라지고, 표정이나 스타일도 미묘하게 바뀌는 경우가 많죠.
그래서 저는 Midjourney의 레퍼런스 이미지 기능을 적극 활용했어요.
이 기능을 쓰면 어느 정도 캐릭터 인상을 유지할 수 있습니다.
하지만, 첨부 이미지에 따라 미묘하게 인상이 바뀌는 건 여전히 어쩔 수 없더라고요.
⠀
결국 중요한 건, ‘내가 원하는 얼굴이 상황마다 유지되는지’ 계속 테스트하고 또 테스트하는 겁니다.
그렇게 해서 가장 결과물이 잘 나오는 원본을 레퍼런스로 동일하게 첨부해야 여러 장면에서 주인공의 얼굴 일관성이 유지됩니다. 그리고 또 하나의 문제는 의상입니다. 처음 생성한 이미지에서 정해진 옷이 아니라
다른 복장을 입히려고 하면, 얼굴이 완전히 바뀌는 경우가 많아요.
⠀
그래서 결국 이 작품에 나오는 주인공 맥스는 처음부터 끝까지 같은 옷을 입고 등장합니다.
그냥 저렇게 태어났다고 생각하면 마음이 편해요. 그리고 마지막으로 가장 아쉬웠던 건, 두 캐릭터를 한 장면에 함께 넣는 것이 거의 불가능하다는 점입니다. 예를 들어, 맥스와 펠릭스를 같은 장면에 레퍼런스로 넣으면 고양이 얼굴에 사람 눈이 들어가 있다든지 묘하게 섞여버린 이미지가 나옵니다. 정말 다양한 방식으로 시도해봤지만 현재로선 방법이 없습니다. 그래서 결국 이 작품에선 두 캐릭터가 직접적으로 합을 맞추거나 같은 프레임 안에서 상호작용하는 장면이 빠지게 되었어요.
*저도 아직 시도해보진 않았는데, 현재 두 캐릭터가 한 장면에 나오는 투샷 일관성 문제의 경우
이미지 제작시 미드저니v7 옴니 레퍼런스를 이용, 영상 제작시 클링 element 기능을 활용하면 전보다 나은 결과를 얻을 수 있다고 하니 참고 부탁드립니다.
그리고 또 하나, 물체의 일관성 문제도 생각보다 심각합니다. 외계인처럼 얼굴이 복잡하거나 형태가 모호한 대상은 더더욱 어렵고, 우주선이나 유물처럼 반복해서 등장하는 오브젝트조차 장면마다 생김새가 미묘하게 달라집니다. 왜 그런지는 모르겠지만 같은 이미지를 레퍼런스로 써도 색감이나 구조가 다르게 나오는 경우가 많았어요. 그래서 주인공들이 타고 다니는 우주선조차 장면마다 형태가 조금씩 달라지고, 중요한 물건의 디자인도 일관성이 흐트러질 때가 있죠.
⠀
이건 아직 AI 이미지 제작 기술의 한계라고 생각하고, 다음에 더 나은 툴이 나오길 기대하고 있습니다.
물론 지금 이걸 해결할 수 있는 팁이 있다면 정말, 정말 환영입니다. 댓글로 공유해주시면 진심으로 감사하겠습니다.
영상 생성
이미지가 준비됐다면, 이제 그걸 영상으로 움직이게 만들어야겠죠. 저는 Kling이라는 툴을 사용했습니다.
다른 툴들도 많지만, 개인적으로 아직은 Kling이 가장 자연스럽고 영화스러운 움직임을 구현한다고 생각합니다. 저는 가장 비싼 프리미어 플랜을 구독 중인데요, 연 구독시 728.64달러이며 한 달에 8000크레딧이 제공됩니다. 크레딧은 어떤 모드로 생성하느냐에 따라 소모값이 다른데요. 영상 하나당 기본 5초 기준으로, 일반 생성은 20, 프로페셔널은 35, 2.0 버전에서 쓸 수 있는 마스터 모드는 무려 100크레딧이 소모됩니다.
솔직히 말씀드리면, 일반과 프로페셔널의 차이는 거의 없는 것 같습니다. 그래서 저는 거의 항상 일반 생성으로만 작업합니다. 다만 예외도 있긴 합니다.
유튜브에 올라와있는 1984 애니메이션 작업 당시 헬리콥터가 날아가는 장면의 경우 일반 모드 몇 번을 해도 헬리콥터의 프로펠러가 자연스럽게 돌아가지 않았는데 프로페셔널을 사용하니 해결되었습니다. 정확한 차이를 잘 모르겠어요. 다만, 정말 고난이도 액션이 필요할 땐 마스터 모드로 가끔 시도해보기도 해요. 마스터 모드는 확실히 다른 퀄리티가 나오긴 합니다. Kling에서는 기본적으로 5초짜리 영상을 만들 수 있고, 10초까지 연장도 가능합니다. 또, 대사를 넣으면 립싱크도 지원됩니다.
*1984 애니메이션 헬리콥터 씬 링크 ↓
https://www.youtube.com/watch?v=78U0-wR5z3M&t=1003s
영상 생성에 들어가기 전에 가장 중요한 것은, 이미지 파일 정리입니다. 수백 장의 이미지가 생성되기 때문에, 어떤 이미지를 어떤 장면에 쓸지 확실하게 분류해두는 게 진짜 중요해요. 스토리보드가 있으면 가장 좋고, 없다면 씬별 폴더 정리, 이미지 파일명에 번호 붙이기 정도는 꼭 해두시는 걸 추천합니다.
이제 영상 생성용 프롬프트를 써야겠죠? 여기서도 저는 ChatGPT의 도움을 받습니다. 하지만 주의할 점은 Midjourney처럼 장면을 ‘묘사’하면 안 된다는 겁니다. Kling은 5초 안에 프롬프트 문장을 앞에서부터 순서대로 해석하려 하기 때문에, 묘사가 길면 엉뚱한 자세로 끝나는 경우가 정말 많아요.
예를 들어 ‘고양이가 책상에 앉아 있다가 총을 꺼낸다’고 하면 총은 어디 갔는지 모르겠고, 고양이는 이상한 손짓으로 끝나버립니다. 그래서 제 방식은 아주 단순합니다. ⠀
“걷는다”
“총을 꺼낸다”
“고개를 돌린다”
→ 이렇게 ‘동작 하나당, 문장 하나’로 써줍니다.
단순하고 명확한 프롬프트가 가장 실패율이 낮았어요.
그리고 이건 정말 영업 비밀인데, 제 꿀팁을 하나 더 드릴게요.
복잡한 액션은 거꾸로 만들어서 편집에서 뒤집는 게 훨씬 안정적입니다.
예를 들어, ‘고양이가 총을 꺼내는 장면’이 필요할 때 ‘고양이가 총을 빠르게 꺼낸다’고 요청하면 AI가 허공에 손을 뻗거나, 이상한 총을 생성하곤 해요.
하지만 반대로 이미 총을 들고 있는 상태에서, 총을 아래로 내린다’라고 하면 이미 총을 들고 있는 마지막 장면은 의도대로 확보했기 때문에 훨씬 더 의도한 장면을 생성할 가능성이 높아져요.
이걸 편집에서 역방향으로 뒤집으면 우리가 원했던 ‘총을 꺼내는’ 장면처럼 보이게 되는거죠.
자 이렇게 해서 이미지에서 영상으로, 만들어진 5초 단위의 짧은 클립들을 하나하나 붙여나가면서 편집해 17분짜리 단편 영화를 완성하게 됐습니다.
*해당 장면 영상 첨부 오류가 있어 궁금하신 분들께선 유튜브 영상 참고 부탁드립니다.
사운드 생성
자, 이제 마지막으로 사운드 작업이 들어가야겠죠.
저는 이번 작업에서 일레븐랩스(ElevenLabs)를 메인으로 사용했습니다.
처음엔 한국어 더빙을 위해 타입캐스트도 결제해 사용해봤는데, 아직은 감정 표현이 좀 어색하게 느껴지더라고요. 그래서 결국 영어 버전으로 제작하기로 결정했습니다. 개인적으로 일레븐랩스는 제가 사용해본 AI 툴 중 가성비가 가장 좋은 도구라고 생각해요. 가격도 부담 없고, 기능도 다양해서 활용도가 높습니다. 일레븐랩스는 기본적으로 텍스트 프롬프트만으로 사운드를 생성할 수 있는 프로그램인데요, 저는 이걸 주로 효과음 작업에 활용했습니다. 예를 들어 ‘비행기가 날아가는 소리’, ‘고양이가 걷는 소리’처럼 원하는 소리를 요청하는 문장만 입력하면, 거기에 맞는 사운드를 바로 만들어줍니다. 물론 나레이션도 생성 가능합니다. 여기서 재미있는 기능이 하나 있는데요. 내가 원하는 목소리의 캐릭터성을 프롬프트로 묘사하면, 그에 맞는 샘플 음성을 만들어주고, 그걸로 텍스트를 읽게 할 수 있습니다. 예를 들어 ‘낮고 침착하면서도 유쾌한 남자 목소리’ 이렇게 입력하면 꽤 근접한 느낌의 목소리를 만들어줍니다. 게다가 기본 톤에서 감정을 조절하거나, 혹은 내가 직접 녹음한 목소리를 다른 인물의 목소리로 변환하는 것도 가능합니다. 이 기능은 특히 감정 연기가 필요한 대목에서 AI 나레이션이 감정 표현에 약할 때, 내 목소리를 기준 삼아 보정할 수 있다는 점에서 매우 유용합니다. 다만, 아쉬운 점이 하나 있다면음질이 아주 고급스럽진 않다는 것. 조금 더 비용을 들여서 고음질로 생성할 수 있는 옵션이 추가되면 더 좋을 것 같다는 생각은 늘 하고 있습니다.
그리고 마지막으로, 배경음악은 유튜브 오디오 라이브러리의 무료 음원을 활용했습니다. 생각보다 퀄리티 좋은 곡들도 많고, 무엇보다 저작권 걱정 없이 사용할 수 있다는 점에서 심플하고 효율적인 선택이라고 생각합니다.
글을 마치며
이렇게 생성된 영상과 사운드를 조합해서 편집하면, 누구나 머릿속에만 있던 장면을 직접 현실로 구현할 수 있습니다. 물론 아직은, 사람들이 AI 영화에 대한 거부감도 있고 AI 콘텐츠가 자극적이거나 웃긴 밈 정도로 소비되는 경우가 많죠. 하지만 조금만 더 기술이 발전하고, 조금만 더 많은 사람들이 이 툴에 익숙해진다면 누구나 자기만의 상상을 이야기로 만들 수 있는 시대가 올 거라고 생각합니다. 저도 그렇게 되길 바라는 마음에 오늘 미약하지만 조금이라도 도움이 되었으면 하는 마음으로 이 글을 준비해봤습니다.
오늘 비하인드 스토리를 소개한 이 작품『은하의 고양이 택배』는 지금 CGV AI 영화 공모전 본선에 진출해 있고, 현재 CGV 홈페이지에서 관객 투표가 진행 중입니다.
⠀
본편은 전문 심사위원이 평가해 70%, 관객 투표는 1분 하이라이트 영상을 보고 30% 반영된다고 합니다.
수상작은 극장에서 상영된다고 하니, 다른 작품들도 함께 둘러보시고, 마음에 드는 작품에 소중한 한 표 부탁드립니다.
끝까지 읽어주셔서 감사합니다.
AI로 이야기를 만드는 채널 김씨네마,
그리고 언젠가 한국에서 할리우드 블록버스터 같은 영화를 만들고 싶은, 김영현이였습니다.
*본 글은 유튜브 '김씨네마'에서 영상으로도 시청하실 수 있습니다.
