AI 틱톡커의 하극상 - AI 영화 만들기 도전
Veo3, Runway, 미드저니 활용해 AI 영화 만들어보기
생성형 AI 영상 제작 모델 사용기
크롬 독점법 분쟁과 AI 전쟁에서 ChatGPT에 밀린다는 평을 들었던 구글의 주가가 5월 20일을 기점으로 다시 상승하기 시작했다.
상승의 기폭제는 바로 2025년 5월 20일 열린 Google IO 2025.
Google IO(Input/Output)는 매년 구글에서 개최하는 개발자 컨퍼런스로 올해 특히 주목 많은 주목을 받았는데, 그 중에서도 돋보였던 부분은 최첨단 생성형 동영상 모델인 VEO를 활용한 새로운 영화 제작 AI인 플로우(Flow) 기능이었다.
(Flow는 현재 한국에서는 사용할 수 없고 미국에서만 사용할 수 있다고 한다)
이전까지 챗지피티 그리고 딥시크 등 타 AI 경쟁업체들에게 밀리는게 아닌가 싶었던 구글의 AI 능력을 제대로 보여준 자리였는데, 아래 구글 IO 블로그에서 보다시피 그들의 AI 코어인 제미나이를 기반으로 동영상, 이미지, 언어 등 모든 분야로 그 영향력을 확대해가고 있는 것을 확인할 수 있다.
이미 워싱턴 포스트 저널(WSJ)에서는 Veo3와 다른 생성형 모델(Runway)을 활용한 짧은 영화를 만들어WSJ 유튜브 채널에 업로드하였고, 일주일도 되지않아 65만 조회수를 기록하는 등 사람들의 AI 비디오에 대한 큰 관심을 확인할 수 있었다.
https://www.youtube.com/watch?v=US2gO7UYEfY&t=151s
나 역시 부업인 컨텐츠 크리에이터로서 트렌드에 뒤지지 않기 위해 한국에서도 사용 가능한 모든 생성형 AI 모델들을 활용해 영상을 만들고 싶어졌다.
한국에서도 생성형 동영상 모델인 VEO3는 사용 가능하며, Veo3 기능인 Imgae-to-Video 및 Text-to-Video 기능을 컨텐츠 크리에이터라면 적극적으로 이용할 수 있을 것으로 기대된다.
영화 제작기
나 역시 WSJ 기자의 영상을 보고 많은 감명을 받아, 영상 제작에 도전해 보았다.
내가 사용한 AI 툴은 아래 3가지이다.
1. MidJourney(미드저니)
2. Runway(런웨이)
3. VEO3(베오3)
비록 조회수는 처참하지만, 위 3가지 AI 비디오툴을 활영하여 AI 영화를 만들어 보았다.
영상을 통해 짧은 AI 영화 제작 방법을 확인할 수 있다.
하지만 개인적으로 영상보다 글로 설명하는 것을 좋아하기 때문에 브런치에서도 자세하게 설명해보도록 하겠다.
그림 생성하기
가장 먼저 해야할 부분은 바로 주인공과 빌런 캐릭터를 생성하는 것이었다.
물론 Runway를 활용할수도 있고, Veo3를 활용해서 캐릭터들을 생성할 수도 있다. 심지어는 내가 편집툴로 사용하는 Capcut을 활용해서 만들수도 있다. 그만큼 이미지 생성 AI 기능을 제공하는 툴은 굉장히 많이 있다.
하지만 그 중에서 가장 유명한 것은 역시나 MidJourney(미드저니)이다.
가장 유명하다는 것은 가장 많은 데이터를 가지고 있다는 뜻이고, 그만큼 학습이 많이 되었다는 것을 기대할 수 있기 때문에 미드저니를 활용해서 캐릭터를 만들어보기로 하였다.
내가 작성한 프롬프트는 "Create a robot serving my daily life, but very realistic robot. Something like Starwars C-3PO"라고 하니 아래 4개 로봇이 나왔다.
번역하면 "시중 들어줄 로봇 만드는데 스타워즈 3PO 같은 로봇 만들어줘"라고 프롬프트를 입력했다.
그러니 너무 3PO스러운 로봇만 생성을 해놔서, 조금 더 캐쥬얼하고 귀여운 것을 만들어 달라고 하니
"Nah, I mean more casual and cute robot"
그 위에 있는 귀여운 캐릭터들이 생성되었다.
내가 가장 마음에 들었던 것은 가장 애니 캐릭터스러운 왼쪽에서 2번째 캐릭터였다.
주인공 캐릭터는 그래서 왼쪽 2번째로 결정했고, 빌런이 필요했다.
빌런은 "cute enemy from another universe"라는 프롬프트를 입력했다. 다들 뭔가 몬스터 주식회사에 나올 듯한 녀석들이 생성되었는데, 맨 왼쪽 보라색 녀석이 마음에 들어 2개의 이미지를 사용하기로 하였다.
상황 설정에 맞는 이미지 생성하기
두 개의 캐릭터가 생성되었다면, 이제 이 캐릭터들을 활용해 상황에 맞는 이미지를 만드는 것이었다.
미드저니로는 이 작업이 불가능해 Runway를 사용하기로 했다.
(참고로 내가 사용하는 미드저니, Runway 그리고 Veo3는 모두 유료 버전이다)
아래와 같이 두 개의 캐릭터와 밖에서 찍은 배경 사진을 Asset으로 설정해서 이미지를 만들기로 했다.
프롬프트는
"Nak as Img_1 is battling with enemy as IMG_2 on the park as IMG_3. Nak is armed with electric gun and a red shield. The enemy is heading to Nak"
이라고 적었다.
각 이미지마다 이미지 파일 이름이 있다. IMG_1은 메인 캐릭터, IMG_2는 빌런, IMG_3는 공원 배경이다.
@표시를 활용하면 이메일 참조 걸 듯 각각의 에셋을 지정해서 적을 수 있다.
내 이름 적은 후 IMG_1이라고 부연 설명을 프롬프트로 하였으나, 실제로 AI가 이해할 수 있는지에 대해서는 반신반의 하였다.
하지만 아래 결과를 보면 잘 실행된 것을 확인할 수 있다.
이렇게 각각의 에셋을 활용해서 위와 같은 이미지를 하나씩 생성하고, 각 이미지를 동영상으로 변환하기만 하면 된다.
동영상 변환 with Veo3
위의 이미지를 동영상으로 바꾸는 법은 간단하다.
Google Veo3의 경우 제미나이 기반이라 그런지 프롬프트 예제 자체가 한글로 되어있어서, 한글로 프롬프트를 입력하였다.
Runway에서 만든 이미지를 넣고 프롬프트를
"낙경은 뒤로 돌아본다. 보라색 에일리언은 빠른 속도로 낙경에게 다가온다. 에일리언을 보자 낙경은 뒤로 돌아 황급하게 총을 쏜다. 하지만 그 총을 에일리언은 피해버린다."
라고 작성해보았다.
그렇게 되면 아래와 같은 영상이 나오게 된다.
사실 보는바와 같이 아직 100프로 완벽하지는 않은 것 같다.
하지만 그럼에도 캐릭터들의 행동이 굉장히 자연스러운 것을 확인할 수 있다.
영상으로 보고 싶다면 글 맨 위에 있는 나의 유튜브 링크로 들어가 확인해보시기 바란다.
마무리하며
아직까지 AI 생성형 비디오 모델이 100프로 확실한 기능을 보여주는 것은 아닌 것 같다.
또한 프롬프트를 정말 상세하게 적지 않으면, 계속해서 동영상 생성 중 오류 알람을 띄운다.
프롬프트는 내가 생각하는 것보다 훨씬 상세하게 적어야 한다.
가령 내가 운동하는 영상을 만든다면
"내가 앞뒤로 팔을 좌우로 흔들면서 땀을 왼쪽 이마에서 흘리고, 입술은 내밀고 혀를 내밀면서 뛰는 영상을 만들어줘"와 같이 엄청 상세하게 적어야 제대로 인식한다.
마치 코딩할 때 로직 하나 틀리면 오류가 나는 것과 비슷하달까?
챗지피티가 개떡같이 말해도 찰떡같이 알아드는 것과는 달리 아직까지는 정말 세세하게 말해주지 않으면 에러만 뜨다가 영상은 못 만드는 수가 있다는 것을 기억하자.
생성형 AI가 미래에 미치는 영향은?
영상을 만들기 위해서는 엄청난 리소스가 필요하다.
가령 내가 짧은 단편을 하나 만들기 위해서는 배우, 촬영팀, 제작팀, 편집팀, 음향팀 등 소요되는 인건비만 해도 엄청날 것이고, 운영 및 편집에 들어가는 돈도 엄청날 것이다.
하지만 이러한 생성형 AI의 발달로 인해 이런 비용들이 조금은 줄어들 수도 있을 것 같다.
5초짜리 영상을 만드는데 약 28크레딧 정도가 소요된다.
내가 사용하는 프로버전의 경우 5초짜리 영상 약 100개 정도를 만들 수 있는 크레딧을 주니, 상업용으로 만들기 위해서는 꽤나 큰 돈이 들어갈 것이다.
(위에 링크로 걸어둔 WSJ에서 만든 영상의 경우 약 1,000달러 정도 들었다고 하니 참고하도록 하자)
2~3년 후 영상 AI가 발달한다면 개인 컨텐츠 크리에이터들은 지금보다 훨씬 늘어날 것이고, 모든 일이 개인화 혹은 소규모화 되는 현상이 일어날 것 같다.
이전에는 대규모 협업이 필수였지만, 2~3인 팟만 만들면 모든 작업을 할 수 있는 그런 사회가 되지 않을까?
인간 관계로 고통을 겪는 이들이라면 미리미리 준비를 해둬, 자신만의 컨텐츠를 만들 수 있는 사람으로 성장하는 것이 어떨까? 나 역시 그러기 위해 이렇게 오늘도 글을 쓰고, 영상을 만든다.
