AI로 영상 만들기
Runaway
음악과 이미지에 이어 이번에는 ‘영상’이다. 영상은 내 본업과 가장 밀접하게 닿아 있는 분야라, 다른 툴보다 더 애틋한 마음으로 접근하게 됐다. 과연 이 녀석이 나보다 더 잘할까? 그리고 정말 이 AI 하나만으로, 사람의 손을 거치지 않은 채 괜찮은 결과물이 나올 수 있을까? 그 판단은 아래 결과를 보고 직접 해보시길.
오늘 리뷰할 툴은 Runway다. 이 플랫폼의 핵심 기능은 텍스트 기반 영상 생성이다. 내가 상상한 장면을 문장으로 설명하면, 그에 맞는 영상 클립을 AI가 생성해준다. 현재는 Gen-3 Alpha까지 공개된 상태고, 짧은 무빙 이미지부터 실사처럼 보이는 장면까지 생성할 수 있다. 인터페이스는 직관적이고 웹 기반이라, 고사양 편집 프로그램 없이도 누구나 쉽게 접근할 수 있다. 한마디로 영상 제작에 대한 진입 장벽을 과감히 낮춘 셈이다.
Runway의 첫 화면예전엔 파이널컷이나 프리미어에서 레이어를 여러 개 두고 해야 했던 작업이, 이제는 그냥 '자연어로 말하듯' 영상 편집을 시작할 수 있도록 한다. 첫 화면을 보면 왼쪽에 다양한 카테고리가 있는데 Sessions은 프리미어의 프로젝트 처럼 영상 작업 공간을 만드는 곳이고 Runway Watch는 다른 사람들이 했던 작업을 볼 수 있다. 흥미로운건 Runway Watch를 들어가보면 Ai Film Festival의 수상작이 바로 나타난다는 것이다.
2024 AI Film Festival의 수상작Get me out이 그랑프리 수상작이라길래 시청해봤다. 정말 놀란 작품이었다. 이 영상을 만든 제작자는 AI의 활용도는 물론이고 영화와 영상 구도에 관한 이해도가 엄청난 사람이다. 실제 촬영에서는 하나의 장면을 여러 각도로 촬영할 수 있겠지만 AI는 그 각도를 전부 고려하여 생성해내야 하기 때문에 어떤 장면에서 어떤 각도가 필요한지를 전부 설계해야 한다. 이 영상은 6분 가량을 보는 내내 화면 전환에 불편함이 전혀 없었다. 마치 실제 촬영과 같았다. 그랑프리에 오를만 하고, AI 영상의 활용의 좋은 예시가 된 것 같다.
https://www.youtube.com/watch?v=2bLRFmZle64
당장은 이런 영상을 만들 순 없겠지만, 큰 꿈을 가지고 툴을 사용해보도록 하겠다. runway는 이미지 생성 기능과 영상 생성 기능을 동시에 제공한다. 이미지 생성 기능을 사용하기 위해서는 유료 구독이 필요하고 무료 플랜에서는 영상 생성 3회만을 제공한다. 이번 글에서는 영상 생성에만 집중해보겠다. 무료 플랜이기 때문에 3회를 아주 전략적으로 사용해볼 예정이다.
Sessions 페이지Sessions 페이지에 들어오면 이렇게 영상을 제작할 수 있는 기능들이 나타난다. Drop an image or video에 원하는 파일을 첨부하고 아래 프롬프트에 작동방식을 설명하면 영상이 뜨는 형태다. 새로 바꾼 프로필 사진을 첨부하고 움직이도록 명령을 해보겠다. 아래 내용으로 명령을 내렸고 chat gpt의 도움을 받은 프롬프트다.
Make the glowing orb in the character’s hand slowly rotate and pulse with light. Add gentle wind that makes the character’s hair sway naturally.
보다시피 프롬프트에서 요청했던 내용들이 대부분 반영되지 않았다. 갑자기 시점이동은 왜 하는 거며 내가 부탁한 바람은 어디간거지. 소중한 1번의 기회를 날렸는데 아쉬운 결과다. 그래도 왜 잘못됐는지 분석을 해야하기 때문에 재도전을 해본다.
When using input images, use a simple and direct text prompt that describes the movement you'd like in the output. You do not need to describe the contents of the image. In example, you might try the following prompt if using an input image that features a character: Subject cheerfully poses, her hands forming a peace sign.Subject cheerfully poses, her hands forming a peace sign. Using a text prompt that significantly differs from the input image may lead to unexpected results. Keep in mind that complex scene transitions may require multiple iterations to achieve the desired output.
위는 홈페이지에서 제공한 가이드의 내용이다. 간단하고 직접적인 명령을 내려야 한다는 내용이다. 이번엔 최대한 심플한 문장으로 명령을 내려보겠다. 그런데 갑자기 뜨는 팝업창.
무료 사용자라서인지 생성 요청을 하면 “기다리라”는 팝업이 떴다. 자본주의 세상에서는 돈이 곧 시간이라는 말이 떠올랐다. 어쩔 수 없이 기다렸고, 그 사이 클릭을 몇 번 더 눌렀다. 반복된 시도 끝에 생성에 성공했다. 이번에는 직접 프롬프트를 쓰는 대신, 템플릿에 있는 문장을 그대로 사용해봤다. "Dynamic motion, dynamic blur, 30x speed, unsharp edges."라는 명령어다.
결과는 생각보다 이상했다. 인물이 갑자기 180도 회전하더니, 손이 세 개로 늘어나고 선글라스를 낀다. 과장된 말이 아니라 정말로 그런 장면이었다. 구도가 빠르게 전환되며 생긴 오류 같은데, 이미 제공된 템플릿조차 이렇게 오작동한다면 대체 어떻게 명령을 내리라는 건지 감이 잡히지 않았다. 계속 테스트해보고 싶었지만 크레딧은 이미 다 소진되었고, 무료 버전에서는 더 이상 실험을 할 수 없었다. 당분간은 다른 툴들을 먼저 써볼 생각이다. 그 안에서 Runway만의 뚜렷한 장점이 보인다면, 그때 다시 돌아와 결제를 고민해볼 예정이다.
AI 툴은 기능이 아니라 결과로 말한다. 말 잘 듣는 녀석이 결국 살아남을 것이다.
