쓰다 보면 미칠 것 같은 영상 생성 AI 실제사용기 - 혠작가
쓰레드로 AI 관련 소식을 받아봅니다. 매일 '와, 미쳤습니다'라고 시작하는 글이 쏟아집니다. 가장 시선을 끄는 것은 역시 AI영상 작품들입니다. 생성형 AI의 한계 없는 환각에 생동감이 더해지면서 만들어낸 결과물들은 아무리 봐도 질리지 않습니다.
그러나 막상 구체적인 의도를 가지고 비디오 생성 툴들을 써보려 하셨던 분들은 아마 다른 의미로 미쳐버릴 것 같은 기분(...)을 경험하셨을 것입니다. 최근 집중적으로 사용한 비디오 툴을 총정리해보겠습니다.
이 글을 쓰는 2025. 7. 10 현시점에서 가장 많이 회자되는 비디오 생성툴은 미드저니와 구글의 veo3로 보입니다. 그 외에도 Kling, Sora와 같은 툴들이 유명합니다. 이들의 장단점을 비교하고 툴 선택에 대한 활용팁을 드리겠습니다. (이번 글에서 다루지 못했으나 런웨이 Gen4 역시 상당히 높은 퀄리티를 갖추고 있습니다.)
특정 영상을 '의도를 가지고' 생성할 때 '시작하는 장면과 더불어 끝나는 장면(End frame)을 정할 수 있는가' 여부가 중요합니다. 프롬프트를 아무리 잘 써도 갑자기 만화스타일이 실사가 되는 식으로 튀어버리는데 엔드프레임을 넣을 수 있으면 이 부분 통제가 훨씬 수월합니다.
이 부분에서는 얼마전까지만 해도 Kling이 가장 우세했는데 Veo3가 최근 업데이트로 이미지를 받으면서 경쟁력을 갖췄습니다. 미드저니는 엔드프레임은 아직 지원하지 않음에도 스타트 프레임만으로도 영상이 튀지 않고 일관성을 안정적으로 유지합니다. Sora와 Gen4 모두 엔드프레임을 받지 않으며 중간에 이상한 장면으로 튀는 경우가 많았고, 그나마 둘 중에서는 Gen4가 의도 반영이 잘 되었습니다.
미드저니에서 4개나 되는 영상을 동시에 생성하는데도 속도가 정말 빠릅니다. 렌더링 시간과의 싸움이라고 할 수 있는 영상제작에서 속도는 몹시 중요합니다. Veo3는 기본 세팅인 영상 2개 생성 기준, Sora가 이미지를 생성할 때 드는 시간과 비슷한 정도의 시간이 걸렸으며 Sora가 체감 상 가장 느립니다.
가격은 플랜이 다양하여 직접 비교는 어렵습니다. 플랜 내에서도 입장료(!)를 내고 들어왔음에도, 생성에 따른 크레딧 소진이 발생하는데 '얼마만큼의 길이'를 '어떤 모델'로 만드는지 등에 따라 소진되는 정도가 다릅니다. 따라서 위의 표기는 정성적인 것으로, 비용 지불 대비해서 얼마나 자유롭게 영상을 찍어낼 수 있는지를 기준으로 이해해주시면 되겠습니다. 물론 챗GPT까지 제공하며(!) 크레딧 소진 없이 찍어낼 수 있는 Sora의 승리입니다 (그럼 뭐하나요 지 마음대로 만드는데).
그 외에도 세세하게 많은 특징과 장단점이 있습니다 - Veo3는 영상에 자연스럽게 사운드가 입혀지는엄청난 강점이 있고, flow 툴로 마음에 안 드는 포인트부터 다시 제작하고 영상시간을 연장할 수 있습니다. 미드저니 역시 extention으로 영상을 늘릴 수 있습니다. Kling은 최근 모션캡처 & 컨트롤 성능도 상당히 좋습니다. Sora는 실사 이외에는 상당히 약합니다.
모든 세세한 포인트를 완벽히 비교할 수 없지만 그럼에도 실사용해본 입장에서, 비디오 생성을 목적으로 현재 단 하나의 툴만을 구매한다면 현재는 미드저니를 추천드립니다. 이미지 생성 자체도 워낙 강력했었는데 영상에서도 역시나 안정적인 성능, 좋은 속도, 높은 가성비를 보여주고 있습니다. (미드저니 영상생성을 심도 깊게 분석한 뮹작가님의 아래 글을 추천합니다!)
챗GPT (또는 제미나이 또는 그록 등등)로 어떤 장면을 생성할지부터 의논하면 엄청난 아이디어까지는 얻지 못하더라도 깜빡하고 체크하지 못했던 포인트를 점검할 수 있습니다. 또한 어떤 비디오 생성툴로, 어떤 장면을 만들 것인지 알려주면 프롬프트를 디테일하게 뽑아줍니다.
Gallery, Explore 등 모든 비디오 생성기에는 다른 사람들이 이미 만들어 놓은 작품들을 보여주는 공간이 있습니다. 이 공간에서 의도한 스타일을 확인하면 쉽게 프롬프트를 복사할 수 있습니다. 또한 내가 생성하려는 대상을 키워드로 검색해 보는 것도 큰 도움이 됩니다
아직 Extend에서의 일관성 유지는 미드저니나 Veo3 모두 불안정합니다. 이미지조차 반복생성하면 변이가 쌓이는데 이미지들의 모음인 영상이야 오죽할까요? 따라서 한 번에 긴 영상을 제작하기보다 컷을 알맞게 나누고 프리미어나 캡컷 같은 영상편집 툴을 활용할 것을 추천합니다.
좋은 결과를 내기 위해서 다양한 노력을 하고 있지만 시중에 퍼져있는 노하우를 충분히 시도해보지는 못했습니다. 아직 더 나은 결과를 만들어주는 프롬프트 비법 공식이 있는가? 와 같은 부분은 여전히 불분명합니다 (개인적으로 프롬프트 보다 툴 자체를 바꾸거나 레퍼런스 이미지를 바꿔주는 것이 결과 개선에 더 도움이 되었습니다). 어제 쓰던 툴이 또 오늘 더 개선된 모습으로 나타나기에 학습속도 보다 툴의 발전속도가 더 빠르다보니 사용 스킬에 대한 부분이 완전히 정립되기 쉽지 않아 보입니다.
다만 비디오 생성AI가 가지는 장단점과 한계는 뚜렷합니다. 특정 스타일의 표현력에서 극대화된 장점들과, 이와 대비하여 간단한 디테일(크기, 개수, 논리적 오류 등)에서 무너지는 특성들을 잘 이해하고 역으로 여기에 잘 맞는 영상콘텐츠를 기획하는 것이 필요하겠습니다.
✍️ AI 기획자들의 이야기, 매주 받아보고 싶다면?
브런치 구독하기 버튼 꾹 눌러주세요!
#Veo3 #Kling #Midjourney #미드저니 #Sora #AI비디오생성 #AI영상제작 #영상AI #AI기획자