프롬프트로 영상 언어를 익혀가는 중입니다.
그동안 미드저니로 정적인 이미지를 만드는 데 집중했다면, 오늘은 좀 더 역동적인 영역으로 발을 들여봤어요!
바로 '영상'입니다. 프롬프트 한 줄로 상상하는 모든 장면을 구현해 주는 AI 영상 툴, Runway(런웨이)를 심층적으로 다뤄봤습니다.
텍스트만으로 카메라 연출까지 가능한 Runway, 과연 어디까지 가능할까요?
최근 미드저니에서도 ‘Video’ 기능이 추가되었는데요, 미드저니로 생성한 이미지를 움직이게 할 수 있도록 만들었어요.
Midjourney는 ‘움직이는 그림’에 가깝다면 Runway는 훨씬 더 정교한 장면 설계와 카메라 제어가 가능해요!
Text to Video
문장만으로 새로운 영상을 생성할 수 있어요.
Image to Video
미드저니에서 만든 이미지에 움직임을 입히는 것도 가능해요.
Video to Video
기존 영상의 스타일을 바꾸거나, 장면 일부를 AI로 대체할 수도 있어요.
Gen- 모델 기반
독자적인 AI 모델을 바탕으로 고화질, 정교한 영상 생성이 가능합니다.
카메라 제어, 움직임 조절 가능
단순히 장면을 생성하는 걸 넘어, 카메라 앵글과 인물의 움직임까지 프롬프트로 설정할 수 있고 프리셋으로 제공하기도 합니다.
가장 최근 업데이트 된 기능 Act‑Two
Act-Two는 움직이는 퍼포먼스 비디오만으로 얼굴, 머리, 손, 몸 전체의 디테일한 움직임과 표정, 심지어 음성까지, 그 움직임을 입히고 싶은 캐릭터에 그대로 적용할 수 있는 AI 모션 캡처 기능이에요!
실사 배우의 연기를 2D/3D 캐릭터에 이식하는 콘텐츠 제작이 손쉬워지는 기능입니다.
그럼 Runway에서 영상을 만들 때 프롬프트를 어떻게 써야할까요?
GPT 쓸 때처럼 말하듯 쓰는 건 잘 안 통하더라고요.
❌ “두 친구가 생일 케이크 먹는 영상 만들어줄래?”
✅ “두 친구가 생일 케이크를 먹는다”
이렇게 직관적이고 설명형 문장으로 써야 원하는 장면이 잘 나옵니다.
또 하나, 부정적인 표현보다는 긍정적이고 구체적인 묘사가 더 효과적이에요.
❌ “하늘에 구름 없이 맑게”
✅ “맑고 푸른 하늘”
Runway 실습 시간에 배운 프롬프트 구성 공식을 정리해 볼게요.
아래 요소들을 조합해서 문장을 만들면 됩니다.
Runway의 가장 강력한 기능 중 하나는 카메라 움직임과 촬영 방식도 프롬프트로 설정할 수 있다는 점이에요.
실습 시간에 배운 주요 카메라 기법들을 정리해 볼게요.
영상 연출에 익숙하지 않은 분들도 이해하기 쉽게 설명과 활용 예시를 함께 넣어봤습니다!
카메라가 좌우로 회전하면서 피사체를 따라가거나 공간을 보여주는 기법.
활용법: "Camera movement" 또는 "Motion" 옵션에서 Pan Left, Pan Right 선택 가능
예시: 도시 전경, 패션쇼 런웨이, 자연 풍경
카메라를 위아래로 움직여 피사체의 높이나 크기를 강조하는 기법.
활용법: "Tilt Up" 또는 "Tilt Down" 같은 키워드를 프롬프트에 넣거나 camera motion 프리셋 중 해당 옵션 선택
예시: 고층 건물 위로 올라가는 연출, 인물의 위엄 강조 장면
카메라 렌즈를 이용해 피사체에 가까워지거나 멀어지게 표현하는 방식.
활용법: prompt에 “zoom in on the face” 또는 “gradual zoom out from the scene” 같이 기술
예시: 감정 표현, 클라이맥스 장면 전환
카메라가 피사체와 함께 앞뒤 또는 좌우로 이동하는 기법.
활용법: 프롬프트에 dolly in to the character, dolly back, tracking shot 입력
예시: 인물을 따라가는 장면, 영화 같은 이동 컷
인물을 따라 움직이며 카메라가 항상 피사체를 중심에 두는 방식.
활용법: follow camera, character tracking 같은 키워드 사용
예시: 달리는 인물, 공간을 이동하는 장면
위에서 아래로 내려다보는 시점 연출.
활용법: “bird’s eye view of a city” 또는 “top-down angle” 등으로 입력
예시: 도시 전경, 대규모 군중, 드론 영상 느낌
카메라의 흔들림을 활용해 현실감, 몰입감을 높이는 기법.
활용법: “handheld camera feel” 또는 “shaky cam effect” 등으로 지시
예시: 다큐멘터리, 전쟁 장면, 급박한 움직임
Runway를 사용해 보면서 가장 놀라웠던 건 예전엔 개인이 촬영하기 어려웠던 장면과 연출이 프롬프트 한 줄로 만들어진다는 사실이었어요.
예를 들어,
영화처럼 카메라가 인물을 따라가고
하늘에서 도시를 내려다보거나
초고속으로 질주하는 1인칭 시점 장면까지
이전에는 장비, 로케이션, 인력, 예산이 다 필요했던 연출들이 이젠 텍스트만으로 ‘생성’된다는 게 정말 놀랍더라고요.
시간과 비용을 줄이면서 상상력을 실현할 수 있게 해주는 도구라고 느껴졌어요.