Sora VS Runway, 영상 생성 AI 전격 비교
Open AI, 영상 제작 AI Sora 발표
OpenAI에서 드디어 영상 제작 생성형 AI, 소라(Sora)를 발표했습니다. 대화를 할 수 있었던 Chat GPT에 이어 이제 영상을 생성하는 AI 모델을 만든 것인데요.
사실 영상 제작 AI의 등장이 소라(Sora)가 처음인 것은 아닙니다. 한 발 먼저 영상 생성형 AI 대표주자의 길을 걷고 있던 'Runway'가 있었죠. 런웨이(Runway)는 AI에게 동영상을 주고, 프롬프트를 통해 해당 동영상을 변환해 주는 첫 번째 모델에서 시작해 지금은 프롬프트로 세상에 없던 동영상을 새로 창조하는 수준까지 도달해 있습니다.
그렇게 생성되는 영상의 수준 역시 매우 뛰어난 편인데요. 그렇기 때문에 이번에 발표된 소라(Sora)의 등장에는 더욱 이목이 쏠릴 수밖에 없었습니다. 소라(Sora)는 과연 어느 정도의 수준의 영상을 만들어낼 수 있을지, 어떤 방식으로 영상이 만들어지는지, 더불어 소라(Sora)와 런웨이(Runway)는 어떤 차이가 있을지에 대해 많은 사람들의 기대가 부풀었습니다. 소라(Sora)와 런웨이(Runway), 누가 더 영상 제작을 잘 할지 직접 스파르타가 살펴보았습니다.
Sora VS Runway
본격적으로 비교에 들어가기 위해, 어떤 기준으로 어떻게 비교를 하면 좋을지에 대해 구성했습니다.
비교 조건
두 AI를 제대로 비교하려면, 제일 먼저 올바른 조건이 있어야겠죠. 우리는 그를 위해 아래와 같은 두 가지 조건으로 비교해 보기로 했습니다.
1. 양쪽 AI 모두에게 한 글자도 틀리지 않고 똑같은 프롬프트 입력하기
2. 그 프롬프트를 읽고 AI가 생성한 가장 첫 번째 작업물을 기준으로 하여 비교하기
입력 프롬프트
위의 조건에서 말한 것처럼, 당연히 프롬프트도 같아야겠죠. 최대한 다양한 장르와 분위기의 영상을 생성할 수 있는 간단한 프롬프트 6가지를 준비했습니다.
한복을 입은 스파르탄
괴물과 싸우는 고양이
울면서 웃는 남자
날개 달린 코끼리가 초록색 구름 위를 걷는다
심해에서 헤엄치고 있는 빛나는 솜사탕
우주에서 바라본 황폐해진 지구
Sora VS Runway 비교 : 누가 더 잘 만들었을까
다양한 결과물을 뽑을 수 있게, 조금은 비현실적이고 어색한 프롬프트도 입력해 보았는데요. 프롬프트별 결과물을 보여드릴게요.
한복을 입은 스파르탄
소라(Sora)는 거의 완벽에 가깝게 프롬프트를 구현했습니다. 특히 스파르탄이 들고 있는 방패에도 단청과 비슷한 문양을 넣었는데요. 입고 있는 갑옷 역시 한복의 느낌을 잘 살렸습니다.
런웨이(Runway)의 경우, 한복이라기보다는 동아시아 의복의 합성과 같은 느낌이 강했으며 구현된 사람은 스파르탄은 아니었습니다. 조금은 아쉬운 결과였네요.
괴물과 싸우는 고양이
소라(Sora)는 괴물도 고양이의 형태를 하고 있는 것으로 구성하였습니다. 아래에 첨부드린 영상을 직접 보시면, 작은 고양이가 괴물에게 뛰어들며 전기 공격도 하는데요. 꽤나 양질의 영상이었지만, 작은 고양이의 얼굴이 계속해서 괴물이 아닌 측면을 바라보는 형태인 것이 아쉬웠습니다.
런웨이(Runway)가 생성한 영상 역시 괴물을 고양이로 표현했습니다. 하지만 더욱 실제 고양이와 비슷한 형태였고, 마치 거대한 고양이와 같은 느낌이었죠. 괴물이 마구 달려오는 모습이었지만, 프롬프트에 들어간 '싸우는' 모습은 영상 내에 담기지 않았습니다.
울면서 웃는 남자
소라(Sora)의 영상에서는 웃고 있는 입과 눈물이 동시에 표현되었습니다. 프롬프트가 감정에 관한 것이었기에 어려울 수 있었지만, 기대보다 퀄리티가 뛰어났어요. 눈물이 떨어지는 모습은 살짝 부자연스러웠지만, 물의 느낌은 잘 살렸습니다.
런웨이(Runway)는 어딘가 모르게 슬픈 웃음을 짓고 있는 남자를 표현했습니다. 입은 웃고 있지만 눈과 눈썹의 움직임이 마냥 행복해 보이지 않았죠. 하지만 아쉽게도 '운다' 라는 것이 느껴지게 하는 가장 중요한 요소인 눈물이 없어 아쉬웠어요.
하지만 두 모델 모두 사람을 구현의 완성도가 매우 뛰어났습니다. 수염, 머리카락, 눈썹 등과 같은 가닥가닥을 표현해야 하는 부분도 자연스러웠고, 표정에 따라 움직이는 피부의 주름 등이 현실과 비슷해 놀라웠습니다.
날개 달린 코끼리가 초록색 구름 위를 걷는다
날개 달린 코끼리, 초록색 구름처럼 세상에 존재하지 않는 것을 만들어 달라고 하면 어떻게 될까요?
소라(Sora)는 마치 게임 속 천사 날개 아이템처럼 디테일이 잘 살아 있는 멋진 날개를 단 코끼를 생성했습니다. 그와 더불어 일반적인 하늘에 코끼리가 초록 구름을 타고 나타난 것처럼 표현했는데요. 구름을 3D 느낌이 나게 만들어 피규어 같은 느낌도 들었습니다.
런웨이(Runway)는 초록 구름의 질감 표현이 매우 사실적이었고, 색 역시 이질적이지 않고 부드러웠습니다. 실제로 코끼리의 피부 표면과 비슷한 느낌의 날개를 달았고요. 뒤쪽의 하늘 색과 잘 맞는 몽환적인 느낌이 인상적이었습니다.
이 프롬프트에서는 결과물 퀄리티의 차이가 있다기보다는 마치 정말 두 명의 예술가처럼 표현의 방식이 다른 것에 가까웠습니다.
심해에서 헤엄치고 있는 빛나는 솜사탕
이번에도 실제로는 존재하기 어려운 것에 대해 요청해 보았습니다. 솜사탕이, 빛나면서, 헤엄치고 있게 해 달라고 하면 어떨까요?
소라(Sora)는 솜사탕을 마치 정말 어딘가의 바닷속에 존재하는 생물처럼 그렸습니다. 몇 겹으로 이루어져 바닷속을 돌아다니는 모습이 아직 발견되지 않은 해양생물 같은데요. 솜사탕보다는 코팅이 된 플라스틱과 같은 질감이 아쉬웠습니다.
런웨이(Runway)의 솜사탕은 훨씬 실제 솜사탕에 가까운 모습이었습니다. 빛나는 부분이 작고 옅어서 약간 아쉬웠지만, 솜사탕이라는 오브제는 매우 자연스러웠습니다.
우주에서 바라본 황폐해진 지구
SF영화를 보다 보면 꼭 한 번쯤은 등장하는 장면이죠. 이 프롬프트에 대해서 두 모델은 각각 이렇게 표현했습니다.
소라(Sora)는 '우주에서 바라본' 지구라는 것에 집중한 모양입니다. 지구를 가까이서 보기보다는 정말 우주에서 한 걸음 떨어져서 바라본 듯 거의 지구의 구체가 전부 보일 정도로 멀리서 조망했어요.
런웨이(Runway)는 지구를 비교적 가깝게 바라보았습니다. 아래에서 보실 수 있는 실제 영상으로 보시면, 나름 지구의 불빛들도 영상에 포함된 것을 보실 수 있습니다. 다만 카메라의 앵글에 따른 대륙의 움직임이 부자연스러운 면이 있어 아쉬웠습니다.
두 AI 모두 '지구'를 표현하는 것에는 성공했지만, 프롬프트에 있는 '황폐해진' 이라는 말은 잘 살리지 못해 아쉬웠습니다.
Sora VS Runway : 결과는?
이렇게 다양한 영상들을 직접 만들어 보았는데요. 만들어 본 결과, 무엇보다 두 AI 모두 놀랄 만큼이나 뛰어난 결과물을 보여주었다는 것에는 이견이 없었습니다. 생각보다 훨씬 뛰어난 영상을 만들었죠.
제작 속도는 소라(Sora)가 조금 더 빠른 양상을 보여주었습니다. 만드는 영상의 기준이 비교적 프롬프트를 더 잘 반영하는 편이라, 실험을 하면서도 만족도 역시 소라(Sora)가 약간 더 높았습니다.
하지만 이는 어디까지나 개인적인 감상일 뿐이니, 참고만 부탁드립니다. 또 다른 프롬프트, 또 다른 환경에서는 어떤 결과가 나올지는 아직 아무도 모르는 일이니까요!
Sora VS Runway, 더 복잡한 영상 만들어 보기
하지만 이대로 끝내기는 뭔가 아쉽습니다. 위에서 해 본 것 같은 간단한 프롬프트가 아니라, 좀 더 복잡하고 긴 프롬프트에서는 어떨까요?
꼭 비교를 위해서만이 아니더라도, 과연 이 정도 수준의 영상도 생성이 가능할지에 대해 궁금해 직접 해 보았습니다. 이렇게 복잡한 프롬프트를 입력해 보았죠.
19세기 빅토리아 시대의 화려한 무도회,
사람들이 정교한 드레스를 입고 춤을 추는 가운데 거대한 샹들리에가 빛을 비추고 있으며
배경에는 클래식 음악을 연주하는 오케스트라가 있는 장면
포스트 아포칼립스 세계에서
황폐한 도시의 거리, 폐허가 된 건물 사이로 미래형 로봇이 방황하고 있으며
하늘은 붉은빛으로 물들고 거대한 달이 떠 있는 모습
이처럼 필요한 오브제가 많고 생성이 필요한 복잡한 요소가 많은 프롬프트에서는 어떤 결과가 있었을까요? 그 결과가 궁금하시다면, 아래의 직접 움직이는 영상으로 확인해 보세요. 더욱 놀라운 결과가 있습니다.
생성형 AI의 범위는 나날이 커지고 있고, 성장 속도는 점점 빨라지는 것처럼 느껴지기까지 합니다. 대화만 할 수 있었던 Chat GPT의 출시가 얼마 전 같은데 벌써 이미지 생성형 AI들의 존재가 당연해졌고, 이제는 영상 AI들의 수준이 급속도로 발전하고 있죠.
앞으로는 또 어떤 방향으로 AI가 발전하게 될까요? 기대되는 마음으로 AI의 소식을 계속해서 전해드릴게요.
