소라(SORA): 윌터의 상상은 현실이 된다
스타트업/오픈 AI/소라
벤 스틸러가 주연을 맡은 '윌터의 상상은 현실이 된다'라는 영화를 본 적이 있다.
자신의 꿈은 접어둔 채 먹고살기 위해 하루하루를 살아가는 윌터. 그의 유일한 취미는 상상이다. 나도 상상을 많이 한다. 상상은 돈이 안 들잖아...?
윌터는 상상 속에서만큼은 누구보다 용감한 영웅, 로맨스 영화의 주인공이 된다.
챗GPT로 유명한 오픈 AI가 소라(SORA)라는 AI모델을 발표했다.
텍스트를 영상으로 만들어주는 서비스인데 퀄리티가 놀랍다. 내가 소라를 처음 보고 든 생각이 바로 '윌터의 상상은 현실이 된다'라는 영화였다. 이제 여러분의 상상이 현실에서 영상으로 나오는 시대가 온 것이다.
아래는 우리 집 강아지들이 눈에서 노는 영상이다. 정말 귀엽다.
애들 이름이 뭐냐고? 사실 모른다. 소라(SORA)가 만들어낸 영상이기 때문이다.
처음보고 정말 놀랐다. 뭐가 영상이고 실제인지 구분이안될 만큼 퀄리티가 좋다.
소라(SORA) 소개
We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction.
Introducing Sora, our text-to-video model. Sora can generate videos up to a minute long while maintaining visual quality and adherence to the user’s prompt.
소라는 AI가 움직이는 물리적 현실 세계를 이해하고 시물레이션 하도록 가르치고 있다.
사용자가 원하는 메시지를 입력하면 최대 1분 길이의 비디오를 생성할 수 있다.
위의 영상은 실제 소라를 통해서 제작된 영상이다. 정말 퀄리티가 좋다.
프롬프트: 빨간색 모직 니트의 오토바이 헬멧을 쓴 30세 우주인의 모험을 담은 영화 예고편을 만들어줘. 푸른 하늘, 소금 사막, 영화 스타를, 35mm 필름으로 촬영한 색색 한 색상으로.
이번에는 애니메이션을 만들어 보자. 상상해 보자. 작고 귀여운 괴물이 나오는 애니는 어떠한가?
<입력 텍스트>
Prompt: Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.
프롬프트: 애니메이션 장면에는 녹는 빨간 양초 옆에 무릎을 꿇고 있는 짧고 푹신한 괴물이 클로즈업되어 있습니다. 아트 스타일은 조명과 질감에 초점을 맞춘 3D이며 사실적입니다. 괴물이 눈을 크게 뜨고 입을 벌린 채 불꽃을 바라보는 모습이 그림의 분위기에 경이로움과 호기심을 불러일으킨다. 그 포즈와 표정은 마치 처음으로 주변 세계를 탐험하는 것처럼 순수함과 장난기를 전달합니다. 따뜻한 색상과 드라마틱한 조명의 사용은 이미지의 아늑한 분위기를 더욱 돋보이게 합니다.
소라는 여러 캐릭터, 특정 유형의 동작, 피사체와 배경의 정학한 세부 정보를 기반으로 복잡한 장면을 생성할 수 있다. AI 모델은 프롬프트에서 사용자가 글로 요청한 내용뿐만 아니라 이러한 내용이 실제 세계에 어떻게 존재하는지 이해한다. 즉, 사용자의 지시만을 따르는 것이 아닌 실제 세계에 어떻게 존재하는지 이해해서 최종적인 결과물을 만들어준다.
소라(SORA) 약점
물론 완벽한 AI 모델은 아니다. 오픈 AI 홈페이지에는 소라의 약점에 대해서도 소개되어 있다.
The current model has weaknesses. It may struggle with accurately simulating the physics of a complex scene, and may not understand specific instances of cause and effect. For example, a person might take a bite out of a cookie, but afterward, the cookie may not have a bite mark.
The model may also confuse spatial details of a prompt, for example, mixing up left and right, and may struggle with precise descriptions of events that take place over time, like following a specific camera trajectory.
소라는 복잡한 장면을 정확하게 시물레이션 하는데 어려움을 겪을 수 있으며, 원인과 결과의 특정 사례를 이해하지 못할 수도 있다.
예를 들어서, 어떤 사람이 쿠키를 한 입 베어 물었지만(원인) 나중에 쿠키에 물린 자국이 없을 수도 있다(결과)
또한 왼쪽과 오른쪽을 혼합하는 등 여러분이 입력한 텍스트의 공간적 세부 사항을 혼동할 수 있으며, 시간이 지남에 따라 발생하는 이벤트에 대한 정확한 설명에 어려움을 느낄 수 있다.
개체수가 많아질수록 동물이나 사람이 갑자기 나올 수 있다. 아래 영상에서 중앙에서 아기늑대들이 뒤엉키면서 계속 나오는 것을 볼 수 있다.
프롬프트: 새끼 회색늑대 새끼 다섯 마리가 잔디로 둘러싸인 외딴 자갈길에서 서로를 쫓아다니며 신나게 놀고 있습니다. 새끼들은 달리고 뛰고, 서로 쫓아다니고, 서로 물어뜯으며 놀고 있습니다.
아래의 영상은 소라가 플라스틱 의자를 단단한 물체로 모델링하지 못한다. 마치 가벼운 종이처럼 묘사되며 의자가 바람에 날리는 영상이 결과로 나온다.
프롬프트: 고고학자들은 사막에서 일반 플라스틱 의자를 발견하고 세심한 주의를 기울여 발굴하고 먼지를 제거합니다.
소라(SORA)가 가져오는 변화들
AI는 정말 빠르게 학습하고 있다.
질문에 답변하던 챗GPT를 시작으로 사진, 음악 그리고 이제는 영상들까지 클릭 한 번이면 만들어내는 세상이다. 소라가 상용화된다면 가장 빠르게 적용될 곳은 어디일까?
가장 먼저 영상업계를 시작으로 많은 산업에 침투할 수 있을 것이다. 개인사업자들은 굳이 광고회사에 영상제작을 맡기지 않아도 될 것이며, 유튜버들은 더 많은 콘텐츠와 더 다양한 콘텐츠를 더 효율적으로 생성할 것이다. SNS는 어떠한가? 1분 미만의 쇼츠 시대가 오면서 AI가 만들어내는 1분 미만 영상들은 더 사용하기 좋아졌다.
물론 문제점도 있다. 오픈 AI에서도 이 부분을 인지하고 있으며, SORA를 사용할 수 있게 되기 전에 몇 가지 중요한 안전 조치를 취한다고 한다.
내가 생각하는 문제들
- 혐오스러운 영상
- 유명인 IP 문제
- 성적인 문제 -> 딥페이크 기술관련해서도 문제가 많았다.
- 넘치는 거짓 정보들 -> 사람들은 점점 현실과 구분이 어려워진다. 누군가는 AI 영상을 진실로 받아들인다.
그럼에도 불구하고
모든 기술은 혁신과 동시에 문제를 발생시킨다.
스마트폰은 편리함을 준 동시에 사람들과의 대화를 줄이기 시작했다.
SNS는 인간의 소통 욕망을 해결해 준 동시에 많은 사람들에게 소외감과 외로움을 줬다.
소라는 어떤 방향으로 나아갈까? 오픈 AI의 상상과 현실을 지켜보자.
