플레이브 드라이브 라방을 통해 보는 블라스트의 기술
버츄얼과 AR
작년 마마에서 이영지 님과 협연한 것을 본게 시작이었을 겁니다. 버츄얼 아이돌 그룹 플레이브라는 존재는 그들의 첫 앨범부터 알고 있었지만 게임업계이기에 오히려 익숙해서 넘겼던 것을, 마마 무대를 계기로 좋은 실력과 인간적 매력을 알게되고 덕질을 시작했습니다. 하지만 한가지 더 흥미를 끈 지점이 있었습니다. 플레이브라는 그룹이 모션캡쳐를 실시간 동시송출하는 버츄얼 아이돌이라는 점입니다.
2월 27일, 이 지점을 더욱 흥미롭게 만드는 컨텐츠가 등장했습니다. 드라이브 라이브가 그것입니다. 업계 외부인이기에 아이돌 그룹의 성공을 측정하는 KPI는 모르지만, SNS에서 피부로 느낀 팬덤의 반응은 좋았습니다. 덕분인지 3월 27일에는 이전 참여하지 않았던 멤버들 위주로도 해당 컨텐츠가 진행됬습니다.
플레이브(Plave)란?
드라이브 컨텐츠를 좀 더 살펴보기 전에 가볍게 사전 지식을 설명드려야 할 것 같습니다.
플레이브는 버츄얼 아이돌 그룹입니다. 한국에서 나고자란 이상, 아이돌의 다양한 매체 활동이나 Kpop의 성공적인 해외 진출 등으로 남녀노소 많이들 아이돌을 알고 계시지만, 버츄얼이라는 개념은 낯설 수 있습니다.
버츄얼 아이돌은 버츄얼 유튜버를 응용한 개념인데, 버튜얼 유튜버란 사람이 컴퓨터 그래픽의 캐릭터 움직여 유튜버 활동을 하는 것입니다. 2010년대 중반 일본에서 시작되어 2020년대에 전 세계적인 서브컬쳐 컨텐츠로 자리 잡았습니다. (위키백과) (슈퍼챗의 왕 복스 아쿠마, 영국 버튜버 중 첫 100만 구독 돌파)
즉, 버츄얼 아이돌이란 실제 사람이 얼굴이나 움직임을 추적하는 웹캠이나 모션캡쳐 수트 등의 기기를 활용해 가상 캐릭터를 움직여 아이돌 활동을 하는 것입니다. 이는 컴퓨터 프로그래밍으로 만들어지는 AI 아이돌과는 다르게 캐릭터 뒤에 실제 사람이 존재합니다.
여기서 흥미로운 부분은 이들이 인기를 끈 것은 아이러니하게도 버추얼이어서가 아닌, 아이돌로서 갖추어야 할 능력과 인간적인 매력 때문이라는 점입니다. 팬들 사이 ‘입덕부정기’라는 단어가 있을 만큼 많은 분들에게 버츄얼이라는 낯선 개념에 익숙해지기 위한 시간이 필요하며, 입덕포인트가 아이돌로서의 매력임을 알 수 있습니다. (Z세대가 빠진 버추얼 아이돌 ‘플레이브’ 완벽 정리 / "사람 아닌데 왜 좋아하냐고?"…3040 지갑 연 가상 아이돌 플레이브)
따라서 다음의 두가지 부분을 눈여겨 볼 만 합니다.
현실 사람이었다면 자연스럽게 노출될 일상과 스타일링이 희귀해집니다. 출퇴근, 식사, 운전, 외부 쇼핑, 다양한 색상과 스타일의 헤어, 간단한 악세서리와 신체 상호작용 등이 그것입니다. 역설적으로 기술적 응용과 도전이 가장 많이 필요한 부분입니다.
현실 사람이었다면 불가능한 행동이 특수효과 및 기술로 가능해집니다. 이펙트, 순간이동, 크기조절 등이 있습니다. 영화, 게임 등 시중에 많은 레퍼런스와 노하우가 있어 의외로 쉬운 부분입니다.
드라이브 라이브는 1에 해당하는 것으로, 일반 아이돌이었다면 컨텐츠의 목적은 드라이브 그 자체보다 아이돌이 가고자 하는 공간, 상황, 멤버간의 캐미였을 겁니다. 그러나 버츄얼 아이돌이기 때문에 많은 팬분들이 아이돌 컨텐츠에 기대하는 기본적인 니즈 뿐만 아니라 ‘어떻게 했을까?’와 같은 기술에 대한 궁금증도 많이 생기신 듯 했습니다.
그렇다면 드라이브 라방은 어떻게 구현되었을까?
저는 게임업계에서 UI 아티스트로 시작해 현재 UX 디자이너로 일하고 있는 9년차 실무자입니다. 해당 기술에 직접적으로 닿아있는 애니메이터, 리거, 모델러, 테크니컬 아티스트 혹은 게임플레이 프로그래머는 아니지만, 다년간 UX디자이너로서 게임 메카닉에 익숙하고 다양한 직군과 협업을 해왔습니다. 그 경험에 기반해 드라이브 라이브 방송의 대략적인 방식을 추론해 보았습니다.
1. 핸들 운전기기를 모션캡쳐 공간에 설치 후 엔진 내 가상공간에 형상화합니다.
2. 플레이브는 설치된 전방 모니터로 게임하듯 운전(차 및 운전기기는 고정), 게임처럼 구현되어 조작대로 가상현실 내 차가 움직입니다.
3. 가상현실 내 카메라와 모션캡쳐 공간 내 카메라를 적절히 섞어 현실감을 높인 뷰를 청자가 관람합니다.
1. 핸들 운전기기를 모션캡쳐 공간에 설치 후 엔진 내 가상공간에 형상화합니다.
(이미지 출처: CG맨님의 유튜브 / Vicon official website )
영상이 나온 직후 글의 초안을 작성했을 때는, 물체에 모션수트의 점과 같은 인식 센서를 달아 캘리브레이션 했을 것이라 추청했습니다. 인물 뿐만 아니라 물체도 가상공간에 형상화한 것입니다. 이후 3월 13일자에 나온 영상 CG 업계에서 일하시는 분들의 유튜브 방송을 통해 추측한 것이 얼추 맞았음을 확인했습니다. 또한 제약 없이 모든 물체를 인식할 수 있는 ‘Vicon’이라는 캘리브레이션 기기가 있다는 것을 알게되어 가상공간 내 매핑 방법에 대한 해상도가 올라갔습니다. (시연 영상)
2. 플레이브는 설치된 전방 모니터로 게임하듯 운전(차 및 운전기기는 고정), 게임처럼 구현되어 조작대로 가상현실 내 차가 움직입니다.
인물과 운전기기가 가상공간에 인식이 되면, 매핑된 드라이빙 기기에 플레이브가 앉습니다. 이미 가상공간(엔진)에서 카트라이더 같은 게임이 만들어져 있고, 운전기기를 이용해 드라이빙 게임을 할 수 있습니다. 이미지 내 기기와 같은 운전기기를 이용해 유로트럭, Need for speed, Forza와 같은 레이싱 게임을 하는 영상들을 보면 이해가 쉬우실 겁니다.
3. 가상현실 내 카메라와 모션캡쳐 공간 내 카메라를 적절히 섞어 현실감을 높인 뷰를 청자가 관람합니다.
플레이브는 이미 실제 운전에 필요한 상호작용을 하고 있기 때문에, 운전과 관련된 반응은 모두가 진짜입니다. 그러나 가상현실 내에서 조명, 바람과 같은 물리 효과 등이 그것을 감싸고 있고, 이를 교묘하게 섞어 출력할 수 있기 때문에 청자에게 신기한 현실감을 전달합니다. 출력 방식은 아래 2가지로 보입니다.
3-1. 모션 캡쳐 스튜디오 내 실물카메라에 언리얼 내 연산을 더해 출력합니다.
운전기기가 설치된 공간에는 움직임을 잡아내는 카메라가 여럿 설치되어 있을 것입니다. 이는 가끔 플레이브 멤버가 다른 멤버를 찍는 핸디캠도 활용 가능합니다. 이 또한 언리얼 내 버츄얼 환경과 캐릭터를 입히는 연산을 거쳐 출력할 수 있기 때문입니다.
3-2. 언리얼 내 카메라를 이용해 가상공간의 전경을 보여줍니다.
플레이브 멤버가 운전 기기를 통해 드라이브 게임을 하면 가상공간 내 차가 움직이고, 그 전경을 언리얼 내 카메라가 청자에게 보여줍니다. 예를 들어 Need for speed, Forza, 카트라이더와 같은 게임에서 도착지 골인 시 보여지는 카메라 연출을 생각하면 쉽게 이해되실 겁니다.
설비 등을 포함한 더 자세한 분석은 CG맨님의 유튜브를 참고해주세요. 대략적인 추측은 유사하나, 다양한 상호작용 및 버그 대응을 위해 자체 스크립팅이 필요한 게임업계와, 영상제작에 포커스가 맞춰져 엔진 내 기능을 활용하는 영상업계의 시각차이가 있어 보입니다.
점진적인 블라스트 기술 활용 발전사
작은 아이디어를 작은 기술로 시도하고 점진적으로 늘려가기
버츄얼 그룹이나 인기의 이유는 아이돌의 코어로, 때문에 아이러니하게도 팬들은 버츄얼이 아니었으면 쉽게 볼 수 있는 것들을 보고 싶어합니다.
아마 시작은 작은 아이디어와 물체들이었을 겁니다. 그러나 핵심은 변하지 않습니다. “무엇이 이들에게 현실감을 부여해줄 수 있을까?”, 조금씩 아이디어를 실험하고, 플레이브와 함께 테스트하고, 반응을 보며 점진적으로 확장해나갔을 겁니다.
인상적인 컨텐츠가 처음 구현되었을 시점을 기록해 보았습니다. 한번 진행하면 이미 기반 모델링이나 필요 기술이나 응용이 갖추어져 있다는 의미이므로 재현이 어렵지 않을 것입니다.
최초로 기술 테스트를 시행한 것으로 보이는 플레이브의 유튜브 컨텐츠를 기록해봤습니다. 혹시 잘못 기록된 것이 있다면 제보 부탁드립니다!
앞으로의 응용을 예상컨데
드라이브 컨텐츠를 지금 우리가 보고 있다는 것은 이미 이 기획이 최소 몇개월 전부터 완성되어 테스트까지 끝났음을 의미합니다. 아마도 지금도 블라스트 기술팀과 기획팀은 팬들의 반응을 발판삼아 많은 아이디어들을 발산하고, 준비하고, 완료해 테스트 중일 것입니다.
그렇다면 예상 가능한 다음 컨텐츠는 무엇이 있을까요? 분명 사측에서는 팬들이 만드는 멤버들의 이미지 합성이나 팬아트, 그에 대한 반응 등을 토대로 팬덤의 니즈를 유추해 리스트업하고, 응용 혹은 구현 난이도에 따라 플래닝을 했을 겁니다. 댓글을 통해 다양한 의견을 전달해주시면, 아래 리스트에 반영하여 수정해보도록 하겠습니다.
(최신 업데이트: 25년 4월 9일)
블라스트의 AR 기술에 집중해 들여다보면
플레이브의 현재진행중인 성공에 힘입어 다양한 사용자들의 니즈를 볼 수 있는데, 흥미로운 것은 인기의 이유가 아이돌 정체성이기에 팬들은 블라스트가 엔터 회사로서의 롤을 잘 해주길 기대합니다.
하지만 역설적으로 버츄얼 아이돌의 성공은 기술적 난제를 잘 해결해야 팬들의 니즈를 해결할 수 있습니다. 따라서 IT 스타트업으로서의 정체성 또한 블라스트의 핵심 요소라 볼 수 있습니다. 버츄얼 아이돌과 기술은 반비례가 아닌 정비례 관계인 점이 이 새롭고 흥미로운 산업의 독특하고 재미있는 부분입니다.
미디어에서 출발한 블래스트는 VR이 아닌, AR회사다. 모든 아이디에이션은 스크린 송출 기반이다.
가상현실과 현실을 잇는 방식은 여러가지가 있습니다. 그 중 비교적 대중적인 2가지 방식을 안내드립니다.
VR (Virtual reality): 가상현실. 컴퓨터 시스템 등을 사용해 인공적인 기술로 만들어 낸, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미. 이해가 쉬운 예시로, VR챗이 있습니다. (위키백과) (장항준 감독+문상훈 VR챗 상담 컨텐츠)
AR (Augmented reality): 증강현실. 가상현실(VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법. 이해가 쉬운 예시로, 모바일 기기를 통해 투영하는 게임, 포켓몬 고가 있습니다. (위키백과)
시청자가 가상현실로 들어가지 않고, 현실에서 2d 디지털 스크린으로만 상호작용 한다는 점에서 플레이브가 채택한 방식은 AR이라 할 수 있습니다. 때문에 블라스트 CTO 이현우씨가 개인 X에서 AR 언급을 한 듯합니다.
앞으로의 블라스트에서 보여주었던, 앞으로 보여줄 다양한 기술과 그 응용은 AR의 범주 아래에서 이루어질 것입니다.
언제나 기술 이전에 사람의 니즈가 있다
결국 기술은 도구이며 이를 어떻게 활용해 사용자의 니즈를 맞출것인가가 핵심입니다. 불을 피워낸 이래 인간사 기술은 사람의 필요에서 탄생하며 아무리 정밀하고 고도화된 기술도 사용되지 않으면 잊혀집니다.
직전 언리얼 패스트에서 발표한 기술을 바로 사용한 것이라는 이야기가 X 내 팬덤에서 많은 RT가 되는 것을 보았습니다. 기술의 발전이란 점진적으로 유저의 니즈에 맞게 정밀도를 올려가는 과정이므로 아스테룸 드라이브 방송에 사용됬을 수도 있고, 아닐 수도 있습니다.
기술 그 자체보다는 AR을 동시송출함에도 어떻게 현실감을 부여할수 있는가에 대한, 청취자의 니즈를 위해 기존 기술을 응용, 탐구하는 그 자체가 대단한 점이라고 생각합니다. 그런 의미에서 플레이브는 좋은 진보를 보여준다고 생각합니다.
더해, 기술이 다양한 프로그래밍 분야를 뭉뚱그려 이야기되는 것을 종종 보는데, 좀 더 정밀하게 AR과 3D 연산에 대한 스크립트와 노하우라는 점을 짚고 싶습니다. 게임업계에서도 3D 공간 내 연산을 담당하는 프로그래머(gameplay programmer), 인터페이스를 담당하는 프로그래머(클라이언트 혹은 UI programmer), 서버 아키텍쳐를 담당하는 프로그래머(Server programmer)가 필요로 하는 지식과 경험은 다릅니다.
버튜얼 아이돌 프로젝트를 넘어 기술 자체의 비즈니스적 가치는
헐리웃이나 게임 모션 캡쳐 영역에 이미 선례가 있을 수 있습니다만, 이러한 실시간 동시송출 기술은 많은 가능성을 품고 있다고 생각합니다. 약 2016년도 쯤, 할리우드 마블 영화의 다양한 FUI VFX를 담당했던 Territory studio가 한국에 강연 왔을때, 강연 후 연사와 짧게 이야기를 나누었는데요. VFX 뿐만 아니라 배우의 연기를 돕기 위해 현장에 프로토타입 수준의 간단한 VFX를 디스플레이에 띄워준다 이야기하신 것이 기억납니다.
플레이브가 필요에 의해 쌓고 있는 이러한 기술적 노하우는 이후 이러한 VFX 영역에 좋은 셀링포인트가 되지 않을까요? 혹은, 이미 큰 시장을 형성하고 있는 기존 버츄얼 산업에 좋은 통찰을 줄 지도 모릅니다. 이미 그들도 다양한 콘서트를 진행하고 유튜버로서 활발한 활동을 이어나가고 있으니까요.
이런 새로운 필요와 이로인한 창발성이야말로 인류사의 기술발전을 이룬, 전쟁이 아닌 선한 동기가 이끄는 기술 발전이라 믿습니다. 블라스트와 플레이브의 앞으로의 다양한 창발성을 응원합니다.
