플레이브는 AI가 아니에요!
‘버추얼 아이돌’ 단어 바로잡기
좋은 일이다. 플레이브에 대한 인기가 점점 늘고 있다. 팬카페 회원 수도 6만 명을 넘겼고, 플레이브를 소재로 한 뉴스 기사도 종종 찾아볼 수 있게 되었다. 나의 아이돌은 워낙 다재다능하다 보니 유명해지고 있는 느낌이 드는 건 기분이 좋다.
다만 꼭 정정하고 싶은 말이 있다. 플레이브는 AI가 아니다. 플레이브는 쉽게 말해 디지털화된 펭수다. 겉모습은 아바타의 형식을 띠고 있지만 목소리와 행동은 실제 사람이다. 많은 부분이 기술로 되어 있지만 그렇다고 처음부터 끝까지 기술로 이루어진 존재는 아닌 것이다. 하지만 이 설명이 사람들에게는 쉽게 와닿는 말은 아닌지, 몇몇 기사를 보면 플레이브를 AI 아이돌이라고 평하는 글을 굉장히 많이 보곤 한다.
그럴 때마다 팬들(=플리)은 정정 기사를 요청하곤 하는데, 나 또한 한 명의 팬으로서 너무도 아쉬운 일이다. 왜 몰라주는데! 우리 애들은 AI가 아니라고! 혼자서 조용한 분개를 하고 있을 때, 그런 생각이 들었다.
근데 진짜 왜 헷갈려하는 거지?
나는 그 원인을 “버추얼 아이돌”이라는 명사에서 기인되었다고 혼자 생각하곤 했는데, 얼마 전에 문득 그런 생각이 들었다. 그럼 이 둘을 어떻게 나눠서 생각해 볼 수 있을까? 그러한 배경으로 나 혼자만의 “버추얼 아이돌” 단어 고찰 및 새로운 단어 탐구를 위해 소소하게 글을 적어본다.
* ‘버추얼 휴먼’ ‘버추얼 가수’ ‘버추얼 유튜버’ 등, 버추얼을 사용하고 있는 다양한 종류의 자료를 인용/참고했습니다. 각각의 항목에 차이는 존재하나, 본 글에서는 ‘버추얼’ 자체에만 주목하여 세세한 영역은 고려하지 않았습니다.
(좌) 플레이브 / (우) 메이브플레이브는 버추얼 아이돌이다. 방송사에서 그렇게 부르기도 하고, 플레이브 또한 자신들의 입으로 버추얼 아이돌이라고 부르니까. 그런데 신기한 일이다. MAVE: (메이브 / 본 글에서는 ‘메이브’로 통칭)는 처음부터 끝까지 기술로 만들어진 말 그대로 AI 아이돌인데, 메이브 또한 버추얼 아이돌이란다.
하나는 기술+사람이고 다른 하나는 기술 Only인데도 같은 단어를 쓰고 있는 것이다. (사실 두 영역 모두 ‘사람’의 존재가 있지만, 일단 간단히 분류하자면 그러하다.)
왜지? 같은 듯 보여도 이 둘은 명백히 다를 텐데!
그래서 우선 버추얼 아이돌이라는 단어를 톺아보기로 했다. 먼저 “버추얼”에 관해서다. 버추얼의 사전적인 의미는 다음과 같다.
virtual
1. [형용사] 사실상의, 거의 … 과 다름없는
2. [형용사] (컴퓨터를 이용한) 가상의
출처 : 네이버 영어사전
단순히 사전적인 의미를 생각하면 2번 의미인 ‘가상’과 밀접해 보인다. 그리고 VR이라고 불리는 가상현실(= Virtual Reality)을 빗대어 생각해 봐도 2번인 가상을 의미하며, 여기서 비롯된 명칭이라 생각해 볼 수 있다.
2020년 전후로 버추얼 휴먼에 대한 관심이 다시 높아진 것은 메타버스의 등장 때문이다. 메타버스라는 공간에 몰입하기 위해서는 나와 유사한 존재가 필요했고, 그 존재가 바로 버추얼 휴먼이었다.
출처 :
노창희, "가상인간이 그리는 무궁무진한 미래", 미래에셋증권, 2023.04.11
버추얼에서 버추얼 휴먼이 주목받기까지는 이런 배경이 있었다고 한다. 버추얼 휴먼은 가상 세계가 대두됨에 따라 그 필요성이 나타났는데, 시기를 생각했을 때 코로나의 영향이 있지 않았을까. 비대면이 보편화가 되고 메타버스가 일상생활에 녹아들면서 버추얼 휴먼이라는 존재가 자연스럽게 나타난 것으로 보인다.
버추얼 휴먼에 관하여
버추얼 휴먼은 어떤 존재라고 할 수 있을까.
버추얼 휴먼은 인간과 유사한 모습과 행동 패턴을 가진 컴퓨터 속 인간이다. 넓은 의미에서는 애니메이션 캐릭터를 활용한 버튜버(버추얼 유튜버)와 유명 연예인을 캐릭터화한 디지털 트윈까지 포함하지만, 좁은 의미에서는 실제 인간과 구분가지 않을 정도로 정교한 실사 그래픽과 쌍방향 소통이 가능한 인공지능(AI)을 모두 갖춘 존재를 말한다.
출처 :
서동민, "[폭발하는 디지털 휴먼 시장①] 게임과 결합한 버추얼 휴먼", 그린포스트코리아, 2023.05.12
버추얼 휴먼은 크게 2D 애니메이션 스타일의 ‘캐릭터형’과 3D 아바타로 구현된 ‘실사형’으로 구분할 수 있다.
출처 :
김유나, "K-버추얼 아이돌의 세계", 방송영상콘텐츠&인사이트, 2023.09.25
가상세계에 존재하는 사람을 버추얼 휴먼이라고 통칭하며, ‘캐릭터형’과 ‘실사형’ 두 종류로 나누어 생각해 볼 수 있다. 그리고 ‘캐릭터형’이 더 넓은 범위의 버추얼 휴먼을 의미하며, ‘실사형’은 그 안에 있는 더 세밀하고 작은 부분을 지칭한다고 한다. 그러니까 쉽게 말해서 위에서 언급한 예시를 들어 말해보자면 플레이브가 ‘캐릭터형’, 메이브가 ‘실사형’이라고 말할 수 있다.
현재 엔터테인먼트업계와 유통업계에서 활발하게 활동 중인 대부분의 버추얼 휴먼들은 전자에 속한다. 이들은 AI을 사용하지 않는다. 대신 정체를 숨긴 배우가 캐릭터를 연기하고, 합성 기술을 통해 얼굴만 버추얼 휴먼으로 바꾼다. 이는 20여 년 전 반짝 인기를 구가했던 사이버 가수 ‘아담’의 시스템과 비슷하다. 겉모습은 눈부시게 발전했지만 속은 여전히 구닥다리인 반쪽짜리 버추얼 휴먼인 셈이다.
반면 게임업계가 지향하는 버추얼 휴먼은 후자다. 그간 게임 개발을 통해 쌓은 캐릭터 모델링 노하우와 AI 기술을 고품질 버추얼 휴먼을 구현하는데 십분 활용할 수 있기 때문이다. 실제 넷마블과 스마일게이트가 내놓은 버추얼 휴먼의 그래픽 품질은 실제 인간과 거의 동일한 수준에 근접했다는 평가를 받는다.
그래픽 수준에 비해 다소 더디지만, AI도 발전하고 있다. 넷마블과 스마일게이트가 내놓은 버추얼 휴먼들은 다양한 AI 기술이 적용됐으며, 엔씨소프트도 버추얼 휴먼과 자연스러운 상호작용이 가능한 AI 기술 개발에 박차를 가하고 있다.
출처 :
서동민, "[폭발하는 디지털 휴먼 시장①] 게임과 결합한 버추얼 휴먼", 그린포스트코리아, 2023.05.12
단순히 포괄하는 범위의 차이로 캐릭터형과 실사형으로 나뉘는 건 아닌 듯하다. 위의 내용에 따르면 현재(혹은 비교적 이 근래)에는 업계에 따라 주로 사용하는 버추얼 휴먼이 다르지만, ‘실사형’이 최종적으로 지향하는 단계이며, ‘캐릭터형’은 그 과도기적인 단계인 걸로 비친다.
그러니까 다시 말해서, 버추얼 휴먼은 사람의 중간 개입 없이 오롯하게 기술로서 성립하는 형태가 ‘가장 바람직하다’고 할 수 있는 것이다. 그 이유로는 버추얼 휴먼이 지향점이 인간과 유사함을 구현해 내는 데 있기 때문에.
버추얼 휴먼을 외적인 특징과 목표 지점 관점에서 두 분류로 나누어보았는데, 그럼 더 나아가 버추얼 아이돌은 어떻게 보면 좋을까.
한국방송광고진흥공사의 강신규가 발표한 ‘디지털 휴먼의 앞면과 뒷면’에 따르면 버추얼 휴먼을 브이튜버VTuber, 버추얼 인플루언서Virtual Influencer, 버추얼 아티스트Virtual Artist로 나누고 있다.
출처 :
강신규, "디지털 휴먼의 앞면과 뒷면", 미디어스, 2022.08.17
버추얼 가수는 (중략) 즉, 실제 인간이 아닌 소프트웨어로 만든 가상의 인간이 사이버공간을 기반으로 활동하는 가수 캐릭터를 가리킨다. 외모는 3D 컴퓨터 그래픽 기술이나 인공지능을 기반으로 제작되며, 목소리는 가수나 성우가 입히거나 음성합성기술을 통해 구현된다
출처 :
이연경, 김현지 and 박건우. (2022). 메타버스를 이용한 버추얼 가수의 유형 제시 및 현황 연구. 한국엔터테인먼트산업학회논문지, 16(6), 107-121.
버추얼 휴먼이 하고 있는 역할에 따라서 세 가지로 나누어볼 수 있다고 한다. 해당 맥락에서 버추얼 아티스트를 버추얼 가수와 버추얼 아티스트를 포괄하는 개념으로 인지할 수 있을 것으로 보인다.
버추얼 가수는 말 그대로 가상공간에서 가수의 역할을 수행하는 가상 인간인데, 이 영역에서도 다시 캐릭터형과 실사형을 나눠서 볼 수 있다. 플레이브와 메이브가 그렇듯이. 가수로서의 캐릭터형과 실사형에는 어떤 특징이 있는지, 캐릭터형과 실사형에 대해 조금 더 깊이 살펴보기로 했다.
캐릭터형에 관하여
(좌 → 우) 플레이브 / 이세계아이돌 / APOKI버추얼 캐릭터 가수는 3D 그래픽으로 만든 가상공간의 디지털 휴먼 즉, 새롭게 창조된 가상의 3D 컴퓨터 캐릭터로 사람의 행동을 그대로 따라 하고, 캐릭터의 모션에 목소리를 더하는 방식으로 구현된다. 이것은 생방송 혹은 영상 제작 등의 방법으로 팬들과의 소통에서도 활용되고 있다.
출처 :
이연경, 김현지 and 박건우. (2022). 메타버스를 이용한 버추얼 가수의 유형 제시 및 현황 연구. 한국엔터테인먼트산업학회논문지, 16(6), 107-121.
먼저 캐릭터형에 관해서다. 해당 자료에서는 버추얼 캐릭터 가수라는 이름으로 이 영역을 나타내고 있었다. 위에서 설명한 버추얼 휴먼 - 캐릭터형과 유사하게 개념을 가져간다. 그러니까 기술 뒤에 사람이 명백하게 숨어있는 것이다. 해당 자료에서 예시로 들었던 이세계아이돌이나 APOKI를 살펴보아도, 버추얼 캐릭터 가수는 오롯하게 기술로만 이루어지지 않는다.
그 이유가 보다 사람 특유의 리얼리티를 가져가고자 함인지는 알 수 없었다. 하지만 반드시 그 뒤에 특정 사람이 존재하는 것이다. 이것이 캐릭터형이 갖는 가장 큰 특징이 아닐까.
캐릭터형 버추얼 휴먼에 대해서 더 알아보기 위해서 버추얼 유튜브에 대한 자료도 조금 살펴보았다. (아무래도 버추얼 캐릭터 가수와 유사하게 동작하고 있고, 캐릭터라는 특징이 가장 잘 드러나니 참고가 되지 않을까 하는 기대가 있었다. 그리고 예시로 들었던 이세계아이돌의 경우, 버추얼 유튜버에서 시작되었다는 점도 참고 근거가 되었다.)
버추얼 유튜버는 2D/3D 모델링에 불과했던 가상 캐릭터가 유튜브 콘텐츠를 통해 버추얼 유튜버 역시 단순히 디지털 그래픽으로 만들어진 가상의 산물이라기보다는 인간 시연자의 행위가 정보화되어 형성된 물질적-정보적 개체라 할 수 있다. 즉 버추얼 유튜버의 신체는 디지털화를 통해서 가상성을 획득한 것으로, VR 시연자가 잠재화·형상화되는 과정을 거쳐 허구적 캐릭터로 생성된 것.
(중략)
캐릭터는 플레이어의 행위와 감정이 가상 세계의 캐릭터에 그대로 투영된다는 점에서 일종의 아바타(avata)라고 볼 수 있다. 따라서 사용자의 행위가 허구적 캐릭터를 형성하는 과정, 즉 신체적·물리적 결합이 일어나는 과정까지의 버추얼 유튜버는 아바타로 존재한다. 그러나 이후 시연자와 버추얼 유튜버의 정체성이 분리되는 과정이 나타난다.
(중략)
버추얼 유튜버의 외적 자아가 변화하더라도, 그가 가진 내적 자아가 유지됨을 보여준다. 즉 버추얼 유튜버라는 가상 캐릭터는 시연자의 외적 자아가 아니라, 허구성을 띤 내적 자아에 기반해 있다고 할 수 있다.
출처:
김초영, 한혜원. (2020). 버추얼 유튜버의 주체화 연구. 인문콘텐츠,(58), 187-209, 10.18658/humancon.2020.09.187
버추얼 유튜버는 인간 시연자의 행위가 정보화되어 형성된다는 점, 캐릭터는 플레이어의 행위와 감정이 가상 세계의 캐릭터에 그대로 투영된다는 점, 그리고 시연자와 신체, 행위, 물리성을 결합하면서 동시에 정신, 자아, 정보성을 분리하는 과정이 있다는 점에서 그 특징이 두드러진다.
다시 말해 캐릭터를 연기하는 사람의 언행이 캐릭터라는 매개를 통해 보이게 되지만, 캐릭터(혹은 아바타)를 연기하는 자아와 실제 그 캐릭터로서의 자아, 이렇게 두 가지로 분리되어 있는 것이다. 그리고 기반에 두고 있는 자아는 캐릭터로서의 자아라고 할 수 있다.
쉽게 말해서, 펭수를 예로 들어 설명해 보자면, 펭수에게도 펭수를 연기하는 사람과 펭수라는 캐릭터, 이렇게 두 개의 요소가 있어야 비로소 펭수가 존재할 수 있다. 이때 우리는 펭수를 바라볼 때 펭수를 연기하는 사람에는 크게 관심을 갖지 않고 오로지 캐릭터 펭수에게만 집중한다. 실제로 펭수를 연기하는 사람도 펭수로서의 언행을 취한다.
그렇기에 해당 자료에서는 외적 자아가 내적 자아를 표현해 내기 위한 준비가 필요하다고도 했다. 부여된 세계관과 특징에 맞게 말하고 행동하기 위해서 많은 학습이 필요할 터다. 하지만 외부 자아가 존재하기 때문에 가끔 세계관에 벗어나는 말을 할 수도 있겠지만.
결국 사람이 개입되어 사람이 하는 일이다 보니, 100% 통제 가능하기란 쉽지 않을 것으로도 보인다. 그리고 이는 버추얼 캐릭터 가수도 동일한 특징을 갖고 있다고 판단할 수 있을 것이다. (예를 들어, 플레이브는 카엘룸이라는 외계 세계에서 사는 존재라, 지구 문화를 잘 몰라야 하는 콘셉트인데 전국 이곳저곳 맛집을 너무 잘 안다든가. 갑자기 사투리가 불쑥 튀어나온다든가.)
실사형에 관하여
(좌 → 우) 메이브 / 이터니티 / 한유아버추얼 휴먼은 인간과 유사한 모습으로 이용자와 상호작용을 하지만 실제 존재하지 않는 가상의 인물을 지칭한다. 인공지능과 3D 컴퓨터 그래픽, 모션 캡처, A.I기술 등의 기술로 제작되어 ‘버추얼 휴먼’이 탄생하였으며, 주로 방송, 엔터테인먼트, SNS 등 각종 미디어 플랫폼에서 큰 영향력을 행사하고 있다. 이들은 실제 인간과 비슷한 모습으로 온라인 콘서트 및 SNS 등을 통하여 팬들과의 의사소통과 정보공유를 하며, 사회적 관계를 형성하고, 동시에 마케팅 분야까지 진출하였다
출처 :
이연경, 김현지 and 박건우. (2022). 메타버스를 이용한 버추얼 가수의 유형 제시 및 현황 연구. 한국엔터테인먼트산업학회논문지, 16(6), 107-121.
해당 자료에서는 버추얼 휴먼 가수라는 명칭을 사용했는데, 실사형의 경우, 말 그대로 사람의 모습을 전면적으로 나타낸다. 그러나 그 뒤에 진짜 사람은 없다. 물론 모션 캡처를 위해서는 사람의 도움이 필요하고 인공지능으로 버추얼 휴먼 가수의 성격, 말버릇 등을 구현해 내기 위해 다양한 사람의 정보를 사용했을 터다.
하지만 모션 캡처를 한 사람이 ‘펭수처럼 춤을 춰야 해!’라는 생각을 갖고 하는 것이 아닌, 정말 말 그대로 동작만을 제공한 셈이다. 캐릭터의 성격과 말버릇 등은 특정 누군가가 ‘펭수처럼 말을 해야 해!’라는 생각으로 연기를 한 것이 아닌 그저 데이터의 총합인 것이다.
보다 사람과 같이 보일 수 있도록. 어떻게 보면 정말 버추얼 휴먼인 것이다. 말 그대로 휴먼.
실사형 가수의 대표적이라고 할 수 있는 메이브도 휴먼으로서 보이기 위해 많은 기술이 도입되었다고 한다.
‘메이브’는 넷마블에프앤씨의 AI, 버추얼 휴먼 제작 등의 기술력과 카카오엔터테인먼트의 음악 아티스트 기획제작 역량이 결합해 탄생한 걸그룹이다. 시우, 제나, 타이라, 마티 등 4인의 버추얼 휴먼으로 구성됐다.
(중략)
‘메이브’의 외형은 3D 제작 플랫폼 언리얼 엔진으로 제작됐다. 언리얼 엔진은 쉽고 빠르게 버추얼 휴먼을 만들 수 있는 클라우드 앱 ‘메타휴먼 크리에이터’를 제공한다. 여기에 넷마블은 그동안의 게임 개발 노하우를 접목해 캐릭터의 헤어와와 옷의 움직임에 사실감을 더했다.
댄스 등의 액션은 모션캡쳐를 이용하여 움직임을 따와 다시 작업하는 과정을 거쳤으며, 목소리에는 넷마블의 AI 언어 기술이 적용됐다.
출처 :
서동민, "[폭발하는 디지털 휴먼 시장①] 게임과 결합한 버추얼 휴먼", 그린포스트코리아, 2023.05.12
외형은 게임 개발 노하우, 댄스는 모션 캡처, 목소리는 AI 언어 기술.
캐릭터형에서는 외부 자아(=캐릭터를 연기하는 사람)와 내부 자아(=캐릭터)가 구분되어 있었다면, 실사형은 외부 자아와 내부 자아의 구분이 없다고 할 수 있을 것이다. 이 버추얼 휴먼은 그 버추얼 휴먼 자체로 존재하는 것이다. (애초에 자아라는 말이 어울리지 않을 수 있다. 기술로 그 캐릭터를 구현해 낸 것이니, 다른 자아가 있을 리가. 기술로 다른 자아를 만들어내지 않는 이상.)
또한 실사형의 경우 100% 통제 가능하다. 세계관에 맞게 이야기를 하게 하고, 이것에서 벗어나는 말을 하지 않게끔 프로그래밍하면 된다. 위에서 들었던 예를 다시 가져오면, 원래 표준어를 쓰는 콘셉트였다면 사투리를 쓰지 않게 설정하면 되는 일이다. 그러면 영영 사투리를 쓰지 않는 완벽한 모습을 보여줄 수 있는 것이다.
(실사형에게서 갑자기 사투리를 쓰는 모습이 불현듯 튀어나왔다면, 이는 하나의 작은 사고를 의도적으로 만들어낸 것일 테니.)
위에서 찾아보고 이야기한 정보를 정리하자면, 캐릭터형과 실사형의 특징을 다음과 같이 구분할 수 있을 것이다.
그러면 이런 특징을 기반으로 두 개념을 나눠보자면, 캐릭터형 버추얼 아이돌 ↔ 실사형 버추얼 아이돌 또는 아바타 아이돌 ↔ AI 아이돌 정도로 구분해 볼 수 있지 않을까.
버추얼이라는 단어가 지극히도 범용적이고 너무 많은 것을 아우르고 있다. 캐릭터형과 실사형, 이런 구분이 있고 어느 정의가 더 넓고 좁고 한 것은 나도 이번에 각 잡고 조사를 하면서 알게 된 것이었다. 정말 이 업계 사람이 아니라면 잘 알지 못할 그런 부류의 것인 느낌이었다.
그러니 이런저런 뉴스나 기사에서 혼란을 겪는 것은 어쩌면 당연한 것일지도 모른다. 왜냐하면 아직 시작 단계인 산업이다 보니 올바른 이해가 쌓길 벌써부터 기대하는 건 시기상조다. (그리고 신기하게도 캐릭터형은 사람의 개입 ↔ 실사형은 기술로 구분되어 있는데, 언젠가는 이 둘의 특징이 역전되거나 하이브리드 되는 형태도 나타나지 않을까. 그러면 더욱 복잡한 논의가 필요해지겠지만.)
한 명의 팬으로서, 사람들의 이해에서 나타나는 소소한 오해가 차금차금 줄어들면 좋겠다고 생각할 뿐이다. 그러니까 하고 싶은 말이 무엇이냐면,
캐릭터형 버추얼 아이돌이자 아바타 아이돌인 플레이브 많은 사랑과 관심 부탁드립니다!
여담)
이번에 요 글을 써보겠다고 디비피아를 구독하기 시작했습니다. 기관 회원도 학생 회원도 아니다 보니 저에게 주어진 선택지가 구독밖에 없었는데, 제대로 본전을 뺄 수 있을 것 같아요.
재미있는 논문과 리포트가 많아서 아주 기분이 좋습니다.
