교감이 가능한 디지털 휴먼
- RR에서 시작됩니다!
[프라이빗 콘서트] VR에서 재현된 당신만의 뮤지션을 만나보세요!
인공지능과 인간의 사랑을 다뤘던 영화 ‘Her(그녀)’ 기억 나시나요?
영화 ‘AI’ 부터 ‘엑스마키나'까지 다양한 종류의 영화들에서 인공지능은
사람 같은 모습으로 사람과 종종 교감하기도 해요.
영화 ‘Her(그녀)’에서도 주인공과 인공지능은 가장 친밀한 관계를 맺어나가는 모습을 보여주죠.
영화 '엑스마키나' 중 한 장면리얼리티리플렉션은 이 영화들처럼,
사람과 교감할 수 있는 ‘디지털 휴먼’을 꿈꿔왔어요.
가상 현실(VR) 안에서 정해진대로만 움직이는 NPC가 아니라 내가 말하는 것, 행동하는 것에 따라서
다르게 행동해주는 그런 ‘디지털 휴먼'에 대한 상상이요.
프라이빗 콘서트 - 당신만을 위한 VR 디지털 휴먼
리얼리티리플렉션은 VR 콘텐츠 개발 스타트업니다.
현재는 VR 게임 및 오늘 소개해드릴 ‘Private Concert’ 콘텐츠를 제작하고 있어요.
프라이빗 콘서트는 리얼리티리플렉션, vFX 회사 디지털 아이디어, 그리고
연예 매니지먼트사 렛잇비 3사가 협업해, 뮤지션을 디지털 휴먼으로 재현해내는 프로젝트에요.
프라이빗 콘서트에서 재현된 뮤지션은 당신에게 실시간으로 반응해요.
당신과 둘 만의 공간에서, 오직 당신만을 바라보며 불러주는 노래를 감상하면서
뮤지션의 공연을 VR 안에서 체험할 수 있어요.
녹화된 영상을 재생하는 것이 아니에요.
뮤지션의 디지털 휴먼은 당신의 움직임에 따라 시선을 맞추고 미소를 지어 주는 등,
여러분과 교감하면서 차원이 다른 몰입감을 느끼게 해줘요.
이제 여러분이 사랑하는 셀렙들 - 뮤지션, 배우, 아이돌 등 - 을
VR공간에서 직접 만날 수 있는 날이 머지 않았어요!
같이 눈을 맞추고, 웃으며 시간을 보낼 수 있는 날 말이에요.
리얼리티리플렉션은 그 날을 위해 프라이빗콘서트를 제작하고 있어요.
저희는 뮤지션 ‘하이니’를 디지털화 시키는 작업을 통해 하이니가 준비한,
여러분 하나 하나만을 위한 콘서트를 제공할 거에요.
뮤지션 '하이니' 프라이빗 콘서트 제작 과정
어떻게 교감이 가능한 디지털 휴먼을 만들 수 있을지 궁금하시죠?
3D 스캔부터 애니메이션 작업, 또 텍스쳐 작업 등
프라이빗 콘서트 콘텐츠를 만드는 과정은 도전적인 과제였어요.
실시간으로 사용자에게 반응하기 위해서는
자연스럽고 부드러운 애니메이션과 빠른 속도로 콘텐츠를 최적화하는 것도 필요했죠.
프라이빗 콘서트 제작 과정이 궁금하신 분들을 위해 짧게 그 과정을 공개할게요.
1. 3D 스캔 & 3D 모델 제작
먼저 리얼리티 리플렉션은 뮤지션의 전신과 얼굴을 3D 스캔했어요.
리얼리티 리플렉션이 자체 보유하고 있는 스튜디오에서
photogrammatry 방법을 이용해서 3D 모델을 만들어요.
스캔하는 과정
3D 스캔
3D 스캔 + 텍스쳐이 방법으로 mm 단위까지 똑같을 정도로 정확도가 높은 스캔이 가능하죠.
이 스캔 과정을 통해 뮤지션의 기본 3D 모델을 만들어요.
후에는 얼굴 표정 캡쳐를 통해, 이 기본 모델을 변형시켜 다양한 표정을 지을 수 있도록 작업을 해줄 거에요.
다양한 표정 캡쳐
2. 움직이게 만드는 과정
위에서 만든 기본 3D 모델을 움직일 수 있도록 만들려면 애니메이션 작업이 필요해요.
사람이 뼈와 살에 의해 움직이듯이, 이 기본 모델에도
움직일 수 있는 골격을 넣는 과정이라고 생각하시면 될 것 같아요.
저희는 뮤지션 하이니의 움직임을 살리기 위해
먼저 하이니의 얼굴, 몸의 움직임을 동시에 캡쳐해서 기본 모델에 입혔어요.
표정 캡쳐하는 과정그리고 움직임을 입히기 전에, 얼굴에 골격을 심는 ‘리깅' 작업을 통해
하이니가 다양한 얼굴 표정을 지을 수 있도록 해줬죠.
무려 100개에 가까운 표정들을 제작하였고, 또 실시간 표정 및 움직임을 캡쳐해
뮤지션 고유의 표정과 움직임을 그대로 디지털 데이터로 옮겨올 수 있었어요.
움직이는 모든 부분에는 ‘리깅’ 작업이 필요하기 때문에
머리카락이나, 손, 어깨 같은 전신에도 ‘리깅' 작업을 해줬구요.
특히 얼굴과 몸의 움직임이 자연스러운 것에 초점을 맞췄어요.
머리카락 리깅 작업
전신 리깅 작업3. VR에서 실제처럼 보이도록 만드는 과정
또 하나 중요한 과정은 3D 모델이 실제같이 보이도록 만드는 과정이에요.
프라이빗콘서트에서 저희는 진짜 사람 피부와 같은 텍스쳐, 혹은 머리카락이 안구 등을 구현했어요.
밑의 사진들은 언리얼 엔진으로 피부 표현을 구현한 거에요.
피부 표현 렌더링 작업
얼굴 표현 렌더링 작업진짜 사람처럼 느낄 수 있도록 디테일한 느낌을 살려내는 과정이었어요.
이런 과정을 통해 탄생한 프라이빗 콘서트, 한 번 경험해 보고 싶지 않나요?
밑의 영상은 인터렉션을 보여주는 짧은 데모 영상이에요.
사용자의 위치와 시선에 따라 얼굴을 돌리며 눈을 마주치고 웃어주는 뮤지션 '하이니'를 만나보실 수 있어요.
정식 버전 ‘프라이빗 콘서트'에서는
하이니의 신곡을 포함한 공연을 만나보실 수 있어요.
2017년 3월 말 무료로 배포될 예정이니 기대해주세요!
이후 다른 뮤지션과의 협업도 예정되어 있으니 항상 리얼리티 리플렉션 블로그 업데이트도 참고해주세요!
P.S. 물론, VR 게임 개발에도 힘쓰고 있어요.
새로 출시될 리얼리티 리플렉션의 VR 게임 개발 업데이트도 항상 참고해 주세요!
