brunch

매거진 증강현실 PO의 AR 이야기

라이킷 11 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 민근 Nov 06. 2023

2023년을 마무리하는 XR 산업 트렌드 회고

2023년 AWE 비엔나 회고

10월 말, AWE에 참여하기 위해 비엔나에 다녀왔다. 개인적으로 올해 마지막 AWE에서 XR 산업 종사자로서 인사이트가 된 부분을 정리해 봤다. 규모가 크지 않았으나 올 한 해 이슈였던 트렌드를 종합해 보고 내 개인적인 경험으로 XR 산업의 넥스트라고 느껴졌던 부분을 재확인하는데 충분했던 것 같다.

아래의 4가지 항목으로 회고해 보았다.

1. 인공지능

2. 디바이스

3. 클라우드와 웹브라우저 엔진 그리고 WebGPU

4. 연합 생태계 구축과 기술이 아닌 대중 서비스로의 흡수가 관건

1. 인공지능

AI는 XR 전 분야에 핵심이 되었다.

AWE 하루 만에 나를 스캔해 생성한 아바타가 3개나 생겼다.

XR에 아바타 생성 인공지능과 음성인식 인공지능이 인터페이스에 주요한 역할을 할 것이다. 특히 아바타 생성은 매 분기마다 새로운 서비스들이 쏟아지고 있는데 쉽고 빠르고 그럴듯하다. AWE 하루 만에 나를 스캔해 생성한 아바타가 3개나 생겼고 곧바로 AR로 증강시키거나 XR 콘텐츠로 활용할 수 있게 파일을 받을 수 있었다. 이번에 Vivoka라는 회사에서 인공지능 음성인식을 선보였는데 이런 기술은 핸드트래킹이나 핸드 컨트롤러등 인터렉션 기술을 가지지 못한 저가형 HMD/ 글라스 디바이스에 유용할 것으로 보인다.

단순히 음성 인식이었다면 XR 인터페이스라 이야기하기에 부족했을 텐데 Vivoka의 경우 디바이스 트래킹을 통해 주변 환경 정보를 AI가 학습한다. 실제로 주변을 둘러보면 AI가 각 사물에 태그를 달아준다. 컵이면 컵, 사람이면 사람, 책상이면 책상 자동으로 인식한 결과물을 태깅한다. "여기가 어디야?" 라던지 "컵 어디있어?" 라고 물어보면 주변 환경을 학습한 데이터를 활용해 "여기는 AWE 행사장입니다.", "컵은 왼쪽 책상 위에 놓여있습니다." 라고 대답할 수 있다.

그래도 사람이 낫다.

AI 서비스만 이용해 하루 만에 AR 필터를 만든 프로젝트의 작업과정을 소개했는데 반응이 뜨거웠다.

완전히 생성형 AI만을 활용해 3D어셋을 생성하고 10여 종의 AI 서비스를 조합해 하루 만에 스냅챗용 얼굴 인식 필터를 만든 사례가 굉장히 인상적이었다. 보기에는 멋지고 트렌디한 프로젝트 발표였지만 내가 디자이너 혹은 3D모델러로서 AI로 원하는 결과물이 나올 때까지 프롬프트를 다시 쓰는 시간에 직접 모델링하는 것이 빠르고 정확하고 아름답겠다는 생각이 강하게 들었다. 그리고 결국 AI를 조합하는 것과 그 결과물들을 구성하는 것은 아티스트의 기존 매체에 대한 숙련도, 개인 역량에 달려있다. 생성형 AI는 유용하지만 혹할 필요는 없다.

2. 디바이스

HMD(Head Mount Display)는 META 퀘스트 3

비엔나 AWE에 내 META 퀘스트 3을 직접 쓰고 META 부스에 방문해 봤다.

올해 마지막 AWE 행사의 메인 부스는 역시 META였다. 적어도 2024년 애플 비전 프로가 나오기 전까지 HMD(헤드 마운트 디스플레이) MR 기기는 메타 퀘스트 3가 독점할 예정이다. 게임이던 업무용이던 XR 콘텐츠를 제공하는 업체들이 시연용으로 AWE에 들고 나온 기기는 모두 메타의 퀘스트 2(기존 오큘러스 리프트 2) 제품과 퀘스트 3 제품이었다는 게 근거가 될 수 있겠다. 현재 대부분의 콘텐츠들이 메타의 플랫폼 생태계를 기준으로 생산되고 있다는 뜻이다. 여전히 HTC와 소니의 플레이스테이션 VR 기기가 시장에서 점유율을 차지하고 있지만 결국 점유율에서 META가 압도할 것으로 보인다. 물론 2024년 저가형 비전프로가 등장한다면 어떻게 될지 두고 봐야 하지만 이제는 META와 애플이 XR 디바이스 시장에서 양대 산맥이 된 것은 사실이다.

레노버에서도 VR 기기를 들고 나왔으나 PICO가 저가형 VR 기기로 공공서비스나 교육산업을 중심으로 하는 것처럼 산업 현장에서 저가로 활용할 수 있다면 모를까 META와 경쟁이 될 것 같지는 않았다.

Lenovo의 VR 기기, 산업용 360도 훈련 영상 콘텐츠 재생을 주력으로 내세우고 있었다.

저가형 AR글라스의 춘추전국시대

여전히 가장 흔한 방식은 눈앞에 작은 모니터가 달려 있는 스카우터 형식과 프레임에 달려있는 버튼으로 메뉴를 컨트롤하는 방식이다. 대부분의 기업이 1세대 글라스의 형태로서 스카우터 형식을 많이 사용했으나 이제는 2세대, 3세대로서 완전한 글라스 형태를 추구하고 있다.

가장 흔한 산업용 스카우터 모델, 대부분 초기 스마트 글라스들이지만 여전히 시장에 선보여지고 있다.

이번 AWE에서 특히 글라스 제품에 대한 프레젠테이션과 제품 부스가 많았는데 공통적으로 이들이 추구하는 바는 Social Comfort였다. 공통적인 비전은 가벼운 무게와 편안한 착용감과 실제 안경과 같이 자연스럽고 거부감 없는 디자인, 실제 환경과 상호작용하며 얼굴을 가리지 않고 서로의 표정을 볼 수 있는 디스플레이의 제공이다.

Social comfort. 모두가 AR 글라스가 나오기만을 기다리고 있는 이유가 아닐까. 렌즈 기술 회사의 발표 중

이번 AWE에서 써봤던 글라스 중 가장 화질이 좋았던 VUZIX. 뿔테 안경을 낀 것처럼 꽤나 자연스럽다.

헤드셋형 디바이스는 이제 메타와 애플이 선도하게 되었다면 글라스에서는 아직 이렇다 할 선두주자가 나오지 못했다. 이런 상황에서 저가형 글라스 디바이스들이 대중에 쏟아져 나올 듯하다. 실제로 착용해 본 디바이스들은 모두 안경형으로 가볍고 길에서 쓰고 다닐 법했다. 실제로 춘추전국시대인 것이 대부분 중국산이다. 현재는 엔리얼, 지금은 엑스리얼이 가장 인지도가 높은 것 같다.

아직 여러 렌즈 기술들이 서로 각축의 장을 벌이고 있고 가장 안정적이고 보편적으로 채택될 렌즈(옵틱, Optic) 기술이 무엇일지는 미지수다. 직접 체험해 본 중국산 렌즈들은 저마다 다른 AR 렌즈 기술을 자랑하고 있지만 아직 모두 발열이 심하고 선명도가 낮아 실착용에 물음표가 뜨더라.

저가형보다는 가격대가 있지만 성능이 안정적이고 사용할만하겠다 싶은 글라스들은 뷰직스(Vuzix)의 스마트 글라스였다.

어쨌든 디바이스는 점점 경량화와 휴대성을 위해 글라스 형태로 진화하게 될 것이다. 다만 HMD가 완성형, 일체형 제품을 위주로 플랫폼 주도권 경쟁을 한다면 글라스는 확실히 렌즈 부분 기술을 통해 경쟁하면서 프레임에 대한 선택의 자유도가 상당히 높을 전망이다. 실제로 핵심 렌즈 쪽 부품을 선택하면 프레임의 디자인은 사용자의 취향대로 선택할 수가 있기 때문이다. 심지어 한 업체는 렌즈 기술을 중심으로 3D 프린팅으로 커스텀 프레임을 제공하고 있다.

렌즈 기술을 홍보하는 기업의 프로토타입. 자사 렌즈로 실제 안경과 다를 바 없는 프레임을 사용가능하다고 시연. AddOptics.

구글이 구글 글라스와 홀로렌즈를 포기했으나 다시 글라스에 도전하지 못할 이유가 없다. 메타에서 출시할 레이밴과의 합작 AR 글라스도 주목할만하다.

스마트 글라스 상호작용은 여전히 버튼이 우세

VR 기기와 달리 컨트롤러가 없는 스마트 글라스들 사이의 서로 다른 조작 구현 방식도 하나의 관전 포인트였다. 2023년에도 여전히 스마트 글라스 프레임에 달려 있는 물리적 버튼으로 조작하고 있다. 그 다음은 음성 제어가 있고 마지막으로 핸드(HAND) 트래킹과 아이(EYE) 트래킹이 있지만 저가형 기기들에서 보기는 쉽지 않을 것 같다. 실제로 현장에 나온 대부분의 옵틱 기술 회사들은 렌즈에 단순한 그래픽을 투영시키는 것에 그치고 있고 상호작용은 물리적 버튼 조작 이외에는 지원하지 않고 있었다. 기존 마이크로소프트 홀로렌즈와 현재 메타 퀘스트 3의 핸드 트래킹만큼의 성능을 보여주는 기기도 없었다. 아이 트래킹 기술을 보여주는 회사 역시 실제 콘텐츠 상호작용을 보여주기보단 단순히 동공을 추적하고 있다는 것만 확인할 수 있었다.

이번 AWE에서 유일하게 아이 트래킹 기술을 보여주었던 비엔나의 스마트 글라스 회사 VIEW POINT SYSTEM. 프레임은 3D 프린팅으로 제공한다.

핸드 트래킹과 아이 트래킹이 스마트 글라스에 유효한 상호작용 방식이겠으나 저가형 글라스에서 기본적인 정보 증강을 일상생활에서 접할 때는 버튼 조작 방식이 오히려 직관적이고 정확하고 편리할 수 있을 것 같다.

The best device is no device. AR 렌즈

Xpenceo의 스마트 콘택트렌즈 소개, 실물은 볼 수 없어 아쉬웠다.

이번에 굉장히 놀라웠던 것은 벌써 AR 렌즈의 프로토타입이 나왔다는 사실이었다. 결국 XR 디바이스의 지향점은 인간의 눈에 가장 자연스럽게 녹아드는 것이다. 헤드업 디스플레이에서 글라스. 그리고 이제는 콘택트렌즈. 일전에 Mojo 비전에서 선보인 AR 콘택트렌즈가 있었다. 이번 AWE에서는 Xpenceo라는 기업이 Best device is No device라는 비전으로 스마트 렌즈를 선보였다. 아쉽게도 프로토타입이 너무 소중해서인지 이번 행사에서 시제품을 가져오지 않아 실물을 볼 수는 없었다. 그래도 종국에는 AR 렌즈가 상용화될 것은 분명하지만 우선 2024년엔 글라스를 지켜보자.

문제는 애플리케이션 생태계

그런데 대부분 자체 애플리케이션 생태계가 없다. 범용성이 매우 떨어져 실제 구매는 현실적으로 어려워 보인다. 시간과 기압등을 볼 수 있는 전자시계를 사느냐 자체 앱 스토어 생태계를 지닌 애플워치를 사느냐로 비유할 수 있겠다. AR 글라스던 AR 렌즈이던 결국 콘텐츠 플랫폼 생태계가 없으면 디바이스로 할 수 있는 게 없다. 이번에 Xpenceo에게 AR 렌즈에는 어떤 콘텐츠 플랫폼을 사용할 수 있냐 물으니 그들도 그것을 현재 고민하고 있다고 한다. 현재는 대부분의 AR 글라스들도 내장형 데모 콘텐츠만 시험할 수 있을 뿐이다.

범용성보다는 한 가지 장르와 시장에 집중한 제품

범용성에 대한 단점은 하나의 장르 기능에만 선제적으로 집중했을 때 이겨낼 수 있다고 생각한다. 나는 이전에 운동 목적으로 배터리가 짧고 센서 조합이 다소 부족한 애플워치보다는 배터리가 길고 운동 목적에만 집중된 기능을 갖춘 가민 스마트 워치를 선택했고 만족도가 굉장히 높다. 내가 선택한 가민 모델은 앱스토어도 없고 컬러도 없었지만 그 시계 자체가 운동목적으로 제공하는 기능들이 훌륭하다.

진짜 스키/스노보드 레저용 고글과 디자인에 차이가 없던 중국의 AR 고글, 다만 화질 때문에 인상이 찌푸려진다. ostloong의 제품 SIRIUS

아직 화질은 좀 떨어졌지만 중국산 스키/스노보드용 AR고글이 그런 측면에서 굉장히 인상적이었다. 오히려 정말 스포츠 고글 용도라 폼팩터에 대해서도 과감하게 큼직한 고글형으로 디자인했다. 애플 비전프로가 혼합현실 기기로서 무거운 헤드마운트 형태의 디자인을 극복하기 위해 스키 고글처럼 보이게끔 디자인한 방향성과는 확실히 다르다. 비전프로는 저걸 어떻게 쓰고 돌아다니지 하는 아쉬움이 있다면 아예 스포츠 고글을 목적으로 나온 기기는 현실에 전혀 위화감이 없다. 이번주 킥스타터에 올라간다고 하는데 내가 실제 착용해 보니 화질은 물음표.

가장 성능면에서 괜찮았던 레노버와 뷰직스의 스마트 글라스도 범용적인 활용보다는 특정 산업군을 대상으로 데모 콘텐츠를 선보이고 마케팅을 하고 있었다.

BMW 모토라드에서 출시한 AR 글라스

더 좋은 예로 올해 BMW 모토라드에서 바이커용 AR글라스를 출시했다. 기능은 속도나 내비게이션을 제공하는 것이 전부이다. 그렇지만 눈앞에 그 정도 정보를 띄워주는 것만으로 주행 목적에 훌륭하다. 그 기능에만 집중해 글라스 자체도 가볍고 기존 스포츠 고글과 큰 차이가 없다. BMW의 AR글라스를 보고 나도 바이크를 타고 싶다는 생각이 들 정도였다.

플랫폼 서비스의 XR 글라스

스냅챗이 2021년 첫 선보인 AR 글라스, Spectacles 소개

주목할 만한 점은 스냅챗과 빅스크린등에서 올해 AR 글라스를 출시했다는 점이다. 두 서비스 모두 기존에 기기를 제작하던 회사가 아니라 플랫폼 / 소프트웨어 서비스 기업이었다. 스냅챗의 경우 자체 AR 페이스 필터를 기반으로 XR 분야에서 입지를 다져왔고 빅스크린은 VR 분야에서 리모트 데스크톱 서비스로 입지를 다져왔다. 이번에 AWE 비엔나에서 스냅챗이 자체 글라스 제품을 소개했는데 XR 기술을 보유한 동시에 자체 플랫폼 유저를 대규모로 보유하고 있는 서비스가 직접 내놓은 디바이스가 얼마나 파급력이 있을지는 궁금하다. 스냅챗에 따르면 이미 2018년부터 스마트 글라스 사업을 해왔다고 한다.

스냅챗의 경우 자체적으로 AR 콘텐츠를 저작할 수 있는 렌즈 스튜디오 서비스를 이미 제공하고 있다. 스냅챗의 렌즈 스튜디오는 틱톡의 이펙트 하우스, 메타의 Spark와 함께 가장 대표적인 SNS 플랫폼 타깃 AR 저작도구이다. 이미 자체 플랫폼을 통해 AR 콘텐츠에 유입되는 유저와 글로벌 인플루언서가 상당한 서비스들이 선보이는 독자적인 AR 글라스의 행보는 주목할 만하다.

3. 클라우드와 웹브라우저 엔진 그리고 WebGPU

웹기반 콘텐츠의 성장

2024년엔 정말로 Web 브라우저 기반의 XR 콘텐츠가 질적으로나 양적으로나 성장할 것이다. 특히 대중적인 스마트폰을 타깃으로 하는 WebXR 콘텐츠들과 메타 퀘스트 3과 같은 보급형 기기에서 다운로드 없이 바로 즐길 수 있는 콘텐츠들의 저작이 더 쉬워지고 정교해질 예정이다.

WebXR의 경우 앱과 달리 현장에서 즉각 실행할 수 있다는 빠른 접근성의 장점이 있다. 그럼에도 불구하고 기존 WebXR의 경우 기존 게임 업계에서는 만족할 수 없는 수준의 3D 렌더링 때문에 여전히 앱을 기반으로 한 콘텐츠들이 주로 생산되고 있다.

그러나 올해 마지막 AWE의 대부분의 웹 브라우저 기반 서비스들이 클라우드 렌더링 방식을 서비스화하면서 렌더링의 수준과 속도가 현저히 발전했다. 사용자 기기의 Gpu를 활용하지 않고 외부 클라우드 컴퓨터에서 렌더링을 대신한 후 이를 사용자 기기에 스트리밍 하는 방식이다.

이야기를 나눠본 웹 기반 서비스의 CTO들 모두 2024년에는 WebGL대신 WebGPU로 교체 혹은 병렬 지원할 계획이 있다고 말했다. 이제 웹이 사용자 기기의 GPU 성능을 더 활용할 수 있는 WebGPU에 대한 보급화와 표준화가 논의되었다. 이미 크롬브라우저를 필두로 2023년 WebGPU가 공개되었고 기존의 주요 3d 라이브러리들이 이를 적용하고 있다.

독자적인 웹 XR 엔진들의 등장

유니티로 만든 줄 알았는데 원더랜드 웹 XR 엔진으로 만들고 웹브라우저에서 구동되었던 활쏘기 게임. 정말 재밌었다.

기존에 유니티와 언리얼이 설치형 콘텐츠의 3D 저작을 독점했으나 웹에는 아직 독점적인 저작 엔진이 없었다. 이번에 체험한 웹기반 엔진인 원더랜드로 만든 VR게임은 적어도 유니티 성능과 근접했고 웹에서 동작하는 게임이라는 걸 알았을 때 너무 놀라 진짜 웹브라우저였냐고 재차 묻게 되더라.

이제는 멀티플레이 WebXR

지금까지는 수많은 AR 게임들이 싱글 플레이였다. VR의 경우 사용자들 각각의 실제환경과 관계없이 완전히 가상의 환경을 공유하기에 멀티플레이가 일찍이 구현되었다. 반면 AR의 멀티플레이는 구현이 굉장히 까다롭다. 서로 다른 디바이스를 가진 사용자가 같은 공간에 있어야 하고 이들이 동시에 같은 실물 공간 트래킹 정보를 공유해야 한다. 서로 다른 방향과 각도로 하나의 실물 공간을 다르게 인식하면서 모두가 볼 때 똑같은 위치에 콘텐츠를 실시간으로 증강시키는 것은 쉽지 않다. 그러나 이제는 WebXR 기술의 발전으로 웹브라우저 기반 증강현실을 여러 명이 공유할 수 있게 되었다. 8 thWall의 경우 올해 멀티플레이 WebXR 게임을 SDK에서 지원하게 되었고 AWE에서 만난 웹 XR 엔진들도 곧 멀티플레이 콘텐츠 저작을 지원할 예정이라 말했다.

노코드 저작도구? 결국 SDK와 스크립트

2022년까지 웹 브라우저를 기반으로 한 WebXR 콘텐츠를 일반 대중들이 쉽게 접근할 수 있게 한다는 비전 아래 위지위그(WYSIWYG: What You See Is What You Get) 노코드 WebXR 저작도구 플랫폼들이 많이 생겨났다. 2023년 한 해는 여러 노코드 저작도구 플랫폼들이 선별된 큰 투자를 받은 한 해이기도 하다. 동시에 그러지 못한 수많은 플랫폼들은 사장했다. 개인적으로 2022년에 국내에서 처음으로 WebXR 저작도구를 론칭하고 실패한 경험이 있다.

이제 수많은 시행착오 끝에 WebXR 저작도구 서비스들이 현재 고객들이 원하는 콘텐츠들을 기능이 매우 한정된 노코드 저작도구로는 제공하기 어렵다는 사실을 깨달았다. 결국 사람들이 원하는 콘텐츠를 만들기 위해서는 직접 프로젝트별로 맞춤 코드를 작성해야 할 수밖에 없다는 사실을 인정한 것이다. 그래서 기존의 눈에 보이는 노코드 에디터를 유지하는 동시에 자바스크립트 SDK 중심의 클라우드 에디터를 지원하기 시작했다. 모두가 AR을 쉽게 만들 수 있다는 디자이너나 마케터 대상에서 웹개발 지식이 있는 전문가들을 대상으로 제품 타깃을 선회한 것이다.

Zappar는 간소한 부스로 나왔지만 Zappar에서 출시한 Mattercraft는 꽤나 충격적이었다.

기존 WebXR SDK의 선두주자는 Niantic이 인수한 8 thWall이었지만 완전히 개발자들을 대상으로 SDK와 클라우드 에디터만 지원해 진입장벽이 높았다. 스크립트를 치면서 3D 미리 보기를 실시간으로 확인하기 번거롭기 때문이다. 이번 2023년 마지막 AWE 직전 Zappar에서 선보인 Mattercraft는 8 thWall 클라우드 에디터의 기능과 기존 Zappar 노코드 저작도구의 3D 에디터를 결합했다. WebXR 저작의 자유도를 8 thWall처럼 열어주면서 3D 저작 UI를 유니티와 비슷한 개념으로 함께 제공해 자유도가 높아지는 동시에 눈으로 결과물을 보면서 쉽게 작업할 수 있게 했다.

점점 시장에 노출되는 WebXR 저작도구가 줄어드는 동시에 생존한 서비스들은 노코드 저작도구에서 코드 기반 저작도구로 선회하며 단순 WebXR 콘텐츠가 아닌 WebXR을 포함하는 하나의 완전한 웹 플랫폼 제작을 가능하게 하는 방향으로 점점 확장하고 있다.

4. 연합 생태계 구축과 기술이 아닌 대중 서비스로의 흡수가 관건

결국 가장 재밌었던 건 기술이 아니라 콘텐츠

지금까지 춘추전국시대였다면 이제는 거대한 기업들을 주축으로 연합해 저마다의 커다란 생태계로 경쟁하는 삼국지가 될 예정이다. 대부분의 주요 글로벌 플랫폼들은 독자적인 기술 구축과 MVP 시장검증이 완료되었으며 안정적인 구독자를 보유하게 되었다. 이제 이들은 자신의 한계 범위 밖의 것을 가능하게 만들기 위해 서로 연합 전선을 구축한다. 특히 어도비등 기존 플랫폼 서비스와 AI 원천기술 기업들의 연계가 주요했다.

규모가 크지 않더라도 AR/ VR 서비스를 제공하기 위한 원론적인 기능 개발이 어느 정도 고도화 된 서비스들이 웹플랫폼 혹은 앱플랫폼 저작을 지원하기 위해 여러 외부 API들을 적극 받아들였다. 이제 AR/ VR 은 더 이상 새로운 기술 경험이 아니며 기존의 대중적이고 보편적인 경험들과 어떻게 융화하고 부분으로 흡수될지의 싸움이다.

간략하게 2023년 마지막 글로벌 AWE XR 행사를 마치고 개인적인 감상을 정리해 봤는데 더 구체적인 인사이트와 2024년을 바라볼 XR 산업 키워드들을 나름의 분류 체계를 통해 앞으로 더 정리해 볼 예정이다.

keyword