brunch

매거진 증강현실 PO의 AR 이야기

라이킷 18 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 민근 Nov 12. 2023

XR 디바이스 분류 기준 1 - 기술 분야로 구분

혼잡한 XR 산업을 구분하는 나만의 기준

디바이스 분류 기준 2가지

기술 분야 구분에서 디바이스 형태로 구분

현재 시점에서 XR 디바이스, 어떻게 바라볼 것인가. 기존에는 VR 디바이스이냐 AR 디바이스냐로 나눌 수 있었고 지금도 유효한 분류이다. 그렇지만 2023년 마지막 AWE를 다녀온 후 내 개인적으로 이제는 VR 이냐 AR이냐 기술 배경으로 디바이스를 구분하는 것보다는 디바이스의 형태로 구분하는 게 더 적절하고 이해하기 쉬운 것 같다. 먼저 기존의 대중적인 접근으로 VR / AR 기술 접근으로 디바이스에 대한 관점을 바라본 뒤 물리적 형태로서 디바이스를 바라보는 관점을 이야기해 보겠다.

첫 번째:

기술 분야로의 디바이스 관점, VR / AR... MR?

지금 이야기하는 기술 구분이란 XR 분야에서 AR 이냐 VR이냐 MR이냐 하는 기술 분야를 의미한다. 전통적인 기술 관점의 XR 분류라고 할 수 있다. 만약 누군가 디바이스를 만들고 있다고 한다면 VR 용도인지 AR 용도인지로 구분할 수 있고 각 용도별로 기기별 특수한 지향점을 가지고 있다.

한 번 더 세부적으로 구분하자면 기기의 가장 주된 영역과 조작방식 영역에 대해서 VR/ AR 기기 각각의 특수한 지점을 살펴볼 수 있다.

Meta Quest 2(과거 오큘러스 리프트 2), 안대를 낀 것처럼 시야가 완전히 차단되고 기기의 센서와 외장 카메라가 눈을 대신하는 VR 기기

VR 영역 개요: 지금까지 VR(Virtual Reality) 기기는 주변 실제 환경을 보여줄 필요가 없었다. 오히려 암막처럼 디바이스가 주변 환경을 완전히 차단하면서 가상 환경을 보여주는 시야 각도와 화질 선명도가 클수록 성능이 높게 평가되었다. 그래서 대부분의 VR 기기는 HMD라 불리는 전통적인 XR 디바이스 디자인 형태에서 크게 벗어나지 않았다. Head Mount Display, 머리 위에 착용하는 기기이다. 최근에는 암막형 HMD VR 기기들이 패스-스루(Pass-through)를 지원하면서 기기의 외부 카메라를 통해 주변 환경까지 함께 보여주며 MR 영역을 지원하는 기기로 변화하고 있다.

완전히 가상의 3D 공간을 실감 나게 제공하기 위한 고품질 콘텐츠를 목표로 하다 보니 이를 위한 하드웨어 무게에 대해 어느 정도 관용이 있었다. 대부분 몸이 직접 움직이지 않아도 무한한 가상 환경에서 돌아다닐 수 있도록 컨트롤러가 같이 제공된다. 어느 정도의 조도가 보장되는 실내에서 사용하는 것이 안전하고 적절해 활동성의 제한에 있어서도 관용이 있다. 실내의 제한적인 공간에서 배터리에 선을 길게 연결하는 것에 대해서도 엄청난 거부감은 없었다. 지금의 Meta Quest 시리즈, HTC의 바이브, 소니 플레이스테이션 VR 기기가 대표적이다.

PICO의 신제품 PICO 4, 대부분 HMD와 핸드컨트롤러가 한 세트인 VR 기기

Meta Quest 3, 2023년 10월 출시, MR 기기라 선포했으나 VR 태생인 Quest3. 핸드 컨트롤러는 여전히 세트로 제공된다.

VR 영역 인터렉션: 가상 세계의 크기는 무한한 반면 사람이 움직일 수 있는 실제 환경의 크기는 협소하다. 그 지점이 VR기기가 사람의 신체 움직임을 완전히 추적하는 대신 신체의 연장선인 동시에 제자리 움직임으로도 무한한 거리를 움직일 수 있게 해주는 컨트롤러에 투자하는 가장 큰 이유일 것이다.

이들 디바이스는 대부분 핸드 컨트롤러와 같이 신체를 별도로 트래킹 할 수 있는 기기들과 세트로 되어 있다. 머리에 착용하는 디바이스의 센서와 핸드 컨트롤러의 센서를 조합하여 가상현실에서 가상의 오브젝트들과 유저가 상호작용할 수 있다. 이 핸드 컨트롤러의 트래킹 성능이 좋을수록 실감 나는 콘텐츠 경험이 가능하기 때문에 신제품이 출시될 때마다 핸드 컨트롤러에 대한 유저 피드백들이 상당한 비율을 차지하고 있다.

Omni Treadmills by Virtuix, 무한한 VR 공간을 무한히 탐험할 수 있는 VR 러닝머신들이 시장에 나오고 있다.

핸드 컨트롤러의 존재 자체가 VR 경험에 상당한 영향을 끼친다. 핸드 컨트롤러가 전달할 수 있는 진동과 손에 무언가를 쥐고 있다는 감각과 무게감이 가상공간에서 가상의 손으로 오브젝트와 상호작용할 때 실감 나는 경험을 가능케 한다. 반면 두 손이 자유롭지 못하다는 큰 단점이 있다. 무조건 컨트롤러를 손에 쥐고 있는 동안 실제 주변 환경과의 민첩한 상호작용이 어렵게 된다. 또 컨트롤러의 버튼이 주는 동작의 한계 내에서만 가상 행동 경험이 가능하기에 손가락을 자유롭게 활용한다던지 핸드 제스처를 다양하게 표현하는 것 등에 분명한 한계가 있다.

핸드 컨트롤러가 거의 기본 조작방식이긴 하지만 더 실감 나는 경험을 제공하기 위해 장갑형 컨트롤러, VR 슈트, 트레드밀, 운전대 모양 컨트롤러, 총기 모양 컨트롤러 등 다양한 장비들을 시장에서 쉽게 만나볼 수 있다. 그것들의 조합을 살펴보는 재미가 있다. 별도로 최신 VR 기기에서도 핸드 트래킹 기술이 부가적으로 사용되고 있다.

마이크로소프트 홀로렌즈 2와 엔리얼(현 엑스리얼), 주변 환경을 투명한 렌즈를 통해 맨 눈으로 볼 수 있는 패스 스루 (Pass-Through) AR 디바이스

AR 영역 개요: AR 기기는 주변의 실제 환경과 유저가 얼마나 자연스럽게 상호작용 할 수 있게 도와주느냐가 관건이다. VR이 어차피 무한한 가상 세계, 어차피 좁은 실내에서 최대한 안전하게 즐기자라고 외칠 수 있다면 AR 디바이스는 실내외를 막론하고 모든 공간에서 일상생활의 모든 움직임을 함께 할 수 있기를 원한다. 그래서 마치 안경을 쓴 것처럼 가볍고 자연스러운 디자인과 편안한 착용감을 추구한다.

VR기기가 얼마나 주변 환경을 잘 가려주느냐가 관건이었던 것과 달리 실제 주변 환경을 얼마나 선명히 보여주느냐, 그리고 그 위에 가상 콘텐츠를 얼마나 실감 나게 결합해 증강시키느냐로 성능이 평가되었다.

패스-스루(Pass-through)라는 개념도 최대한 자연스럽게 현실공간과 가상 오브젝트를 정합한다라는 목적성에서 나온다. 렌즈가 주변 시야를 가리지 않고 투명하게 그대로 주변 시야를 보여준다는 개념이다. 최근의 메타 퀘스트 3과 같은 패스-스루가 1차적으로 외부 카메라를 통해 촬영된 주변 시야를 사용자에게 2차적으로 간접 재생해 주는 개념이라면 스마트 글라스로의 AR 기기가 추구하는 패스-스루는 정말로 투명한 재질의 렌즈를 통해 직접 눈으로 주변 시야를 보고자 하는 개념이라는 차이가 있다.

그래서 AR기기는 VR 기기처럼 얼굴 전면을 다 가리는 기기보다는 실제 안경 혹은 안대와 같이 AR 렌즈를 부분적으로 눈앞에 거치시키는 스카우터나 글라스의 형태로 최대한 가볍게 디자인되었다. 선명도가 굉장히 민감했던 VR 디바이스와는 달리 AR 디바이스는 실제 환경 위에 패스-스루로 콘텐츠가 증강된다는 사실 자체에 더 주목했기에 그 콘텐츠가 실제로 보이는 화질에는 지금까지는 어느 정도 관용이 주어질 수 있었다.

VR 기기처럼 완전 암막을 형성하는 것이 아니기 때문에 밝은 조명에서 렌즈에 선명한 화질을 투사하는 것은 현재까지도 굉장히 구현하기 어려운 기술이다. 디바이스 제조사별로 패스스루를 구현하는 옵틱 기술이 굉장히 상이하고 현재도 발전 중이다. 마이크로소프트의 홀로렌즈 시리즈가 AR 기기로 대표적이었다.(사실 MR 기기.. 뒤에 추가 설명할 예정) 글라스형 디바이스는 현재까지 굉장히 많은 제조사들이 경쟁하고 있다.

마이크로소프트 홀로렌즈 2의 핸드 트래킹 인터렉션 튜토리얼, Image from "https://www.spheregen.com/whywait/"

AR 영역 인터렉션: 앞서 말했듯이 AR 기기에서는 주변환경과의 자연스러운 상호작용이 중요하기에 애초부터 별도의 핸드 컨트롤러등의 조작 방식보다는 신체를 활용한 가장 자연스러운 조작 방식을 선호한다. 두 손이 자유로우면서 가상의 인터페이스와 상호작용할 수 있는 모든 방식이 시도되고 있다고 해도 과언이 아니다.

손 추적, 동공 추적, 음성 명령등이 가장 대표적이다. 일상생활에서 실제 물건과 상호작용할 때의 신체 동작 경험을 얼마나 자연스럽게 AR 기기의 조작방식에 옮길 수 있느냐가 관건이다. 시간이 지날수록 최신 기기에서 감지할 수 있는 신체 동작의 가짓수가 늘어나고 있다. 그렇지만 여전히 신체 추적 방식은 복잡하기에 기초 단계의 제조사에서는 여전히 기기 프레임의 물리적 버튼을 이용하고 있기도 하다.

두 손이 자유롭지 못한 기존 VR 기기가 게임 쪽으로 발전해 우리 주변에서 자주 볼 수 있었다면 두 손이 자유로운 AR 기기들은 산업 현장에서 선호되어 일상생활에서 많이 접하긴 어려웠다.

Hololens가 MR 기기 아니었어? MR은 뭔데?

보고 만지고 (던지고 부수는 것)

MR은 Mixed Reality의 약자로 혼합현실이라고 부른다. 검색 엔진에 이들 정의를 치면 쉽게 설명이 나오지만 사실 내가 현실에서 만난 경험들을 이런 설명들이 충분히 이해시켜주지는 못한 것 같다. 그래서 디바이스 관점에서 MR을 스스로 재정의해 보았다.

https://learn.microsoft.com/en-us/windows/mixed-reality/discover/mixed-reality

2020년 ~ 2022년 구글에 Mixed Reality를 치면 나오는 이미지의 대부분은 마이크로소프트의 홀로렌즈 2 착용 사진이었다.

MR은 말 그대로 VR과 AR의 교집합이다. VR 기기를 만들던 Meta가 2023년 10월 출시한 Meta Quest3을 MR 기기라고 발표한 이유가 무엇일까. 완전한 풀-컬러 패스스루를 지원해~~(나, 퀘스트 3 실사용자, 분명 풀-컬러라고만 했다...)~~ 주변의 실제 환경을 보여주며 AR 콘텐츠 봤다가 VR 콘텐츠 봤다가 왔다 갔다 할 수 있다. 동시에 강화된 핸드 트래킹으로 컨트롤러 없이 가상 오브젝트와의 직접적인 상호작용이 가능하다. 애플의 비전프로도 마찬가지이다. 그렇게 단순히 AR에서 VR로, VR에서 AR로 재생 모드를 바꿀 수 있는 게 혼합현실일까?

나는 사실 AR과 MR의 차이가 굉장히 모호하다고 생각했고 실제로 헷갈렸다. 단순 마케팅 용어인가 의심하기도 했다. 마이크로소프트 홀로렌즈(MS Holo lens) 때문이었다. 나는 마이크로소프트 홀로렌즈가 단순히 주변을 패스스루로 보여주니까 AR 기기라고 생각했다. 마이크로소프트 홀로렌즈의 개발이 중단됐니 마니 하는 지금에 홀로렌즈를 언급하는 게 슬프다.

만약 최근 XR 산업을 접해 Meta와 Apple의 최신형 기기 소식을 들은 사람들이 MS 홀로렌즈를 본다면 저게 왜 MR 기기인지 물음표가 생길 수 있다. 최근 애플의 비전프로와 Meta의 퀘스트 3가 제대로 된 MR 기기라는 입장에서는 마이크로소프트의 홀로렌즈는 VR 콘텐츠를 재생할 수 없기에 MR 기기가 아니다. 그런데 실제로 우리는 MS 홀로렌즈 시리즈를 MR 기기라고 불렀다.

내가 2021년 말 처음으로 마이크로소프트(MS) 홀로렌즈 2로 정부 지원 사업의 훈련용 콘텐츠 데모를 만들 때 제목에는 MR, 혼합현실이라는 단어가 들어갔다. 당시 콘텐츠는 현실 공간의 바닥을 트래킹 해서 그 위에 산업 장비를 3D로 띄워주고 각 부품과 사용자가 손동작으로 상호작용하며 훈련하는 것이었다.

사실 AR, 증강현실 영역을 굉장히 넓은 범위로 이야기하면 상호작용이라는 키워드가 빠진 경우가 많다. 예를 들어 대부분의 산업 현장에서 현재 쓰이고 있는 수많은 AR 기기들은 단순히 원격 화상 회의의 실시간 화면을 눈 옆에 달린 작은 모니터에 투사해주고 있을 뿐이다. 기기 착용자가 현실 공간 위에 보이는 디지털 화면 속 가상 오브젝트와 상호작용할 수는 없다. 현재까지도 국내 대부분의 마케팅 회사에서 기획한 AR 콘텐츠의 상당수가 단순히 카메라 화면 배경에 3D 물체를 볼 수 있는 뷰어를 붙여주는 것이다.

홀로렌즈 2 사용 당시 신기했던 메뉴 호출 방법, 손목을 툭 치면 손목 위에 윈도우(Window) 로고가 증강되고 이를 터치할 수 있다.

MR, 혼합현실은 가상과 현실의 상호작용이라는 키워드가 중요하다. AR이 단순히 현실 공간 위에서 가상 오브젝트를 보는 것까지 포함할 수 있다면 MR의 범주에 들어가려면 가상 오브젝트와 상호작용을 할 수 있어야 한다. 단순히 가상 콘텐츠를 눈으로 보는 것이 아니라 가상오브젝트와 내가 상호작용할 수 있는 것이 Mixed Reality라고 할 수 있다.

그럼 VR은 원래 상호작용이 가능했으니 MR에 자연스럽게 편입되는 게 아닌가 질문할 수 있다. 다시 말하지만 현실과의 상호작용이 매우 중요하다. VR 입장에서는 현실 공간을 무시하다가 가상의 벽을 허물고 현실 공간을 보여주면서 MR 영역으로 들어가게 된다. 가상의 공간 안에서 놀던 가상 물체들을 현실 공간에 재배치시키면서 자연스레 현실과 가상의 상호작용이 일어나게 된다.

거기에 기존 주류 VR 기기들이 사람의 신체와 가상 오브젝트가 직접 상호작용하는 방식이 아닌 핸드 컨트롤러를 통해 간접적으로 상호작용 했다면 이제 VR 기기도 사람의 손이 직접 가상 물체를 변형할 수 있게 되며 MR 영역에 완전하게 들어가게 된 것이다.

2015년 홀로렌즈, 2020년 홀로렌즈 2 출시 당시 가상으로 증강된 오브젝트와 직접 손으로 만지는 것처럼 상호작용하게 하는 AR 기기, 동시에 핸드 트래킹 UX를 정교하게 구현한 AR 기기를 대중 시장에서 흔히 볼 수 없었다. 물론 당시 초기 오큘러스 시리즈와 UltraLeap 등에도 핸드 트래킹이 지원되기는 했지만 아직 풀-컬러 패스스루를 지원하지 않을 때라 완전하게 AR 상호작용이 가능하지는 않았다.

VR 기기에 Ultraleap의 Leap motion을 장착한 모습. 카메라가 있는 기기에 Leap motion을 장착하면 핸드트래킹이 가능했다

결론적으로 Meta Quest3와 Apple Vision Pro가 Microsoft Hololens2까지의 기존 MR 기기 정의를 새롭게 확장했다고 본다. 이제 나에게 MR 기기란 AR 콘텐츠와 VR 콘텐츠 전환이 가능하고 가상 오브젝트와 유저가 컨트롤러를 거치지 않고 직접적으로 상호작용할 수 있는 인터렉션 기능을 지원하는 기기이다.

기술 분류 너무 복잡해

직관적인 형태로 구분하자

이것이 일반적으로 디바이스를 바라봤던 기존의 첫 번째 분류 관점이라 할 수 있겠다. 나는 개인적으로 익숙한 분류이면서 머릿속에 제대로 이해하고 있다고 생각했었지만 막상 다시 정리하려니 여간 복잡한 게 아니었다.

이전에는 기기별로 기술 분야 영역이 착착 분리되었다면 이제는 VR 이냐 AR 이냐 MR이냐 구분이 정말로 모호해졌다. 여기에 그냥 MR도 아니고 Apple은 Spatial Computing, 공간 컴퓨팅이라는 용어를 사용하면서 기술 용어로써 디바이스 구분이 더 혼잡해졌다. 기술 용어를 이해해도 이게 여기에 들어갈 수 있는지 저기에 들어갈 수 있는지 헷갈리는데 소비자 입장에서 XR 디바이스 시장을 기술 영역의 관점으로 분류해 보려면 눈이 흐릿해질 수밖에 없다.

2024년엔 확장된 개념의 MR 기기의 보급으로 VR과 AR을 동시에 지원하는 기기가 대중화될 것이다. 이제 XR 디바이스를 바라보는 관점은 VR 기기와 AR 기기로 단순히 XR 디바이스를 나누는 것보다는 그 형태로 구분하는 것이 더 직관적이고 적절해 보인다.

다음엔 기술 분야로 보는 것보다 더 쉽고 직관적으로 디바이스 시장을 바라볼 수 있는, 물리적 형태로서 디바이스를 바라보는 관점을 이야기해 보겠다.