VR/AR, 시뮬레이터/에뮬레이터
[4IR-3.9] 4차 산업혁명 기술 이해-9
VR/AR의 의미와 발전과정
위키백과에 의하면 ‘가상현실(VR: Virtual Reality)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸, 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술’이며 ‘증강현실(AR: Augmented Reality)은 VR의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법’이다. 인간이 직/간접으로 경험할 수 있는 세계를 100% 현실세계와 100% 가상세계 의 양 극단으로 나눈다면, VR은 '100% 현실세계'의 반대편인 '100% 가상세계'를 인공적으로 만든 것이고, AR은 현실세계에 약간의 가상성(Virtuality)을 덧붙인 것이다. AR의 대칭점 즉, 가상세계에 약간의 현실성(Reality)을 덧붙인 것을 증강가상(AV: Augmented Virtuality)이라고 하며, 가상세계와 현실세계 중간에 있는 것 즉, AR, AV 등을 통틀어서 혼합현실(MR: Mixed Reality)이라고 한다. 예를 들면, 스마트폰 카메라에 잡힌 피사체(예: 유적, 꽃) 위에 관련 정보를 띄워 주는 것은 AR, 애니메이션 영화의 한 장면에 실제 배우가 등장하는 것은 AV, 현실세계 속에 가상의 개체를 겹쳐 보여주고 그것과 상호작용하는 포켓몬 고 게임은 MR에 속한다. 참고로, 모의현실(Simulated Reality)은 실제인지 가상인지 알 수 없도록 만들어진 현실세계를 말한다. VR에서 사용자는 자신이 현실세계로부터 가상세계로 옮겨 간 것을 알고 있지만, SR(예: 영화 매트릭스)에서 사용자는 자신이 가상세계와 현실세계 중 어디에 있는지를 구분할 수 없다. AR에서 사용자는 현실세계에 있으면서 가상화된 개체나 정보를 인지하게 된다.
VR은 HW 측면에서는 1968년 이반 서더랜드(Ivan Sutherland)가 개발한 헤드 마운트 디스플레이(HMD: Head-Mounted Display, 이마에 쓰고 영상을 보는 장치)에서 비롯되었다. 1970년대에 마이런 크루거(Myron Krueger)가 인공현실(Artificial Reality)이란 개념을 제시했지만, VR이란 용어 자체는 1989년 재런 러니어(Jaron Lanier)가 처음 사용한 것으로 알려져 있다. 한편, 우리가 살고 있는 현실세계와 판타지(fantasy) 소설/영화 속에 등장하는 가상세계 간의 연결 문제는 오래전부터 철학(예: 장자에 나오는 ‘나비의 꿈’)이나 예술작품의 주제로 다루어져 왔다. 1984년 사카무라 켄이 제시한 유비쿼터스 네트워킹, 1988년 마크 와이저가 제시한 유비쿼터스 컴퓨팅은 현실세계와 가상세계를 통합한 ‘제3공간’을 만드는 기술혁명을 촉발했다. VR/AR은 그와 같은 기술과 사회/문화 속에서 발전해 온 것이다. VR은 현재로서는 HMD 같은 고가의 특수 장비를 이용해야 하는 제약이 있지만, 제조, 의료, 관광/여행, 건축, 유통/마케팅, 교육, 금융, 영화/오락 등 다양한 영역에 적용되고 있다(참조: VR 적용 사례). AR은 스마트폰이나 스마트 클래스 등을 이용해서 VR에 비해 상대적으로 쉽게 구현할 수 있기에 광범위한 문제에 적용되고 있다(참조: AR 적용 사례).
시뮬레이터/에뮬레이터의 의미
VR과 밀접한 관련이 있는 기술로 시뮬레이션(simulation)과 시뮬레이터(simulator)가 있다. 시뮬레이션 즉, 모의실험은 비용이나 시간 또는 안전 등의 문제로 인해 실제 상황에서 실험해 보기 어려운 작업을 물리적 모형이나 수학적/도식적 모형을 통해 실험해 봄으로써 실제 결과를 추론하는 기법이다. 예를 들면, 신제품을 개발할 때 여러 가지 설계 대안을 수리적 모형을 이용해서 해석해보고 최적 설계안을 선정하는 작업에 활용된다. 또한, 신형 미사일의 성능 확인을 위해 실제 발사시험(live fire test & evaluation)을 한다면 비용, 환경오염, 안전사고 등에 대한 부담이 크기에 시뮬레이션을 활용한다. 시뮬레이션 중에서 컴퓨터를 주된 도구로 사용하는 것을 컴퓨터 시뮬레이션이라고 하며, 이때 컴퓨터는 통상 센서로부터 받은 데이터와 수리적 모형을 결합해서 최적해를 찾아내고 이를 그래픽으로 표현, 디스플레이하는 역할을 담당한다. 시뮬레이터는 그와 같은 시뮬레이션을 반복적으로 실행할 수 있도록 만든 장치를 가리킨다. 예를 들면, 핵물리학 연구를 위한 중이온 가속기, 군대의 전차 포술 훈련 시뮬레이터, 스크린 골프, 마이크로소프트 Xbox나 닌텐도 게임기 등이 시뮬레이터에 속한다. 에뮬레이션(emulation)은 특정 기계/전자 장치나 SW와 비슷한 역할을 수행하도록 흉내 내는 것을, 에뮬레이터(emulator)는 그와 같은 목적 달성을 위해 만들어진 장치를 가리킨다. 에뮬레이터와 시뮬레이터는 특정 시스템을 모사/복제한다는 점에서는 비슷하지만, 전자(예: CPU 에뮬레이터, 가상 프린터, 가상 OS)는 원본을 대체하기 위해 가급적 모든 특성과 동작을 복제하지만, 후자(예: 항공기 조종 훈련 시뮬레이터)는 소기의 목적(예: 항공기 조종 연습) 달성에 필요한 일부 특성과 동작만 구현한다는 점에서 차이가 있다.
VR/AR, 시뮬레이터/에뮬레이터 비교
VR은 사용자가 몰입(immersion)과 원격실재(tele-presence)를 경험하게 해 준다. 몰입은 가상세계 속에 들어간 사용자가 현실인지 가상인지를 구분할 수 없게 되는 것, 원격실재는 시간/공간 면에서 멀리 떨어진 가상세계 속의 개체들과 (현실세계에서 했던 것과 동일한 또는 유사한 방식으로) 상호작용을 할 수 있는 것을 가리킨다. VR 기술/시스템은 지난 수십 년 동안 사용자가 고수준의 몰입감이나 원격실재감을 느낄 수 있도록 발전되어 온 셈이다. 시뮬레이션/에뮬레이션은 VR처럼 몰입감이나 실재감을 제공하기 위한 것은 아니다. AR은 현실세계에 가상성을 추가해서 인지 효과를 늘리거나 줄이기 위한 것이어서 VR에 비해 몰입감이나 실재감은 작아진다. 시뮬레이터/에뮬레이터는 VR과는 다른 영역에서 발전된 기술이지만, 전자가 원본을 복제하듯, 후자는 현실세계를 모사한 가상세계를 만든다는 점이 공통적이다. 또한, 디지털 시스템으로 구현되는 경우, 원본 또는 현실세계의 특성과 동작을 논리적/수학적 모델로 표현하는 작업 즉, 모델링(modeling)을 거치고 유사한 컴퓨터 HW, SW, 네트워크를 활용해서 구현된다는 점이 공통적이다. 시뮬레이터/에뮬레이터 중에는 몰입감이나 실재감을 제공하기 위한 사용자 인터페이스를 갖춘 시스템(즉, VR)도 있다. 예를 들면, 3차원 영상과 입체음향, 움직임 등을 체험할 수 있게 만든 3D/4D 영화관은 상호작용은 없지만, 몰입감은 높은 VR이다. 따라서, AR/VR 시스템과 시뮬레이터/에뮬레이터는 별개로 다루기보다는 양쪽의 기술과 방법론을 상호보완, 발전시키는 것이 바람직하다.
VR은 인간이 경험한 현실세계를 가상세계로 구현하는 것은 물론, 인간이 경험하지 못한 미지의 세계(예: 지구 속에 존재한다는 주장이 있는 거대 도시, 아틀란티스 문명)나 접근이 어려운 세계(예: 혈액 속 백혈구와 적혈구의 활동, 화산폭발 현장)를 경험할 수 있게 해 준다. VR/AR은 아직까지는 사용자에게 주로 시각(즉, 영상/이미지)이나 청각(즉, 소리) 경험을 제공하지만, 향후 후각(olfactory, 즉, 냄새), 촉각(haptic, 즉, 피부감각), 미각(즉, 맛), 그리고 몸(전체로 느끼는) 감각(somatosensory) 등이 뒷받침된다면 몰입감이 극대화될 것이다. 또한, 5G와 사물인터넷(IoT)을 통해 현실/가상 개체 간 초고속-저지연 통신과 실시간 상호작용이 가능하게 되면 원격실재감도 크게 향상될 것이다.
VR/AR 시스템 프레임워크와 구성요소
VR을 지난 반세기 동안 발전되어 온 HMD나 2012년에 등장한 오큘러스 리프트 같은 HW 기술로 간주하는 것은, 조나단 스튜어(Jonathan Steuer)(1992)가 지적한 것처럼, 다양한 응용 분야로 확장해 가는데 제약이 될 수 있다. 따라서, VR/AR을 요소기술로부터 애플리케이션/서비스에 이르는 논리적 프레임워크에 입각해서 정의함으로써 개인/기업의 요구에 부응하기 위한 새로운 비즈니스 모델과 그것을 구현하기 위한 요소기술들을 유기적으로 연계시킬 필요가 있다. 이를 위해, 용어/개념 측면에서는 위에서 소개한 것처럼 VR/AR/MR, 시뮬레이션/시뮬레이터, 에뮬레이션/에뮬레이터 등의 공통점과 차이점을 이해하고, 기술 측면에서는 여러 가지 기계/전자 장치와 컴퓨터 HW, SW, 네트워크, 나아가 개인생활이나 기업활동을 지원하기 위해 제작-활용되는 콘텐츠/미디어 등을 하나의 VR/AR 시스템으로 설계, 구현하는 것이 바람직하다.
스튜어는 VR 시스템의 가장 중요한 특성인 원격실재감을 결정하는 중요 변수로 생생함(vividness)과 상호작용성(interactivity)을 꼽았다. 생생함은 대상 개체를 인식하는 센서의 깊이(예: 해상도)와 폭(예: 센싱 가능한 감각의 수)에 따라 달라지며, 상호작용성은 속도(예: 실시간처리 수준), 범위(예: 시간적 순서나 공간적 위치, 강도 등의 조절 범위), 매핑 방식(예: 제스처, 스위치를 이용한 제어) 등에 따라 달라진다. 가장 단순한 VR 시스템(예: 콘솔 게임)은 해상도가 낮은 디스플레이와 스피커를 통해 5감 중에서 시각과 청각만 제공하고 반응속도도 상대적으로 느리며 제한된 범위(예: 상하좌우로만 이동 가능)에서, 정해진 제어방식(예: 조이스틱)으로만 상호작용할 것이다. 좀 더 복잡한 VR 시스템(예: 외과수술 훈련 시뮬레이터)은 고해상도 디스플레이와 고품질 스피커, 시각/청각/촉각 센서, 모션 인식과 투사 디스플레이 등을 이용해서 넓은 범위에서 다양하게 제어할 수 있을 것이다. 고수준의 VR 시스템(예: 원격지에 있는 엔지니어들이 하나의 제품을 공동 설계/제조, 소대 병력의 적진 침투 훈련용 시뮬레이터)은 고성능 HW와 고수준 SW, 그리고 AI, 클라우드, 빅데이터 등 디지털 플랫폼 기술을 활용해서 가상 워크벤치나 룸 형태 시뮬레이터(예: HoloDeck)로 구현될 수 있을 것이다.
VR 기술/시스템을 C-P-N-D 프레임워크 즉, 콘텐츠-플랫폼-네트워크-디바이스(기기)에 따라 분해해 보면 아래와 같은 구성요소들을 식별할 수 있다.
▪ 콘텐츠/서비스 (예) 3D/4D/IMAX 영화(개인/집단 감상용), 과학교육용 VR(개인/집단 실습용), 외과수술 훈련 시뮬레이터(개인/집단 실습용), 우주탐사 시뮬레이터(집단, 룸 스케일)
▪ 플랫폼: 서버(CPU, GPU 등 포함), 실시간 OS, 멀티미디어 DB, 클라우드 컴퓨팅, 머신비전/딥러닝(AI), 객체 모델링 & 시뮬레이션 SW, 그래픽 렌더링 SW(즉, 이미지 정보를 실제 이미지로 만드는 작업 지원), 멀티모달(multimodal, 여러 가지 감각의) 센서 데이터 융합 등
▪ 네트워크: 원거리 통신망(즉, 4G 또는 5G), 근거리/개인영역 무선 통신망
▪ 디바이스(입력용) (예): 조이스틱, 마우스, 글로브(glove, 제스처 인식용), 위치/동작/환경 감지 센서, 5감 센서, 3D 스캐너, 웨어러블 기기
▪ 디바이스(출력용) (예): 스마트 글라스 또는 고글(eye goggle), HMD, 프로젝터, 가상 워크벤치, 다중 스크린 또는 동굴(cave) 형태 스크린, 스피커, 헤드폰
VR/AR의 전망과 해결과제
VR/AR도 AI & ICBM처럼 수십 년 동안 발전되어 온 기술로 특히 2010년대에 들어서서 고성능/고기능 HW가 등장하고 가격도 하락함에 따라 다양한 애플리케이션이 개발되고 여러 산업에 확대, 적용되고 있다. VR/AR은 다른 디지털 플랫폼 기술, 나아가 바이오기술(BT), 나노기술(NT) 등과 융합됨으로써 기존 제품/서비스의 기능/성능을 획기적으로 향상시킬 수 있을 것이다. 클라우스 슈밥(2018)은 4차 산업혁명을 이끄는 4가지 기술群 중 ‘인간 변형’(Altering the Human Being) 기술群에 BT, 뇌/신경기술과 함께 VR/AR을 꼽았다. 즉, BT와 뇌/신경기술이 인간의 건강과 수명을 증진시켜서 신인류에 이르게 하는 것처럼, VR/AR은 AI로 대체할 수 없는 인간의 상상력을 넓혀 줌으로써 인류 발전에 기여할 수 있으리라는 것이다. 미래의 VR/AR은 5감 활용 사용자 인터페이스를 통해 과거에 경험하지 못했던 개인생활의 변화와 산업 혁신을 이끌어 냄으로써 스마트폰을 넘어서는 디지털 플랫폼이 될 것이다. 다만, 현 수준의 VR/AR은 장비나 전문 tool에 대한 투자 부담, 사용자 건강/안전 위험성(예: 오래 착용할 경우 어지러움, 구토 증세, HMD 무게로 인한 목 부상, 주위 상황 인지력 감소) 등 넘어야 할 장애가 많다. 다른 신기술도 마찬가지지만, VR/AR은 프라이버시 침해(예: 원치 않는 개인 영상 정보 노출), 과몰입(예: 청소년 게임 중독), 윤리적 해탈(예: 현실 도피)과 신형 범죄(예: 가상세계의 폭력을 현실세계로 이전) 등 역기능의 소지도 크기에 이를 방지하기 위한 기술적, 제도적 장치도 마련되어야 한다.
