Ar

실감나는 안경형 디스플레이 개발기, 그리고 VR 디바이스

국외 유명 기술 '클라우드 펀딩'(뜬구름 잡는 펀딩이라는 이중적 의미로 쓴 것임) 사이트 중 하나에 필자가 몇 개월 정도 시간을 내서 개발을 총지휘하여 만든 ‘웨어러블 디바이스’ 하나가 있다. 요즘 사람들 표현과 기준을 빌자면, ‘VR 글래시즈’라고 하는 것과 흡사하다. ‘Geek(y) Gadgets’(의미: 소수의 사람들이 열광하는 소품이나 전자제품의 일종)의 일종인데, 몇개월 정도 집중해서 만들었던 제품이다. 

스펙을 간단히 소개하자면 다음과 같다.

SVGA급 OLED 마이크로 디스플레이를 이용하여 십수 년 전에 일본에서 개발되어 공개된 특허에 근간하여 만든 광학계를 양안으로 안경형으로 만든 것이다. 3m 앞에 86”(인치) 정도 가상스크린이 펼쳐지며 시야각은 가상스크린 화면 크기에서 역산되는 딱 그 수준이다. 게다가 셀폰을 직접 눈앞에 놓거나 젠더 케이블로 폰 화면 미러링을 한 방식도 아니며 H/W 그래픽 처리칩을 채용하여 2D와 3D 규격을 다양하게 구현할 수 있게 만들었다.

어쩌다 안경형 디스플레이 개발을 하게 되다

사실, 이 작업을 하게 된 것은 고등학교 선배의 구조요청을 무심히 지나치지 못한 탓이었는데, 얼떨결에 새로운 모바일 IT (※ 이 말은 배터리로 구동된다는 게 전제되어 있다) 기기를 개발하게 되었고, 300개 정도의 워킹 샘플을 시생산하여 완성하고 손을 뗐었다. 더 진행했으면 하는 아쉬움이 있었지만, 절반의 성공, 절반의 실패였다. 성공의 의미는 국내에서 발표된 어느 연구결과, 제품보다도 낫다고 자부할 수 있는 수준이었기 때문이고, 실패의 의미는 이보다 훨씬 잘 만들 수 있었다는 아쉬움과 ‘웨어러블 디바이스'의 한계 때문이었다. 즉, 도중에 멈춘 제품이었다는 말이다. CES 같은 전시회에 나왔다 흔적도 없이 사라지는 콘셉트 제품 기사야 범람하니 이때의 개발 분투기를 거울삼아 ‘해본 사람'으로의 경험담에 따라 ‘손에 잡히는’ 안경형 디스플레이에서 VR 디바이스까지 이야기를 담백하게 써보려 한다(※ AR 디바이스는 다음에 다루기 위해 이번 칼럼에서는 일부러 다루지 않았다).

막상 선배의 부탁으로 개발을 맡게 되었을 때, 전일제로 개발할 상황이 아니었던지라 원래 사양했었던 이슈였다. 그런데 마침 워킹 샘플 구현에 경험이 있는 ‘기술자’들이 물색되어 있다고 하여 조금은 수월하게 갈 수 있겠구나 하고 그들과 함께 하게 시작되었다. 그때부터 악몽이 시작되었다. 필자가 개발한 것은 ‘디스플레이 글래시즈, Display Glasses’라 필자가 명명한 것으로 안경형 디스플레이의 일종이다. 업계에선 이걸 가리켜 VR디바이스라 칭하는 게 대부분인데, 이 제품의 개발 과정 상당 부분이 VR 디바이스 개발과도 겹치기 때문이다(※ 용어는 가급적 배제하고 일반적인 표현으로 쓰겠다).

디스플레이: 무게는 해결의 기미가 안 보이며 무엇보다 중요한 것은 해상도

우리나라에서의 안경형 디스플레이의 역사는 20여 년 이상 된다. 필자 지인 한 사람은 2000년대 초반, 벤처 붐을 타고 안경형 디스플레이 제조 벤처로 창업한 적도 있었고, 그후에도 최소 2, 3개 회사가 안경형 디스플레이를 개발해 제품화까지 간 적이 있었을 정도로 나름 역사와 전통이 있는 분야였다. 전통적으로 안경형 디스플레이는 그 때의 고해상도 마이크로 디스플레이를 갖고 광학계와 결합시켜 ‘확대된 가상 스크린'의 크기에 마이크로 디스플레이에 준하는 해상도로 전방에 펼쳐지게 된다. 이때 마이크로 디스플레이가 들어 있는 광학계를 ‘안경’처럼 얼굴에 밀착하여 쓰게 된다. 

먼저 해상도를 본다면, 20여 년 전에는 마이크로 디스플레이의 해상도가 지금보다 많이 낮았다. 그래서 안경형 디스플레이에 쓰인 마이크로 디스플레이의 해상도는 TV나 모니터의 것보다 낮을 수밖에 없었다. 마이크로 디스플레이는 OLED, LCoS 등이 있으며 디지털카메라의 뷰파인더용으로도 쓰이고 있는데, 과거보다 많이 좋아진 상태이나 ‘확대된 가상 스크린'을 만들기 위한 광학계가 여전히 거대하고 무겁다. 하지만 지금까지 나온 방식 중 최고의 해상도는 마이크로 디스플레이 방식에서만 구현된다. 마이크로 디스플레이 방식은 가장 디스플레이다운 해상도를 보여주는 대신, 광학계 쪽의 이물 관리가 가장 큰 난제다(이물:이물질의 약자). 개발에 함께 한 기술자들은 설계경험 없이 공정을 한두 번 경험한 게 다였을 정도였다. 다시 말해 해묵은 공정 레시피 몇 장 가진 게 다였고 품질 관리와 양산 능력 자체가 없었고 이물 관리 개념조차 없었다. 알음알음으로 쓸만한 개발자를 구했지만 개발하는 내내 구해지지 않았다. 난제를 해결하려던 중에 얻은 교훈은 국내 언론에 대서특필됐던 안경형 디스플레이와 VR 디바이스 기술 개발은 상당수가 실체가 없었고 기술을 가진 연구원도 실재하지 않았다. 결국 ‘맨땅에 헤딩하기’식으로 이물이 최소화된 광학계를 자체적으로 구현할 수밖에 없었다. 

그런데도 SVGA급 OLED 마이크로 디스플레이로 구현된 광학계를 300개 이상 찍어냈지만, 문제는 산적했고 산 넘어 산이었다. 수천 개 이상의 워킹 샘플도 초도 생산엔 전혀 문제가 없으나 국내에서 생산되지 않는 OLED 마이크로 디스플레이를 해외 제조사에게 받아야 하는 문제와 완성 광학계의 품질 관리 방법을 새로 창조해야 한다는 결론에 도달했다. 이런 문제에도 불구하고 익히 알려진 다른 두 가지 방식을 선택하지 않은 이유는 다음과 같다.

선택하지 않은 첫번째 방식은 셀폰을 눈앞에 둔 채 단순 렌즈를 이용하여 초점만 맞춘 방식의 안경형 디스플레이가 있었다. 이 형태로 대표적인 게 오큐러스의 것이었는데, 사실, 오큐러스 DK1이 첫선을 보인 후 구글에서 그게 무슨 VR 디바이스냐 하며 조롱하듯 나온 게 종이박스로 만든 ‘구글 카드 보드'였다. 실제 오큐러스 DK1을 분해해 보면 삼성전자 셀폰의 디스플레이를 재사용했을 정도다. 구글 카드 보드가 셀폰을 그대로 쓴 후, 오큐러스가 ‘아, 저러면 되겠구나…’ 하고 무릎을 치고 진행한 게 아닌가 싶은 게 하나 있었다.

 

구글 카드 보드 소개 / google

그게 바로 오큐러스와 삼성전자가 제휴하여 내놓은 ‘기어 VR’이었다. 장점은 구글 카드 보드 형태로도 구현이 가능할 만큼 별다른 게 없어 제조단가가 싸다는 것이다. 그리고 케이블 연결이 가장 단순하다. 단점은 가장 무겁고 거기다 환산된 크기의 가상 스크린 해상도도 낮아 화소가 눈에 보일 정도로 극악이었다. 해상도 문제는 셀폰의 해상도가 점점 나아질 거란 기대 때문에 개선의 여지가 있지만, 무게 문제는 해결책이 요원한 상황이고 사실상 가장 열악한 조건에 놓여 있다. 그래서 겨우 선택한 방법이 거대한 안경형 디스플레이를 스키고글마냥 쓰고 밴드를 이용하여 머리에 밀착형으로 고정하는 방법 - 사실상 머리에 꽁꽁 묶는 방식 - 을 쓰고 있다. 말이 안경형이지 안경처럼 쓸 수 없는 것이 이 방식이다. 최근에 나온 샤오미 것도 셀폰의 용도 확장이란 측면에서 마찬가지 디자인을 따르고 있는데 탄탄해 보이는 밴드가 인상적이다.

샤오미의 VR 디바이스 모식도 / 샤오미

이 방식은 영화 한 편을 온전하게 다 보려 하면 뻐근할 정도고 쓴채로 다른 활동이 불가할 정도다. 하지만, 단시간 체험형 학습에 쓰기에 가장 무난한 특성이 있지만, 장시간 체험형 학습에 쓰기에는 무리가 있다. 마이크로 디스플레이 방식은 셀폰 이외에 탭, 패드와 랩톱과도 연결하여 안경형 디스플레이로 구현할 수 있어 확장성이 가장 좋지만, 셀폰을 눈앞에 놓고 초점을 맞춘 방식은 한정된 셀폰만을 이용할 수 있을 뿐이다.

선택하지 않은 두 번째는 셀폰의 화면을 젠더 케이블을 이용해 저해상도의 작은 디스플레이에 미러링하는 방법이었다. 중량은 가장 가볍지만, 해상도는 극악이라 정상적인 시청이 불가한 수준이라고 혹평을 받기도 한다(※ 기술이라 할만한 수준도 아니기에 가볍다고 봐도 무방하다). 모 정부출연연구기관과 모 기업이 이 방식의 기술로 시장에 도전했다가 혹평을 받은 바 있는데, 이건 당연한 결과다. 어떻게 이 방식 제품을 출시하겠다고 의사결정이 이뤄졌는지가 불가사의할 정도다. 이 방식은 구글 카드 보드 방식의 조악한 변종이라 할 수 있을 정도로 개발과정이 단순하면서도 품질 관리란 말을 쓰기에도 군색한 수준이다. 셀폰 화면을 안경의 양안 역할을 하는 작은 디스플레이에 미러링하고 렌즈로 초점을 맞추면 끝이다. 이걸 만들며 ‘Simple is the best’를 외쳤다면 유체이탈 수준이며 수십억의 연구비가 투입되었다고 주장한다면 어디에 그 돈이 쓰였나 흔적을 찾기도 어려울 정도다. 게다가 구글 카드 보드 방식의 셀폰 자리에 미러링된 작은 디스플레이로 대체되면서 젠더 케이블이 하나 추가됐을 뿐이다. 

초점: 조정할 것이냐? 시력 교정 장치를 직접 쓸 것이냐?

마이크로 디스플레이 방식으로 결정하고 개발하며 가장 고민스러웠던 부분이다. 사람들은 제각기 시력이 달라 초점 거리가 다를 수밖에 없는데 마이크로 디스플레이 방식은 고정된 광학계로 설계되기 때문에 초점을 조정식으로 잡을 수 없다. 하지만 의외로 안경 없이 영화를 볼만한 수준인데, 그 이유는 바로 눈앞에 맺힌 상을 보기 때문이 아닌가 싶다. 3m 앞에 있는 86”(인치) 실 스크린을 볼 때 안경이 필요한 사람 중 상당수도 안경 같은 시력 교정 장치의 도움 없이도 선명한 화면을 볼 수 있을 정도다. 초점 거리 조절을 가능하게 하느냐, 아니면 개인화된 시력 교정 장치를 쓰느냐에 갈림길에서 선택한 것은 개인화된 시력 교정 장치였다. 이 부분은 눈앞의 셀폰 화면이나 미러링 화면으로 초점을 맞추는 방식이 유리하다. 

케이블: 불편함의 원인

구글 카드 보드 방식은 케이블 문제가 없다. 그냥 눈앞에 얹혀진 그 무거운 셀폰이 문제일 뿐이다. 미러링 방식은 하나의 케이블이 추가될 뿐이지만, 조악한 해상도에 좌절하고 말 뿐이다. 하나는 간단하나 너무 무거워 머리에 묶어야 할 정도고, 다른 하나는 간단하나 보고 싶지 않다. 마이크로 디스플레이 방식은 H/W 그래픽 처리칩으로 다양한 화면 컨트롤이 가능하다는 점과 함께 3D 영화나 3D 스포츠를 보는데 아주 유용하다. 만일 3D 영상을 꼭 구현하고자 한다면 마이크로 디스플레이 방식에 그래픽 처리칩을 함께 쓰도록 설계하는 수밖에 방법이 없다. 하지만 이 때문에 상당히 복잡한 케이블 결선을 하게 된다. 

하지만 화질과 3D 영상을 구현하고자 한다면 충분히 가치가 있는 방식이다. 케이블 삭제를 위해 ‘무선 디스플레이' 기능이 언급될 때가 있는데, 고해상도의 안경형 디스플레이 가상 스크린에 ‘무선 디스플레이' 전용 규격으로 영상을 전송하도록 개발된 국외 제품도 있다. 이 ‘무선 디스플레이' 전용 규격으로 통신하게 하면 유선 케이블과 비교하면 4, 5배 이상의 배터리 소모가 일어난다(참고로, S사의 제품에 이 기능이 들어가 있는데 무선 모드로 사용하면 1시간도 쓰기 어렵다). 아직은 적용하기에 요원한 기술이지만, 셀폰 화면 해상도 증가와 충분히 경쟁적으로 발전하길 기대한다. 

배터리: 결국은 여기가 또 병목, 무선 디스플레이의 적

참새가 방앗간을 지나칠 수 없듯이, 필자가 이 부분을 그냥 지나친다는 건 예의가 아니다. 모든 모바일 디바이스는 배터리가 가장 큰 골치덩이다. 구글 카드 보드나 그의 변종 방식은 순전히 셀폰의 배터리 상태에 의존한다. 하지만 마이크로 디스플레이 방식은 그래픽 처리칩, 마이크로 디스플레이용 전원 공급 등의 기능을 집합한 ‘콘트롤러'가 있는 경우가 많다. 그래서 구성품 자체가 안경형 디스플레이, 콘트롤러, 전용 케이블 등으로 이뤄져 있다. 사실, 배터리 문제에 가장 유리한 것은 콘트롤러에 배터리를 더 넣을 수 있는 마이크로 디스플레이 방식이지만 향후, ‘무선 디스플레이' 전용 규격이 표준화되어 채택된다면 배터리의 가장 큰 적이라 할 수 있다. 

가정용 라우터를 통해 무선 인터넷으로 연결한 모바일 IT 기기의 영상 재생과는 차원이 다르다. 현재도 WiDi 등 제법 많은 ‘무선 디스플레이' 전용 규격 컨소시엄들이 표준화 선점을 위해 경쟁하고 있을 정도다. 마이크로소프트 홀로렌즈는 좀 묘한 위치에 있다. 이미지 컷을 보면 다들 경악을 하며 혹한다. 하지만, 아직 구현되지 않은 이미지 컷임을 감안하여 하나씩 짚어 보며 다른 기술에 비해 크게 앞서지 않는다는 평이 강하다.

VR 디바이스: 디스플레이에 더해 센서, 인터렉티브한 콘트롤, 콘텐츠와 편의성

VR 디바이스라 소개된 많은 제품들을 보면 상당수가 단순 안경형 디스플레이인 경우를 쉽게 발견할 수 있다. 사실, 오큐러스 리프트의 시초 제품만 하더라도 VR과는 거리가 먼 조악한 수준의 안경형 디스플레이였다고 폄하 받을 정도였다. 여기에 투자자가 들어오며 오큐러스는 ‘센서 기술'을 드디어 채용하게 되었다.

오큐러스 리프트 이미지 / 오큐러스

오큐러스 리프트를 VR 디바이스라 정의할 때의 VR은 ‘가상 현실', 즉 현실이 아닌 공간을 실감나게 구현하는 것인데, 단순히 현실이 아닌 공간을 눈 앞에 구현한 것은 애니메이션, 영화, 그리고 비디오 클립과 차별화될 수 없었다. 사실, 오큐러스 DK1을 쓴 사람이 청룡열차 영상을 보면서 기함을 하는 것은 비상식적이며 연출된 쇼였다고 비난 받아도 무방한 수준이었다. 

왜냐하면, 폐소 공포증이 있거나 순간적으로 공간 감각을 상실하도록 ‘밀폐 상태'에 익숙하게 한 후 보여주는 청룡열차 영상은 충분히 기함을 할만한 것이지, VR 디바이스로 체험한 것이 아니기 때문이다. ‘현실이 아닌 영상'에 빠져 ‘실제 공간감'을 상실 혹은 마비시키는 것을 필자는 ‘VR’이라 정의한다. 이때 실제 공간감을 상실케 하는 것은 눈앞에 펼쳐진 영상으로 시각만을 마비시켜서 되는 게 아니다. 이때 필요한 것은 ‘현실이 아닌 영상'에 빠짐과 동시에 현실의 감각을 잃게 만드는 보조 장치가 필요하다. 그게 바로 센서들이다. 

오큐러스 리프트가 DK 시리즈를 지나 오면서 가장 큰 발전을 한 것이 센서였다고 할 수 있다. 물론 그 전에는 셀폰의 센서를 조악하게 활용하여 어쭙잖게 공간감 마비를 유도하고자 하였으나 그다지 성공적이지 않은 안경형 디스플레이였을 뿐이다. 하지만, 이제 센서가 추가되면서 많이 VR에 가까워졌는데, 다음에 필요한 것은 ‘현실이 아닌 영상'을 통해 자신의 ‘손발'을 구현하는 것이다. 손발이 ‘현실이 아닌 영상'에 같이 빠져 영상의 콘텐츠들과 인터렉션이 되었을 때야 VR이란 이야기를 할 법하다. 하지만, 이런 발전 중에도 우리를 문득 현실로 되돌리는 것은 ‘VR 디바이스'의 ‘중량감'이다.

필자가 개발했던 안경형 디스플레이로 VR 디바이스로 가는 첫 번째 정류장이었지만, 갈 길이 멀었다 할 수 있다. 최근 국가 전략 R&D의 한 분야로 『가상・증강현실』로 선정된 것을 보며 착잡한 마음을 금할 수 없다. VR 디바이스를 개발하는 동안, 도움을 얻기 위해 찾아본 우리나라의 현황이 그렇게 녹록한 상황이 아니었기 때문이었다. 대서특필된 개발 완료, 양산임박 디바이스 중 두어 개는 필자가 개발한 것을 DK1.0이라 할 때 DK0.1 수준에 불과했고 차마 입에 담지 못할 문제가 있는 것도 있었기 때문이다. 

아직 PM도 선정되지 않았고 어떻게 될지 모르는 분야이지만, 모쪼록 제대로 된 PM이 선정되고 진짜 제대로 된 VR 디바이스가 한국에서도 만들어지길 바라마지 않지만 회의적인 게 사실이다. 삼성전자만 하더라도 자체적으로 개발한 제품을 내놓을 생각이 아직 없는 분야다. 필자는 굳이 다시 VR 디바이스 개발에 뛰어들고 싶은 생각이 현재로서는 없지만, 작은 조언이라도 필요한 개발자나 정책 입안자가 따뜻한 아메리카노 한잔과 조각 케잌 사들고 찾아와 이 분야의 진짜와 가짜를 구분하는데 도움을 청할 때 필자가 아는 범위 내에선 언제든지 환영이다.

개발된 안경형 디스플레이, 테라글라스

당시 같이 고생한 팀원들