Hirose 일본 가상현실 협회 회장 인터뷰

일본  VR협회 회장 / 現 도쿄대학교 정보학환 교수

제가 처음으로 VR(가상현실)에 관심을 가지게 된 것은 2013년 무렵이었습니다.

당시 구글에서 처음으로 구글글래스(AR)로 선보였고, 그것을 계기로 과연 다음번 시대의 변곡점은 과연 어디일까? 라는 호기심은  VR이란 분야까지도 관심이 이어지게 되었습니다.  

하지만 당시에는 지금과 달리, VR에 관련해서 많은 정보들이 없었고, 있더라도 너무나 전문적이고 기술적인 정보이거나 너무 옛날 VR 시도들(VR Cave 등)에 대한 정보였습니다.

그러던 중 VR에 대해서 나름대로 제대로 된 연구를 하고 있는 곳을 발견했는데, 그것은 세계적 대학교이자 일본 최고의 대학인 도쿄대였습니다. 도쿄대 대학원 정보학환의 Michitaka Hirose 교수님께서 Virtual Realiy와 Human Interface에 관련해서 전문적으로 연구하고 계실 뿐만 아니라, 일본 VR협회 회장까지 겸임하고 계신다는 정보를 알게된 것입니다.

VR 관련해서 정보나 깊이 있는 통찰에 간절했던 저는 무작정 Hirose 교수님을 만나뵙기 위해 Cold Call 메일을 보냈지만 별다른 답장이 없었습니다. 그래서 감행한 Cold Visit(?)까지도 하였으나 바쁘신 교수님께서는 다른 나라에 출장을 간 상태였습니다...

어쩔 수 없이 연구실에 계신 조교 분께 음료수라는 약소한 뇌물(?)과 메세지를 남기고 돌아와서 연락을 기다려쏙 마침내 2014년 2월 초에 교수님으로 한 번 만나보자는 연락을 받게 되었습니다.

도쿄대의 명물, 빨간 정문

그렇게 2014년 2월 10일, 드디어 교수님을 만나뵈고 시작된 인터뷰

Q : 바쁘신 와중에 이렇게 시간을 내주시어서 정말로 감사합니다. 교수님, 사실 여러자료를 토대로 공부를 하다보니깐 인간의 발전들(농업혁명, 산업혁명, 정보혁명)은  어쩌면 매슬로우가 주장한 인간의 5단계 욕구이론에 따라 일어났다는 생각이 들었었습니다.
인간의 최소한 생존을 보장하기 위해 인류는 수렵생활에서 정착을 함으로써 농업혁명을 이루었고,
한정된 자원이라는 한계를 극복하기 위해서 산업혁명을 대량생산 시스템을 일구었으며, 이를 통해 생존과 안전욕구의 대다수를 해결하였다고 생각합니다.
긴밀히 연결되어 유대감을 형성하고 신뢰기반 사회를 이루기 위한  정보혁명 등을 통해서 사회적인 욕구를 충족시키려는 쪽으로 발전하고 있다고 생각합니다.
매슬로우의 피라미드 끝에는 자아실현 요구가 존재하는데 이러한 흐름들 따라가면, 결국 사회도 이러한 자아실현 욕구를 충족시켜주기 위한 쪽으로 발전해나갈 것이라 생각이 드는데, 자아실현의 욕구를 충족시켜주기 위해서 필요한 수단은 어떤 형태일까 생각했을 때, 경험을 제공해주는 방향이 될 것이라고 생각합니다. 따라서 미래의 비즈니스 모델은 가상현실을 매개로 경험을 사고파는 형태가 될 것이라 생각합니다.  
이에  ‘가상현실기술’, ‘Wearable Computer’, ‘Interface의 변화’가 중요할 것이라 생각합니다.
교수님 생각은 어떻게 생각하십니까?

- Hirose 교수 : 먼저 VR에 대한 정의부터 선행되어야 합니다. 그리고 그 정의에 따라서 방향이 달라질 것입니다. 어떤 의미의 가상현실인가?
영화에서와 같은 가상현실은 아직 현실에 없지만 만지고 잡고 느끼고 할 수 있는 것에 대해서는 지금 대학원에도 이미 있습니다.
하지만 인터넷 홈쇼핑, 옥션, 게임 등 컴퓨터에서 일어나는 것들도 이미 다 가상현실이라고 할 수 있는 것들 입니다.
컴퓨터에서 일어나고 있는 일들도 어찌보면 우리가 컴퓨터 안에서 하고 있는 거라고 할 수 있습니다.
예를들어, TV로 올림픽을 보는 것 입니다. 아주 옛날에는 올림픽을 서류상으로만 볼 수 있었습니다. 하지만 오늘날 우리는 TV라는 매개체를 통해서 리얼리틱하게 실시간으로 올림픽을 봅니다. 우리가 전쟁터에 있지 않아도 전쟁터에 있는 것과 같이 느낄 수 있습니다. 대지진 현장에 있지 않아도 대지진에 대해서 현장에 있는 것 같이 느낄 수 있습니다.
물론 실제로 느끼는 것과 TV로 느끼는 것 사이에는 어느정도 차이는 있겠지만, 그 세계에 발을 들여다 놓았다고 말을 할 수는 있습니다. 우리는 이미 VR의 입구 정도에는 와있는 것입니다.

Q : 그렇다면 지금 우리의 컴퓨터가 온라인으로 연결되어 서로 간에 게임이나 소통을 하듯이 VR이 전 세계적으로 온라인으로 연결되어 지금처럼 상호 작용하는 것도 가능하다고 생각하십니까?

- Hirose 교수 : 가능하다고 봅니다. 지금 '체험'이라는 Quality가 점점 올라가고 있습니다. 그에 따라서 트 래픽도 증가하겠죠. TV정도의 수준이라면 문제없겠지만, Interactive적인 높은 Quality는 굉장히 많은 트래픽이 생기겠죠. 하지만 기술이라는 것은 점점 발전하는 것이잖아요. 한 번에 이 문제들을 해결할 수는 없겠지만 조금씩 조금씩 그 한계를 늘려갈 겁니다.
과거 인터넷, 전화, 네트워크 등을 보세요. 옛날에는 컴퓨터로도 동영상보기 힘들었지만 지금은 매우 잘 나오잖아요.

Q: 구글 글래스 와 같은 Wearable Computer가 VR HMD가 되는식으로 기술이 발전되어갈까요?

- Hirose 교수 : 그 둘은 전혀 다른 타입 입니다. 구글글래스는 시야를 완전히 덮는 것이 아니고 일부만 덮는 것입니다. 그리고 정보가 여기(안경)에 나오는 유형이죠. 스마트폰에 가까운 것입니다. 그리고 임장감(현장감)이 없습니다. 야후 옥션 같은 것도 현장감은 없는 거잖아요. 하지만 긴장감은 있잖아요. 그런 세계에 꼭 현장감이 있어야 하는 것은 아니잖아요.(영상이 있는 게 좋긴 하지만)
꼭 VR이라는게 360도 다 보여야 하는게 아니잖아요.
다시 질문으로 돌아가  Google glassess와 Oculus Rift는 다릅니다.

Q : 둘이 합칠 수는 없느냐?

- Hirose 교수 : Oculus Rift 사람들이 Google glasses 같은걸 만들까는 미묘하네요. 그것은 Sony가 만들려는 것과 관련 있습니다. Sony가 HMD 쪽에 열중하고 있습니다. 특히, 최근에 노력을 기울이지만 잘 안되고 있습니다. Sony가 20년 전부터 내고 있는데 잘 안됩니다.(내고 망하고 내고 망하고)
소니는 역시 Action Display랄까? Plat Panel Display같은 Action Display라 말할 수 있을지 모르겠지만 이런 조그만 Display같은 기술 갖춰져 있잖아요.(시야각도를 넓히고는 싶어하지만 화질 때문에) Sony가 이쪽 방향으로 나아가고 있어요.
Sony가 만드는 것은 Oculus Rift(120도)것과 달리 좁은 시야각도로 개발하고 있어요. Sony는 시야각도가 너무 넓으니깐 화질이 깨지니깐 아마도 필시 상품이 안 될 것이라고 생각해요.
VR을 연구하는 사람들에게는 좋을지도 모르나 영화 보는데는 적합하지 않아요. VR장래를 보는 젊은이들에게는 좋겠죠. 하지만 Sony는 영화에 집착하고 있기 때문에 역시 Display에 신경쓰죠.
Sony에게도 Computer Entertainment가 있지만 그것은 작은 부분입니다. Sony는 영화/TV가 main입니다. 그래서 20~30도정도로 작게 만듭니다.
그래서 Sony는 120도는 단념하고 오히려 잡는 거라던가 정도에 집중하는 거 같습니다.
Google glasses는 싸질거니깐 금방 퍼질 거라고 봅니다. 그런데 이쪽은(Sony/O.R) 비싸니깐 언제 퍼질지 모르겠습니다.
* 안타깝게도 18년까지 봤을 때 구글글래스는 거의 망한 듯 보이네요...ㅠㅠ
    
Q : 교수님은 Interface에 대해서도 연구하시는데,  컴퓨터 유저 인터페이스의 변화가
 "문자 → 그래픽 → VR ”  라는 순서로 나아간다고 보시나요?

- Hirose 교수 : VR 범위는 넓습니다. 일례로 Keyboard-Mouse도 VR개념이라고도 할 수 있습니다.
VR적이란 게 어떤 면에서 VR적인가에 달려있지만 한순간 Data Glove로 바뀔거라고 생각하진 않습니다. 아이폰 같은 경우 손으로 화면 조절, 터치 등 신체의 움직임으로 움직이잖아요.
예를들어 문서에서, 도면이라던가 확실하게 있는 것을 조작하려고 하면 역시 지금 키보드한테 질 것이라는 생각이 듭니다.(부정적 견해를 들어내셨다.)  예를들어 눈사람을 만든다면 직접 손으로 가상으로 만든다면 안 귀여울 수도 있고 그리는 거라던가 그런 부분에 있어서 수행이 부족하잖아요?
겨우 문서를 drl서 여기로 옮기는 건데 VR로 안 해도 가능한겁니다. MS나 윈도우나 강하겠지만 그렇지 않은 경우도 많잖아요? 예를들면 귀여운 눈사람 만든다는 가 그야말로 체험이라는 이야기를 봤을 때, 한국의 즐거운 여행을 요구 받았을 때, 처음에는 Document로 쓰지 않습니까? “서울 재미있었어?-재미있었습니다.” 글자로 말해도 잘 모르잖아요. 얼마나 재미있었는지, 근데 Video가 첨가되면 더 잘 알게 되잖아요. 그런 거에요. 번지점프 재미있잖아요. 번지점프가 체험을 Edit해서 문서에 넣는다면 ♀의 자세를 Computer에 입력할 수 있다면 굉장히 도움이 될 것이라고 생각해요.
그러니깐 체험의 형태, 용도가 어떻게 증가할 것인가 말한다면, VR의 형태의 것이 늘어갈 것이라고 생각해요. Mouse 같은 것은 TV에서 확 나오는 거에 비하면 Mouse로 하나 Keyboard로 하나 50보 100보이지만 확실한 것은 점점 그쪽으로 가고 있다는 거죠.
     
Q : V.R.를 대학원에서 공부하기 위해 필요한 공부분야와 수준은 어느정도 입니까? (수학/물리/프로그래밍)
　　
- Hirose 교수 : 여러 가지가 할 수 있지 않으면 안 되겠죠. 프로그램, 컴퓨터 구조라던가 System에 대해서도 알고 있는 게 중요하겠죠. VR의 역사를 생각해보면 1989년이죠, VPL(Visual Program Language-회사이름)이 먼저 시작되었죠. 여기서 장갑을 만들어요. 그리고 컴퓨터 그래픽 안에서 (이게 Data Glove라는 건데) 손에 장갑을 껴서 손가락 움직임이 얼마나 구부렸는지 분석해서 컴퓨터에 끼워 넣는 거에요. 커피컵을 잡는 것처럼 (가상 안에서) 그리고 NASA의 사람들이 이걸 협력해서 고글 같은 걸 만들었어요. 그런데 훨씬 전에 있어서 Interactive하게 비행기 조종한다던가, Remote Control이라던가 이런 거를 80년대 초반이나 70년대부터 했어요. 그래서 그 회사가 Data Glove를 만들었어요. 그 회사가 비교적 싼(쉬운) 부분만 빼 내와서 고글을 만들었어요. 그래서 팔았어요. 고글의 이름은 eye-phone. 의외로 알고 있는 사람이 적어요. “미래의 전화”라고 하는 표어로 SF전시회에 내었어요. 전화가 걸려오면 (아바타가) 문을 열고 들어와서 내 앞에 앉아 실제로 만나 이야기하는 것처럼 하는 거에요. (고글에서) 그래서 eye-phone(1970-80). 그 당시라고하면 Computer Grapic 기술을 잘하는 사람 프로그램 잘하는 사람, Data Glove 잘 만드는 사람, Robertics(힘을 제어하는 기술)하는 사람들 등의 힘을 빌려서 했겠죠. “이과 계열 사람들”이 생각했겠죠. VR 만드는 거에 있어서는 그렇게 중요한 게  아닌 거죠. Keynect를 당신 같은 (문과) 사람들이 만드는 것은 무리겠죠. 하지만 지금은 판매하는 거죠. 지금은 문과사람들이 C언어를 조금만 열심히 노력한다면 가능하죠. 과거에는 하나 만드는데 1억 원 이상 비용이 드는 등 문과가 들어오기 힘들었죠. 하지만 지금은 모든 사람들이 구매되게 된다면 오히려 그 안에서 만들어지는 세계에 대해 예를 들면 지매있는 것을 만들어야지, 그런 발상을 가진 사람, 물론 문과가 아닐지도 모르지만 뭐 영화감독 같은 사람이 어느 쪽이라 한다면 문과잖아요. 예를 들면, Game Designer 같은 사람들이 있잖아요. 재미있는 체험에 캐릭터를 만드는 사람이 있다던가, 그 대상에 대해서 흥미를 가지고 있는 사람들도 있잖아요. 그래서 이제는 VR세계에 그런 사람들도 들어올 수 있는 게 아닌가. 방송국도 처음에는 이과계열 장치를 만드는 사람들이 주류였지만, 지금은 PD, 카메라 맨 등 같은 문과 계열 사람들이지 않으냐? 예전에 올림픽 하면 기술자 보내서 방송 보내는 게 문제였으나 지금은 그건 당연한 거고 어떻게 하면 편성을 잘해서 시청률을 올릴지 방송사고 방송 안날지가 중요하지 않습니까? 그걸 콘텐츠라고 합니다만 그거에 있어서는 한국이 잘하고 있다고 봅니다. 일본은 실패했습니다. 한국은 Cultural Technology 라는 걸 만들었잖아요? 카이스트에 있습니다. 카이스트는 원래 공학계열이었죠? 거기에 문과 기술 같은 게 들어갔다는 거죠. 5~6년 전 쯤에 만들어졌어요. 일본은 도쿄대 안에서는 Cultural Technology 같은 정말로 융합한 진짜 의미에서 융합한 것은 아직 없네요. 카메를 보자면 Camera라는 Technology는 이제는 아마도 뭐라고 할까나 누구라도 쓸 수 있기 때문에 자신이 카메라를 직접 만든다는 것은 아마 거의 없어졌다고 생각해요.
 영화감독이라는 사람들은 시나리오 Writing이라던가 카메라 감독은 연출의 방향, 사람들이 보고 감동을 느끼게 하는 법을 공부하잖아요. 그건 어느 쪽이라고 하면 미술계 쪽이랄까요. 그래서 그림(영상)이 예쁘게 만들어진다던지 체험자체가 즐거워진다던지 하잖아요.
아까 체험적인 것을 전하는 것이 미디어의 VR이라고 한다면....VR이라고 하는 것은 그렇지만 영화만큼 기술이 원숙했나라고 하면 그렇지 않아서 아직 기술이 갈팡지팡 움직이고 있으니깐요. 그러니깐 자신들이 기술을 만들지 않으면 안돼요. 그러니깐 완전히 기술로부터 떨어져 있냐고 말하면 그렇지도 않아요. 실제로 여러분들이 VR에 대해서 공부하셔서(교수님을 찾아갔던 나와 같이 간 친구는 문과였다) 아.. 문과?
그러니깐 문과의 사람들은 VR에 대해서 문과적인 시점에서 공부하는 거 아니겠습니까?
그래서 이런 VR이 필요하지만, 뭔가 한 번 해볼까? 재미있는 거 만들어 볼까라는 걸로 시작하지 않겠습니까? 자신들이 직접 만들 수는 없으니깐. 근데 진짜는 VR을 공부하는 사람이라고 하는 것은 “이러한 새로운 VR을 만드는 것이 가능하다면 뭔가 바뀌지 않을까”라는 가설을 자신들이 변증 가능하잖아요? 그러니깐 그런 비행기를 날리려는 사람들에게 가까워서 “비행기를 이쪽 방향으로 날린다면 좀더 좋지 않을까”라는 생각은 비행기를 운영하는 회사가 하지 않습니까? 그렇지만 비행기 만드는 사람들은 이런 거에 대해서 잘 모르겠죠? 비행기를 만들었을 뿐. ‘비행기 만드는 회사’에 그 운영의 실적이 Feedback 된다면 좀 더 좋은 비행기가 만들어 지겠죠. 이런 게 하나의 인격에 들어간다면 계속해서 빙글 빙글 돌기 때문에 새로운 것이 또 만들어지겠죠.
 어디서 공부하는 것이 좋을까라는 문제는 해결되어 있는 문제가 아닙니다. 어려운 문제죠. 프로그래밍만 하는 사람만 모여 있어도 VR이 절대 안 되기 때문에 오히려 문과에 있는 사람들의 역할이 클지도 모릅니다. 그렇지만 “VR을 알고 있는 문과”겠죠. VR을 알고 있는 모르는 문과 그러니깐 이미 모르고 있다는 것을 자각하고 있다는 것이 중요할지도 몰라요. 그렇게 된다면 앞으로 나아갈 수 없으니깐 (상품을 못 만드니깐) 누군가 다른 사람을 불러 모아야만 한다든가 팀을 만든다던가, 팀을 만들면 되는 거죠. 그러니깐 예를 들면 엄청나게 VR에 정통해있지만, 자신은 프로그래밍 한 줄도 못 써 그런데 다른 쪽은 프로그래밍 하는데 있어서 목숨을 걸 정도에 프로그래밍을 마스터하는 것만 생각하는 사람(프로그래밍이 어디에 쓰일지는 전혀 신경 안 쓰는 사람) 그런 사람을 데려온다면 좋겠죠. 그렇다면 굉장한 팀이 되겠죠.
   
Q : 교수님께서 생각하시는 VR의 미래. 발전방향. 상용화 형태는?

- Hirose 교수 : 지금 CAD라는 게 있어서 뭐 그런 분야에서는 이미 사용하고 있잖아요? 시뮬레이션이라던 지...인간은 여러 가지를 시험해본다는 행위를 벌써 회사에서는 행해지고 있습니다. 비행기도 그렇고 자동차 같은 거 봐도 Mock up 같은 자동차가 멋있는지 안 멋있는지 본다던가. 항공사 같은 경우에도 비행기를 어떻게 만듭시다! 했을 때 좌석을 3석정도 만들어보고 시트 같은 것도 시험 삼아 만든다던가. 여러 가지 부품을 만들 대 시험 삼아 만들 때 잘 쓰이고 있어요. 그런 건데 지금은 실물을 만들어 보고 있지만 그게 점점 전자화 되어가는 경향이 있다고 생각해요. 자동차 회사는 그런 거에 매우 열심히 나서 Mock-Up이라고 하는데 Digital Mock-Up을 만들려고 한다 던지 하고 있어요. 실제로 만들어 타는 것은 꽤 힘들잖아요. 컴퓨터로 만든다면 이것저것 자유롭게 시도할 수 있잖아요. 이런 게 도움이 되어서 퍼져 날 수 있을 거 같아요. 본래의 경우에는 TV라던가 인터넷 같이 퍼져나감이 아니라 좀 더 일반적인 퍼져나감.
예를 들면 B2C(CAD 같은) Consumer에게로 퍼져나감이 분명히 있을 겁니다. 어떤 형태로 퍼져나갈지 보자면 좀 더 일반적인 사람에게 그건 Entertainment도 있고 Game 같은. (우리들이 말한 대로 Maslow) 그런 사회방향으로 간다면 우리들의 입장(교수님 같은 연구가들)에서는 기쁜 일입니다. 체험이라는 것을 ‘자재화’하는 방식이 거대화 된다고 한다면 그렇다면 VR기술이 필요하게 되겠죠. 그 부분은 닭과 달갈 중 누가 먼저냐 문제라서 지금은 아무것도 없기 때문에 이 이상 VR기술을 팔려고 해도 무언가의 병식 상태잖아요?(병식 : 숨을 죽이고 있는 상태?) TV, Game 이라도 딱히... 예를 들면 여행에 갔었던 사진의 기록이라 던지, 자기 자신의 Life log 같은 기록 같은 거라고 할까나? 큰 산업이 될 거라는 것은 작업 활동으로써 라고 말하는 거죠. 그게 진짜라고 한다면 큰 산업 Sector로 성장하겠죠.
     
     
Q : VR가 발전함에 따라 함께 발전하는 기술들에는 무엇이 있을까요?
     
- Hirose 교수 : 이를테면 영상기술이라던가 Interface 기술, VR이라고 불리는 기술이겠죠. 그리고 ‘네트워크’가 중요해지겠죠. 그리고 컴퓨터 기술 전반...... 체험의 경우, 체험 캡처링 기술이겠죠. 체험을 캡쳐하는, 체험을 사고팔고 하는 것을 말해요. 뭐 상식적으로 말하면 Multi-Media 기술이 되리라고 생각합니다만, 그 이상으로 무엇이 필요하냐고 물어본다면 Life log란 기술이겠죠.
예를 들면, 지금 우리가 만났잖아요. 계속 메모하고 있잖습니까? overhand가 필요하다는 거죠. 뇌를 쓰지 않으면 안 되잖아요? 뇌를 써야하니깐 보통 아무것도 기록 안하고 말도 하면 좀 더 편하죠.
예를 들면 여행 갔다 칩시다. 자신의 여행 기록하기 위해 카메라를 들고 가지 않습니까? 하지만 그게 100% 기록하려 하면 그 여행 장소를 즐길 수가 없잖아요.
이 문제를 해결하지 않으면 안 되겠죠? ‘아! 재미있었다.’ 예를 들면 파티 같은데서, 그러니깐 파티는 기록되어 있지 않잖아요. 엄청 친한 친구들이랑 시끄럽게 떠들고 놀 때는 기록되지 않잖아요? 1년 동안 유학하는데 뭐가 남아있나요? (답변 : 사진들이 조금 남네요.)
상당히 의식하지 않으면 기록이란 게 남지 않고 열심히 기록하려고 하면 즐거울 리가 없겠죠? 이 문제를 어떻게 해야 하는 거죠. Life log라는 것은 예를 들면 카메라를 어깨 위에 올려주면 의식하지 않고 기록하겠죠. 또 예를 들면 twitter 같은 것도 의식하지 않고 하게 된다면, Life log 전부 담을 수 있게 된다던가 뭐 그런 거예요. 아, 트위터만 하는 사람들은 즐겁지 않겠죠(농담) overhand라는 게 없으면 자신의 모든 것을 기록할 수 있다면 좋은 거라 생각합니다.

인터뷰를 마친 이후 Lab 곳곳을 보여주셨습니다. 많은 인상 깊은 것들이 있었는데, 특히 기억에 남는 것은 단순한 VR-HMD같은 것이 아니라 컴퓨터와 인간의 인터페이스에 따른 상호작용 기계들이 매우 흥미가 갔었습니다. 거울에 비친 나의 얼굴 표정, 근육 모양 등(눈꼬리, 입꼬리, 눈크기등)의 조정을 통해 나의 감정마저 무의식 중에 바꾸는 "감정조정 안경"과 내가 인식하는 오레오 크기를 변경시켜 포만감도 바뀌게 하는 "오레오 안경" 등을 보면서 우리가 객관이라고 인식하는 사실들이 사실은 객관이 아니라, 주관적으로 우리 뇌가 인식하는 주관이지 않을까라는 생각을 했었습니다.

무엇보다 저희들에게 귀한 시간을 내주시고, 연구실까지 안내 구경시켜주신 히로세 교수님께 진심으로 감사했습니다.