어지러운 가상현실
디자인 에세이
2000년대쯤인가 대학교의 연구실에서 가상현실 헤드셋을 쓰고 신기해하던 때가 생각난다.
내가 가상환경을 공부한 것도 21세기가 시작되는 시점 즈음에 앞으로의 세상을 나름 진진하게 고민하면서 많은 것들이 가상현실에서 이루어질 수 있을 것이고 그것은 새로운 세상하나를 다시 건축해야 하는 거대한 일이라고 믿었기 때문이다.
당시만 해도 기술 수준은 온라인상에서 막대기처럼 생긴 아바타를 조정하고 레고 같은 집을 지어서 회사 광고나하는 거의 실험 수준이었다. - 어떤 면에서는 지금도 그렇지만 - 가상현실에서의 '현실감'은 시각적 현실감을 보통 얘기했었다. 실시간으로 현실감 있는 장면을 만들어내는 것은 어려웠고 나의 연구주제도 그런 것은 아니었다.
하지만 당시의 나의 기대는 5년 안에 기술적 진보가 이루어져 진짜 내가 생각하던 가상현실이 슈퍼컴퓨터가 아닌 가정용 컴퓨터로 가능해져 상업적으로 서비스가 될 것이고 그러면 서비스 간 경쟁으로 어딘가에는 디자이너의 손길을 필요하게 될 것이라고 생각했다. 그래서 섣불리 뛰어들어 공부는 했지만, 공부가 끝난 4년 뒤의 현실세계 어디에도 경험디자이너를 필요로 하는 상업적 가상현실세계는 없었다. 그로부터 20년이 지난 지금도 별 다를 바 없다. 페이스북이 메타로 바뀌었지만 내가 기대하던 가상현실은 아니다. 20년 전에 시도되었던 세컨드라이프나 액티브월드와 별 다를 바 없는 콘텐츠에 조금 더 세련된 그래픽이랄까. 가상현실의 붐은 그 20년 사이 한 5년마다 한 번씩 불었다 사라졌던 것으로 기억된다.
역사공부는 그만하고 조금 다른 얘기를 해볼까 한다.
우리가 영상통화를 하다 보면 데이터 속도 때문에 상대와 말이 엉키기도 한다.
영상이라고 해야 소프트웨어로 만들어낸 것이 아니라 카메라로 캡처한 HD 정도의 영상일 뿐이다. 거기에는 압축에 관련된 소프트웨어적 동작이 포함되기는 한다.
현실감 있는 가상현실은 많은 데이터와 그래픽 처리속도가 있어야 가능하다. 이미 만들어진 영상을 입체적으로 보는 수동적 3D 영화와는 다르게, 가상현실은 보는 사람의 실시간 행동에 따라 데이터를 즉각 만들어내고 화면상에 뿌려주어야 하는 난제가 주어진다. 화면이 사람의 행동의 속도를 못 따라와서 매우 빠른 동작에 따라 승부가 갈리는 스포츠 게임을 아직은 VR로 구현하기는 힘들기도 하고, VR장비를 장시간 사용하면 어지러움을 느끼기도 한다.
우리 귓속에는 휴대폰의 자이로스코프와 같은 움직임 감지 장치가 있는데 이는 시각적 피드백을 통해 움직임 후 관성에 따른 오차를 수정하여 내 몸의 자세와 방향을 인지할 수가 있다. 그렇게 중요한 시각적 피드백이 VR 세계에서는 시간적 오차가 발생해 기기를 사용하는 사용자는 어지러움을 느끼게 된다.
데이터 전송속도라 함은 데이터의 정보하나가 전달되는 전자기적 특성뿐 아니라 같은 시간에 전송되는 데이터양과도 관련이 있는데, 전자기적 특성을 향상하는 것은 물리적 특성에 관한 것이라 아마도 단기간에 발전하기는 힘들 것이다.
다음으로 발전시킬 수 있는 부분은 데이터를 생성하는 부분인데 이는 소프트웨어적인 부분이다. 사용자가 하는 행동을 시스템이 물리적으로 시각적으로 측정하여 그것을 데이터(가상 이미지)를 생성하는 소프트웨어로 보내면 소프트웨어는 즉각 사용자가 바라보는 뱡향에 존재하는 가상물체들을 렌더링 해서 다시 사용자 사용하고 있는 시스템으로 보내고 화면에 투사되게 된다.
온라인 게임에서는 이미 게이머가 관심을 가지는 주인공이나 주요 물체에 대해서는 섬세한 텍스쳐와 실제 광원 트래킹 알고리즘을 적용한 리얼리스틱한 셰이딩으로 렌더링 하지만 주변사물이나 멀리 있는 풍경등은 이미 셰이딩 효과까지 입혀 만들어 놓은 저해상도의 텍스쳐만 입히는 방식으로 화면투사 지연문제가 덜 발생하도록 한다. 그리고 게임에서 사용하는 동작은 마우스나 키보드등 매우 규칙적이고 단순한 동작이기 때문에 사용자가 이러한 규칙적인 지연현상에는 쉽게 적응을 하는 편이다. - 몸의 움직임이 아니라 손가락의 움직임이라서 더욱 그렇다 -
여기서 힌트를 얻자면, 사용자관심영역 단위를 가상공간 내의 사물 단위가 아닌 시선의 초점이 맞춰지는 적은 수의 화소단위로 간다면 문제가 더욱 쉽게 풀릴 것 같다.
사람은 한 번에 한 지점만을 자세히 인식할 수 있다. 그 외 영역은 주변시로 갈수록 흐려지고 심지어 색상마저 인식하는 능력이 떨어진다.
그렇다면 서버 소프트웨어에서 가상공간에 펼쳐진 사물들을 렌더링 할 때 모두 동일한 해상도로 할 것이 아니라 사용자의 시선이 초점을 맞추는 곳만 그렇게 하고 주변부로 갈수록 해상도를 급격히 낮추어도 된다는 얘기이다. 사람이 시선을 옮겨서 사물에 초점을 맞추는 데는 짧지만 순간의 시간이 걸린다. 렌더링도 그 속도보다 조금만 빠르게 해상도를 올려주기만 하면 된다. 사람의 눈이 초점을 맞추는 방식을 또 분석을 해보면 카메라가 사물에 초점을 맞추는 것과 같은 것으로 그런 초점 맞추기에 도움이 되는 부분만 먼저 해상도를 올려도 된다는 얘기가 된다.
이렇게 할 수 있다면 기술적으로는 사람의 눈이 초점을 맞추는 곳을 빠르게 추적하는 게 더욱 중요한 문제가 된다. 다행인 것은 우리의 시선이 옮겨지는 방식은 우리의 안구가 움직이는 방식 그대로인데 절대로 한지점에서 다른 지점으로 점프할 수 없고 반드시 선형적이기 때문에 충분히 따라갈 수 있고 인공지능을 통해 예측까지 가능하다.
우리가 안과 수술을 하러 가면 안구를 고정시키지 않은 상태에서도 레이저 투사가 가능하다. 이것은 실시간으로 안구를 트레킹 하고 레이저를 제어하는 기술인데 이것을 적용한다면 우리는 충분히 가상공간상에 사용자가 시선과 초점을 두는 곳을 그리고 다음 순간에 두는 곳을 예측까지 하면서 고해상도 영역과 저해상도 영역을 다층으로 나누어 렌더링을 할 수 있다. 전체적으로 생성, 전송, 투사해야 할 데이터량이 줄어들어 사용자의 움직임과 화면의 반응이 일치하게 되어 더 이상은 어지러움을 느끼지 않게 되고 매우 빠른 동작을 요구하는 스포츠 같은 것들도 가상세계에서 즐길 수 있을 것이다. 같은 데이터 총량이라면 우리가 집중하는 곳의 해상도를 극초밀도로 올려 마치 실제 세계에 와 있는 것처럼 느끼게 할 수도 있을 것이다.
이제 상용 통신기술이 6세대가 되는 향후 5에서 10년 사이에는 충분한 데이터를 실시간 전송할 수 있으니 개인 VR 기기가 가지는 소프트웨어의 한계를 넘어 슈퍼컴퓨터와 인공지능이 만들어내는 실제와 같은 이미지를 스타링크로 전송받으며 지구반대편의 친구와 탁구게임을 실감 나게 즐길 수 있을 것이라 생각한다. 물론 그 실제감의 대부분은 내 머릿속의 신경망으로 연결된 단기기억과 장기기억 영역이 협력하여 만들어낸 것이겠지만.
그러고 보니 그때쯤이면 탁구게임이 아니라 다른 어떤 게임을 하고 있겠다 생각된다.
[언젠가 구글이 구글지도를 고해상도 3D로 업그레이하고 나는 내 아바타를 통해 세상 곳곳의 사람들과 만나서 실시간 통역 AI를 통해 얘기를 나누게 해 주기를 기다려 봅니다. 그러면 멀리 있는 가족과도 함께 식사를 할 수 있겠지요]
