투비소프트가 만들어갈 Beyond Screen 세상
차세대 멀티채널 UI 시대의 사용자 경험에 대하여
AI스피커가 불러온 파장
얼마 전 ‘세계 최고 인공지능(AI) 기술 기업 구글이 본격적으로 ‘구글어시스턴트’ 시장 보급에 나선다.’는 기사를 접한 적이 있다. 구글어시스턴트는 2016년 구글I/O 당시 구글이 선보인 가상 비서 서비스다. 이번 I/O에서는 사람과 구분하기 힘들 정도의 대화 기술을 선보인 바 있다.
[출처: 조선일보-AI 스피커 ‘춘추전국시대’]현재 SK텔레콤, 네이버, 카카오 등 국내 기업에서도 다양한 AI스피커를 내보임으로써 이제는 ‘AI 음성비서’ 기능은 생소하지 않은 기능이 돼버렸다. 특히 2014년 아마존이 첫 AI스피커 ‘에코’를 출시하고 에코의 AI소프웨어 ‘알렉사(Alexa)’를 오픈 플랫폼으로 개방하며 누구나 AI 기술을 활용할 수 있게 함으로써 AI 기술은 급성장하게 되었다. 앞으로도 화웨이 등 다양한 IT기업에서 자체 AI 음성비서 기능을 제공할 예정에 있다.
하지만 이러한 시대의 흐름 속에서 간과하고 있는 큰 패러다임의 변화가 있다. 바로 AI 음성비서 기능은 화면이 존재하지 않는다는 것이다. 기존 서비스의 경우 대부분 눈으로 보고, 키보드나 마우스 또는 터치를 통한 상호작용을 하는 구조였다. 어쩌면 그것이 당연하다고 생각했을지도 모른다. 하지만 AI스피커의 등장으로 음성을 통한 사용자 인터페이스를 고민해야 하는 상황이 발생한 것이다.
‘비욘드-스크린(Beyond-Screen)’에 대한 고민
비욘드-스크린(Beyond-Screen)이란 영어 단어로 알 수 있듯이 고정된 화면의 스크린을 벗어난 UI를 말한다. 즉, 기존에는 모니터나 휴대기기의 화면을 통한 UI를 사용했다면, 비욘드-스크린은 음성인식, 제스처 인식, 아이트래킹, 뇌파인식, VR 등의 다양한 입/출력 UI를 의미한다.
[출처: 디지넷 코리아-2017 투비소프트 그랜드세미나 현장]비욘드-스크린이란 용어는 지난 2017년 9월 투비소프트 그랜드 세미나에서 송화준 연구소장이 미래 소프트웨어의 비전으로 컴퓨터 스크린 바깥의 사용자 인터페이스를 언급하면서 사용했다. 그는 “‘4차 산업혁명’으로 불리는 초연결/초지능의 시대에 접어들면서 다양한 디바이스가 등장했고, 점점 더 확대돼 상상하지 못한 디바이스까지 연결하게 될 것이다. 또한, 마우스와 터치 등 스크린 중심 인터페이스에서 벗어나 음성이나 사용자 행위 등과 같은 입력 요소를 활용한 SW가 지속적으로 늘어날 것이다”라고 예상했다. 그렇게 되면 지금까지의 ‘고정된 스크린’이라는 제약에서 벗어나게 되고 기존 SW 개발자들에겐 갑작스러운 패러다임의 변화가 일어날 것이다.
[출처: https://www.trendhunter.com/]얼마 전 체인 영화관 AMC가 VR회사 Dreamscape Immersive와 제휴를 맺고 영화관에 VR체험방을 설치할 것이라고 발표했다. 이 VR체험방은 혼합현실(MR, Mixed Reality) 방식으로 현실세계와 가상세계 정보를 결합해 두 세계를 융합시키는 공간을 만들어낸다. 따라서, 다양한 현실의 소품을 활용하여 체험할 수 있다. 혼합현실 방식은 외부에 설치된 카메라를 사용하여 실제 물체를 가상현실에 합성하여 하나의 융합된 장면을 만들어내는 방식이다.
만약 이러한 인터페이스를 기존 애플리케이션 개발자가 개발해야 한다면 참으로 난감할 것이다. 예를 들어 나무막대에 부착된 센서 위치를 스튜디오에 설치된 카메라를 통해 입력받고, 가상현실에 생성된 오브젝트(횃불)를 물체의 위치에 합성하는 것만 생각해보자. 다양한 카메라 종류에 따라 다른 스펙 때문에 카메라 연동하기 위한 개발이 필요하다. 또한 나무막대에 부착된 센서를 통해 3D좌표값, 자이로 센서를 통해 들어오는 기울기 값 등 센서와의 연동 개발 작업 또한 필요하다. 여기에 사람의 동작을 섬세히 묘사하기 위해 모션 센서나 제스처 인식, 보이스 인식 등이 추가된다면 각각의 개발 전문가를 필요로 할 것이고, 이를 구현하기 위해 긴 시간이 걸릴 것이다. 문제는 지금까지 입력에 대한 이야기만 했다. 그렇게 입력된 데이터를 어떻게 가공하여 활용할 것이며, 반응할 것인가에 대한 처리 부분에 대한 것과 실제 사용자에게 보이는 가상세계에 표현할 것인가에 대한 개발도 필요하다. 즉, 위에서 말한 나무막대를 모닥불에 가까이 대면 모닥불에 불이 붙으면서 불이 붙는 소리를 출력할 수 있다. 또한 타는 냄새가 나도록 할 수도 있을 것이다. 앞서 말한 출력이 일어나도록 하기 위해서는 입력과 마찬가지로 다양한 센서와 스피커, 냄새 장치 등의 연동개발과 동작 개발이 필요하다.
문제는 위와 같은 혼합현실 방식의 인터페이스가 미래에는 다양한 분야에서 혹은 더 나아가 우리 생활 전반에서 활용될 수 있을 것이라는 점이다.
[출처: https://www.trendhunter.com/-차 앞 유리에서 운전자와 승객이 보는 UI]이와 관련해서 마이크로소프트의 디자인 디렉터인 Claudio Guglieri는 실생활에 적용되는 다양한 Mixed Reality의 미래 모습을 소개했다. 그중 자동차의 예시가 가장 흥미로웠다. MR방식을 사용하여 복잡한 내비게이션의 UI보다 전방을 주시해야 하는 운전자에게 직관적으로 제시한다. 또한 운전을 하지 않는 승객에게는 엔터테인먼트 UI를 제공한다. 이러한 기술은 이 밖에도 다양한 곳에 활용될 것이다.
Future nexacro for Beyond-Screen
Intelligent UX 실현 시나리오이러한 비욘드-스크린에 대해 투비소프트 융합기술그룹에서는 다양한 인터페이스 연동을 위한 프로젝트를 진행 중이다. 다양한 형식의 입력 데이터를 수용하기 위해 입력된 데이터를 필터링 및 추상화하여 자사 제품인 넥사크로플랫폼이 동작할 수 있도록 액션(Action)을 매핑시켜주는 ‘Command Filter’ 기능이 개발 중에 있다. ‘Command Filter’ 기능을 통해 애플리케이션 개발자는 입력장치에 대한 지식 없이도 매핑된 액션을 활용하여 하나의 코드(Single-Code)로 개발하고, 또한 이렇게 개발된 로직을 추상화된 컴포넌트(Abstract Component)를 통해 다양한 출력이 가능하도록 지원할 계획이다.
추상화된 컴포넌트는 다양한 디바이스 및 인터페이스로 디스플레이 변경이 가능하다. 이는 사용자뿐만 아니라 여러 형태의 입/출력 UI를 개발해야 하는 개발자의 입장에서도 입/출력 UI에 상관없이 추상화된 개념으로만 개발하면 나머지는 넥사크로플랫폼에서 모듈 형태로 지원하여 획기적으로 개발 생산성을 높일 수 있을 것으로 기대한다.
투비소프트의 비욘드-스크린 프로젝트는 앞으로의 기술발전과 밀접하게 연관되어 긴 호흡을 가지고 진행되어야 하는 만큼 시행착오와 무수한 난관이 있을 것으로 예상된다. 하지만 이러한 투비소프트의 과정들은 다가올 비욘드-스크린 세상을 한발 더 앞당길 것이라 확신한다.
