[논문리뷰] When XR and AI Meet
논문 제목
When XR and AI Meet - A Scoping Review on Extended Reality and Artificial Intelligence | Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems
개요
Teresa Hirzle 외 연구진이 작성한 이 스코핑 리뷰는 XR과 AI의 교차점에서 현재 연구 풍경을 종합적으로 조사한다. 저자들은 2017년부터 2021년까지 출판된 203개 국제 저널에서 2,619개의 논문을 선별하고, 311개의 논문을 심층적으로 검토했다. 주요 목표는 기존 연구의 폭을 지도화하고 주요 주제를 식별하며, XR과 AI 통합의 이점을 강조하는 것이다.
AI+XR 연구 동향 분석
XR 세계 생성을 위해 AI 사용 (28.6%): 여기서 AI는 환경, 사람, 에이전트 및 객체의 가상 표현을 생성하는 데 사용된다. 이는 현실 세계를 사실적으로 복제하거나(replication), 현실 세계를 수정하거나(modification), 가상 세계 를 생성하는(generation) 방식 등이다. 단순히 물체에 외형 뿐만 아니라, 환경에 대한 트래킹, 사실적인 맵핑, 사실적인 음향, 사실적인 아바타의 표정 구현, 아바타의 움직임 개선 등이 포함된다.
XR 세계를 창조하기 위해 활용되는 AI <출처 : 해당 논문>XR 사용자 이해를 위해 AI 사용 (19.3%): 여기서 AI는 XR에서 사용자에 대한 현상, 사용자의 특성을 파악하는 데 활용된다. 즉 VR 환경에 대한 사용자의 심리적 반응과 신체적 반응에 대한 파악 또는 예측 등이다.
XR 내에서의 상호작용 지원을 위한 AI 사용 (15.4%): 제스처 및 음성 인식 포함하여 AI를 통해 사용자와 XR 시스템 간의 상호작용을 향상시키는 것이다. 다수의 논문이 가상 객체와 상호작용을 위해 사용자의 제스처 트래킹, 사용자의 반향 전환, 사용자의 이동을 예측하는 연구 등을 진행했다.
지능형 가상 에이전트(IVAs)와의 상호작용 조사 (8.0%): 인간과 지능형 가상 에이전트 간의 상호작용의 지각적 측면을 조사한다. 예를 들어, 군중 에이전트와 상호작용, 에이전트와 물리적 상화작용, 에이전트에 대한 신뢰형성 등이다.
AI 연구 지원을 위한 XR 사용 (2.3%): XR 환경을 사용하여 AI 모델을 개발하고 테스트하는 것이다. 예를 들어, AI 알고리즘을 XR에서 시각화하여 이해를 개선하기 위한 목적 또는 XR에서 가상 시뮬레이션을 실시하여 학습 데이터 추출 등이다.
연구 결과
XR 세계 생성을 위한 생성형 AI의 수준은 걸음마 단계 : 잠재력에도 불구하고, 몰입형 및 상호작용 XR 환경을 생성하는 데 생성형 AI의 사용이 제한적이다.
일반화 가능성과 견고성 취약 : XR 연구에서 사용되는 많은 AI 모델은 한정된 데이터를 사용해 학습함으로써 일반화 가능성과 견고성이 부족하여 다양한 실제 시나리오에 적용하기 어렵다.
윤리적 및 사회적 영향에 대한 연구 부족 : XR과 AI 기술의 윤리적 및 사회적 영향에 대한 논의가 부족하다. 프라이버시, 편향, 디지털 격차와 같은 문제에 더 많은 연구가 필요하다.
컴퓨팅 비용과 훈련 데이터 : 높은 컴퓨팅 비용과 포괄적인 훈련 데이터의 부족은 XR과 AI 연구 발전의 주요 장애물이다.
리뷰
이 스코핑 리뷰는 XR과 AI의 융합 분야를 강조하며 관련 연구 동향을 파악하는데 도움이 된다. 그러나 2017년부터 2021년까지의 연구자료를 분석했다는 점에서 최근 연구를 반영하지 못했다는 한계가 있다. 이로 인해 OpenAI의 ChatGPT, Google Gemini, Meta LLaMA와 같은 대규모 학습 기반 AI를 활용하는 연구는 대상에서 빠져있다. 최신 AI와 XR을 활용한 연구는 현실의 사물과 환경 트래킹, 2D와 3D 모델 생성, 상호 작용과 애니메이션 최적화 등에 보다 높은 수준의 결과를 도출할 수 있을 것이다. 따라서 이 연구 결과에서 밝힌 4가지 한계는 최신 연구 동향을 통해 제고가 필요하다고 판단된다.
<출처>
When XR and AI Meet - A Scoping Review on Extended Reality and Artificial Intelligence | Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems,
https://dl.acm.org/doi/full/10.1145/3544548.3581072
