brunch

You can make anything
by writing

C.S.Lewis

by KAIST ICLAB Nov 21. 2023

HCI 2023 Korea 학회 참석 후기

HCI 2023 Korea 학회 참석 후기이다. HCI 학회는 한국 정보 과학회의 인간과 컴퓨터 상호작용(HCI)회를 모태로 출발하였다. 이 학회는 HCI 분야에서 국내 학회중 가장 권위있는 학회로 이 학회의 활동 영역은 멀티미디어, 디지털 컨텐츠, 게임, 컴퓨터 그래픽스, 가상현실, 컴퓨터 언어, 인간 공학, 웹 디자인, 애니메이션, 대화형 인터페이스, 인지 심리학, 정보 디자인, 시각 디자인, 인지 공학, 철학, 사회학 등 다양한 분야가 있다. 즉, 인간과 컴퓨터 또는 사이버 공간과의 상호작용에 관련된 현상 및 기술을 연구하는 학회이다.

이번 학회는 2023년 2월 1일부터 2월 3일까지 3일동안 강원도 하이원 리조트에서 열렸다. 아래 그림에서 볼 수 있듯이 학회는 22개 논문 프로그램 세션, 2개 패널토의 세션, 11개 워크숍 세션, 15개 사례발표 세션, 5개 튜토리얼 세션, 2개 스페셜 세션, 3개 초청강연으로 구성되며, 포스터가 학회 기간 전체에 걸쳐 전시되었다. 이번 HCI 학회는 위에서 언급했듯이 다양한 분야를 다루는 만큼 국내외 1천 명 이상의 참가자가 모였다.

그림 1. HCI 2023 Korea 전체 프로그램 일정

KAIST 인터랙티브 컴퓨팅 연구실 (이하 “IC Lab”)은 지도교수님을 포함하여 대부분의 석사 및 박사과정 학생 연구원과 졸업한 교수 포닥 연구원 선배님들이 참여하였다.

그림 2. HCI 2023 Korea 총회 후 단체 참여사진

다양한 세션이 있었지만, IC Lab 연구원들의 주요 관심사는 모바일 및 헬스 케어 분야였기 때문에 모바일/유비쿼터스, 스마트 디바이스, 헬스 케어 HCI 논문 프로그램 세션에서 소개된 연구에 대해 중점적으로 얘기하고자 한다.

논문 프로그램 : 모바일/유비쿼터스

즉각적 VR 경험을 위한 Bod (Back-of-Device) 인터랙션 시스템

모바일과 VR을 활용한 즉각적 VR 경험을 위해 Back of Device (BoD) 기능에 기반한 터치 인터랙션을 제안한 연구이다. 본 연구에서 제안하는 터치 VR 시스템의 구조는 유니티 기반으로 개발된 VR application과 기존 application logic, 터치 VR 시스템, Android로 구성되어 있다. 외부의 BoD는 기기 뒷면에 6개의 터치 인터랙션 포지션을 가지고 있으며, BoD 터치를 detection하는 방법은 accelerometer와 gyroscope sensor data를 활용한 SVM 분류기를 통해 적용된다.

본 연구에서는 기존 instant VR이 인터넷과 SNS에 접속하듯이 언제 어디서나 VR에 접속하는 경험을 선사하지만, 기존 VR 디바이스의 point & click 방식이 시간 소비가 많이되며, 몰입감이 떨어지는 부분을 본 연구에서 제시하는 BoD 인터랙션 시스템을 통해 이러한 부분을 개선할 수 있다고 본다. 추후 유저 스터디를 통해 기존 방법과 제안하는 방법의 비교 분석을 해보면 좋을 것 같다는 의견이 있다. ICLab에서 진행하는 연구 중 VR을 응용한 연구는 현재 없지만 터치 인터랙션 포지션별로 센서 데이터를 활용하여 머신러닝 방법론을 통해 매핑하는 방법론과 open APIs를 통해 매핑하는 방법론의 경우 인터랙션쪽 연구에 적용해볼 수 있을 것이라 생각한다.

그림 3. Touch VR에서 지원하는 BoD 인터랙션 및 Tap detection 방법

그림 4. Touch VR 시스템 구조

스마트폰 다중 센서 기반 운전자의 실시간 인지 부하 정량화

스마트폰 다중 센서를 활용하여 운전자의 실시간 인지 부하를 정량화할 수 있는 방법론을 제안하는 연구이다. 방법론 개발을 위해 반응 속도 측정기를 활용하여 소리 신호에 대한 반응 속도를 측정하고, 스마트폰으로 차량의 주행 상태를 기록한다. 실험 방법으로 먼저, 가속, 감속, 정지, 회전 등이 포함된 지정된 경로를 주행한다. 그와 동시에 차량의 현재 속도를 측정하고, 차량의 가속도를 측정하였다. 각속도는 차량이 좌우로 회전하는 정도로 측정하였다. 마지막으로 각 참가자별 286번의 반응 속도를 측정하여 1,974개의 데이터셋을 확보하였다.

실험 결과 반응 속도와 각 센서 값들과의 관계를 파악하여 속도, 가속도, 각속도의 크기 모두 반응 속도와 정적 상관관계가 있음을 확인하였다. 또한, 본 연구는 이를 토대로 인지 부하 정량화 연산식 DCL = w(|s|+|a|+|g|); DCL: 운전자 인지부하, w: 운전자의 숙련도, s: 차량의 속도, a: 차량의 가속도, g: 각속도 크기를 제시하였다. 본 연구에서는 추가로 논의할 수 있는 부분이 많다고 보았다. 먼저, 연구에서는 스마트폰 다중 센서를 활용하여 차량의 주행 상태를 기록했는데, 차량에 내장된 센서를 활용하는 방안도 가능할 것이다. 또한, 제시된 연산식에서 구성요소 간의 관계를 정량화하는 방법 또한 실험을 통한 증명이 보완되어야 할 것 같다.

그림 5. 실험 방법 및 장비

논문 프로그램 : 스마트 디바이스

증상입력 시스템의 사용성에 관한 연구: 디지털 헬스케어 앱 ‘웰록'을 중심으로

증상 입력 및 보관을 위한 어플리케이션 “웰록"을 만들어서 어떻게 더 효과적으로 앱의 content를 전달할 수 있을지에 대해서 두 가지 요인들을 다루는 연구였다. 웰록은 개인 사용자가 주도적으로 본인의 건강 관리 — 진단 및 처방, 병원 내원 일정 관리, 질병 증상, 복약 여부, 운동 여부 등의 로그를 관리하게 하는 헬스케어 앱이다. 첫번째 요인은 입력 자유도로 자유롭게 기록할 수 있는가 혹은 제시된 증상을 간편하게 선택할 수 있는가였다. 두번째 요인은 톤앤매너로 formal하게 응답할지, 아니면 여성적/친근한 톤으로 입력할지 였다. 첫번째 요인은 세 가지 경우의 수 두번째 요인은 두 가지 경우의 수로 총 6가지 case를 비교했다.

비교 대상은 20–30대 중심이였고, 인지 유용성/사용성을 매개변수로 설문지 분석을 수행하였다. 연구 결과 여성적/친근한 톤으로 사용자의 입력 자유도를 혼합 형식으로 주었을때 사용자의 시스템 사용 의도 및 adherence가 높았다고 나왔다. 즉, 개인별 특징을 고려하면 좋은데 예를들어 건강 민감러의 경우 증상을 자세하게 기록할 수 있는 입력자유도가 낮은 방식을 선호했다. 따라서, 입력 자유도 혼합 (버튼 + 텍스트)와 친근한 Agent를 이용하되, 개인별 특성 (문화, 건강, 민감도)에 따라서 커스터마이즈 할 필요가 있다고 파악되었습니다. 향후 연구에서는 어떤 디자인이 사용자의 입력 횟수와 퀄리티를 최대화할 수 있는지, 어떤 데이터를 입력하는지에 따라 결과에 차이가 발생하는지 등을 함께 살펴보면 좋겠다는 생각이 들었다. 본 연구의 결과를 현재 ICLab에서 진행중인 스마트 스피커 연구에 적용하여 정신 질환 문진표를 대체할 수 있는 스피커 개발에 활용해 볼 수 있을 것 같다.

그림 6. 연구가설: 독립변수, 매개변수, 종속변수

그림 7. 입력 자유도와 톤앤매너(AI 에이전트의 성격), 2 가지 변수에 따라 6가지 UI화면 설계

스마트워치를 이용한 장애인 활동 자동 인식에 관한 예비 연구

스마트 디바이스 논문 발표 세션으로 한양대 연구팀에서 발표한 내용으로, 스마트 위치와 모바일 디바이스를 이용하여 장애인의 활동을 자동으로 인식하는 연구에 대한 소개였다. 크게 모바일 데이터, 스마트 워치 수집 데이터, 모바일 + 스마트 워치 데이터로 구분하여 특정 서비스를 인식하는 활동에 대하여 인식의 정확도를 측정하는 연구를 수행하였다. 대표적이고 일반적인 7개 인공지능 모델을 적용하여 정확도를 구분하였으며, 검증 방식에 따라 데이터 수집의 정확도가 다르게 나타났지만, 모바일 데이터와 스마트 워치를 공통으로 사용했을때가 독립 디바이스를 사용했을때보다 정확도가 증가함을 알 수 있었다. 질문 세션때 나온 의문점 중 하나는 인공지능 모델을 왜 이 분야에 피팅되는 모델이 아니라 불필요하게 여러가지 모델을 적용했는지에 대한 질문이 있었던 것을 고려해 봤을때, 데이터 셋을 검증하거나 모델을 적용할때 일반적인 인공지능 모델을 돌리는 것에 대하여 재고해 볼 필요성이 있다는 생각을 했다.

표 1. 이동보조수단 탐지 성능 평가 방법 2 가지별 각 모델 및 데이터셋에 따른 정확도 (단위: %)

스마트열 전달 계산 모델과 웨어러블 디바이스를 활용한 온감 렌더링

열 전도, 열 복사에 관해 실시간 계산 모델을 제안하고 해당 모델을 적용한 가상환경으로부터 온감 피드백을 제공받을 수 있는 장갑 형태의 디바이스와 렌더링 시스템을 제안한 연구이다. 총 두 개의 사용자 실험을 진행했으며, 사용자 실험 1에서는 열 모델로 만든 가상 매질들의 분간 가능성을 확인했고, 사용자 실험 2에서는 제안한 디바이스를 통해 온감 피드백 제공 유무에 따라 사용자가 느끼는 가상환경에 대한 몰입감이 달라지는지에 대해 실험을 진행했다.

실험은 제작된 가상 공간 속에서 부싯돌을 마찰시켜 모닥불을 피우고 바닥에 있는 눈을 제작하고 만질 수 있는 환경에서 진행되었으며 모닥불에 가까이 가거나 눈을 만질 경우 온도에 대한 피드백을 제공했다. 결론적으로 본 연구는 열 교환 정도를 실시간으로 계산할 수 있는 모델과 웨어러블 디바이스 형식의 렌더링 하드웨어를 성공적으로 제작하였고, 온감 피드백 제공시 유저의 몰입감이 증가하는 것을 확인했다. 본 연구에서 개발한 장갑은 센서가 손 바닥에만 위치하게 되는데 사실 사람은 손 등으로도 온기를 느낍니다. 예를 들어, 모닥불을 쬐는 상황에서 사람들은 손을 가져다 대기도 하고 손등을 대기도 하는 등의 행동을 하는데, 이와 같은 행동 특성을 고려한 연구가 추가된다면 더욱 흥미로운 연구가 될 수 있을 것이다.

그림 8. 각 렌더링 디바이스별 사용 모습 및 사용자 경험 평가 장면 스크린샷

그림 9. 장치 개략도 및 학회 발표 모습

논문 프로그램 : 헬스 케어 HCI

헬스 케어 대화형 에이전트의 역할과 사회적 지지가 전문성, 신뢰도, 친밀도에 미치는 영향에 관한 연구

ECA (Embodied Conversational Agent; 대화형 에이전트)의 디자인 요소와 사용자 경험의 상관 관계를 살펴보는 연구였다. 일반적으로 헬스 케어 분야의 ECA는 신뢰도, 전문성, 친밀감 측면에서 신뢰도가 높을수록 수요자가 조언에 따를 의향이 높다. 따라서, 본 연구에서의 실험 설계는 타겟 질병을 stress level로하여 ECA 역할과 사회적 지지, 전문성, 신뢰도, 친밀도에 어떤 영향을 미치는지 파악했다. ECA의 역할은 전문가와 비전문가로 나눴고, 사회적 지지는 정보적 지지 및 정서적 지지로 나눴다.

연구 결과, 정서적 지지의 경우 정보적 지지와 비교했을 때 3가지 척도 (전문성, 신뢰도, 친밀도)가 낮게 나타났는데, 이는 정서적 지지가 단편적인 인터랙션 및 피드백으로 받아들여졌기 때문이었다. 또한, ECA의 역할이 전문가의 경우 비전문가일 때보다 3가지 척도 측면에서 높은 점수를 보였는데, 이는 헬스 케어 사용자들이 의사의 권위를 인정하고 신뢰하는 경향이 있기 때문인 것으로 나타났다. 추후 각 변인별 case 디자인을 고도화하는 방식으로 연구를 수행하는 것도 좋을 것으로 보였다. 예를 들어, 전문성의 경우 단순히 겉모습 (예: 의사 가운 착용) 외에 다른 요소들을 추가하여 전문가와 비전문가 그룹을 더 확실히 차별화할 수 있을 것이다. 뿐만 아니라, 정서적 지지와 정보적 지지를 나누는 감정적 표현의 설계, ECA 서비스의 목표 환자 그룹 (예: 통증, 만성 질환 등)의 설정도 더 구체화하여 연구를 수행할 수 있겠다는 생각이 들었다.

그림 10. 역할에 따른 소개 (왼쪽: 전문가, 오른쪽: 비전문가)

그림 11. 사회적 지지에 따른 소개 (왼쪽: 정보적 지지, 오른쪽: 정서적 지지)

청각 장애인을 대상으로 한 보조 서비스 및 연구

청각 장애인 보조 어플리케이션에 대한 사용성 평가 연구였다. 연구 방법은 청각 장애인 13명 및 전문가 4명을 대상으로 청각 장애인을 위한 실시간 통역 자막 기능의 자체 개발 어플리케이션의 사용성을 평가했다. 연구 절차는 사용자 연구, 설문, 인터뷰 (워크샵) 순으로 진행되었다. 설문의 측정 변인은 신뢰, 지각된 유용성 등이고, 인터뷰의 경우 Jacob Nissen의 10가지 사용성 결과를 파악했다. 연구 결과 사용성 이슈는 발견되지 않았다. 결론적으로 소프트웨어 사용 경험에 있어 정서적 유대감이 중요함을 알 수 있었고, 단순한 개입보다는 학습 및 소통과정을 총체적으로 지원하는 시스템에 대한 니즈가 있음을 알 수 있었다.

향후 연구에서는 사용자 군에 따라 사용성 평가 결과가 달라질 수 있기 때문에, 연구 과정에서 사용자군에 대한 심층적인 분석을 시도해볼 수 있겠다고 보았다. 또한, 사용성 분석에 있어서 인터뷰 및 설문 데이터 등 질적 분석 외에도 앱 로그 분석 등 양적 분석을 포함하여 앱 평가에 객관적인 근거를 제시할 수 있을 것이다. 더 나아가, 청각 장애인을 위한 어플리케이션에 대한 자세한 설명이나 시각자료 (예: 앱 UI 화면 등)를 상세히 제시한다면 비장애인의 입장에서도 이러한 시스템 디자인에 필요한 전반적인 프로세스를 이해하는데 도움이 될 것이라 보았다.

표 2. 사용성 평가 대표작업 및 하위작업 요소 (왼쪽 표), 사용성 평가 측정 변인 (오른쪽 표)

본 후기는 논문 프로그램을 위주로 하지만, 논문 프로그램 외에 다른 포스터, 튜토리얼 세션, 키노트 스피커 세션, 워크숍 세션, 패널토의 세션, 스페셜 세션이 있었다. 그 중 ICLab에서 발표하였던 워크숍 세션 주제인 “휴먼 디지털 트윈 기반 멘탈 헬스케어” 및 국내 박사 학위자에게 도움이 될 수 있는 패널토의 세션 주제였던 “한국에서 해외박사 부럽지 않은 HCI 연구자 되기”에 대해서 추가로 후기를 공유하고자한다.

워크숍 세션 : 휴먼 디지털 트윈기반 멘탈 헬스 케어

휴먼디지털 트윈기반 멘탈헬스 케어 세션은 총 7개였는데 그중 대표적으로 현재 ICLab에서 주요하게 진행하는 분야이자 지도 교수님인 이의진 교수님께서 발표한 “모바일 및 웨어러블 기반 근무환경 센싱 응용 연구 동향”에 대한 후기를 공유하고자한다.

모바일 및 웨어러블 기반 근무환경 센싱 응용 연구 동향

요약하자면 모바일 및 웨어러블 센싱의 발전으로 사용자 개인에게서 생성되는 데이터의 종류 및 그 양이 방대해짐에 따라 사용자 생성 데이터의 가치 및 중요도가 상승하고 있다. 이미 디지털 헬스케어 분야에서는 PGHD (Patient Generated Health Data)라고 하여 디지털 피노타이핑 데이터 등을 활용한 건강 관리 및 질병 발병 예측 등의 다양한 분야에서 개인 단위의 데이터가 사용되고 있는 실정이다. 기존에는 개인 단위의 in-the-wild 센싱에 기반한 연구가 주류를 이루었다면 이제는 그 컨텍스트가 workplace로 이동하고 있다. 실제로 다양한 근무 환경에서 스마트폰 및 웨어러블 디바이스를 활용한 근로자의 생산성 측정 및 멘탈 헬스 케어를 위한 연구가 행해지고 있다.

그림 12. 모바일 및 웨어러블 기반 근무환경 센싱 응용 연구 동향

패널토의 세션

한국에서 해외박사 부럽지 않은 HCI 연구자되기

국내에서 HCI 관련 분야의 대학원 박사과정을 졸업한 후 성공적으로 교수 및 산업계 연구자가된 선배 연구자분들을 모시고 패널 토의를 진행하였다. 패널에는 김아욱 교수 (강원대학교 컴퓨터공학), 김영호 연구원 (네이버 AI Lab), 김윤지 (중앙대학교 예술공학대학), 오승재 교수 (경희대학교 소프트웨어융합학과), 이재연 교수 (UNIST)가 참여하였다.

패널들의 박사 과정 시절 대학원 생활 및 연구 수행의 어려움 등에 대해 논하는 자리가 있었다. 각 패널 분들 별로 토의한 내용 중 기억에 남는 부분은 오승재 교수님은 본인이 주도적으로 하고 싶은 연구를 찾아서 관련 분야 권위자에게 연락을 해보는 등의 행동이 연구 모티베이션을 불러일으킬 수 있다고 하셨다. 김윤지 교수님은 여성 연구자로서 여학생들이 결혼이나 출산 등의 이유로 중간에 학업을 중단하거나 현실과 타협하는 경우가 많은데, 본인은 출산 후 박사과정을 시작하고 이후에 MIT로 포닥도 갔기 때문에 여학생들이 진취적으로 연구를 하였으면 한다고 하셨다. 김아욱 교수님은 연구를 열심히 하는 것도 중요하지만 지도 교수님과의 좋은 라포 형성을 하는 것이 중요하다고 전하며, 지도 교수님과의 좋은 관계 유지가 이후 학계 진출에 매우 중요하다는 말씀을 주셨다. 또한, 논문 작성의 경우 영어적인 부분보다 systematic한 사고와 글짓기가 더 중요하다고 얘기하시며 많은 논문을 읽어보고 리뷰도 해보며 critical한 사고를 많이 하는 것이 중요하다고 하셨다. 마지막으로 이재연 교수님은 학교 임용까지 많은 시간이 걸리고 어려움이 있을 수 있지만 본인이 연구에 뜻이 있다면 포기하지 않고 계속 정진해볼 것을 권했다.

본 세션은 패널토의 기반의 커리오토크에 가까워 새롭게 무언가를 배우거나 연구에 적용할 부분은 없었지만 국내 HCI 연구자이자 석 박사과정으로 선배들이 걸어온 길을 보면서 앞으로 좋은 연구자가 되고 싶단 의지를 다지는 시간이었다. 그리고 학계나 산업계 모두 장단이 있으며, 어떤 준비를 해야하는지 한 번 돌아보고 점검할 수 있는 시간이였다.