Ubicomp/ISWC 2023: 발견과 연결의 여정
지난 10월 8일부터 12일까지 멕시코 칸쿤에서 Ubicomp/ISWC 2023 학회가 개최되었다. 이 학회는 ubiquitous computing 분야의 주요 학술 컨퍼런스로, 센서 네트워크부터 모바일 및 웨어러블 컴퓨팅, 인간-컴퓨터 상호작용에 이르기까지 다양한 주제를 다룬다. 나는 이번 학회에서 “WatchPPG: An Open-Source Toolkit for PPG-based Stress Detection using Off-the-shelf Smartwatches”라는 제목의 Late-Breaking-Work(LBW)를 발표하며 첫 국제 학회에 참가하였다. 이를 통해 얻은 소중한 경험을 간략히 공유하고자 한다.
Whova 어플리케이션
학회 시작을 앞두고 공식적으로 Whova라는 앱 사용을 안내하는 메일을 받았다. 가입을 하니, 학회 일정과 발표자 등 필요한 정보가 찾기 정리되어 있었다. 인터넷과 메일을 번갈아가며 필요한 정보를 찾는 것이 쉽지 않았는데 어플을 이용해 쉽게 찾아볼 수 있었다. 뿐만 아니라 학회에 참석하는 연구자들에 대한 정보도 모두 포함되어 있었다.
이 어플의 진가는 학회가 시작된 후에 발휘되었다. 우선, 메시지 기능이 있어 참석하는 모든 연구자들과 직접적으로 연락을 할 수 있었다. 포스터 세션에서 만난 한국 학생분과 해당 기능을 통해 대화를 나누기도 했다. 커뮤니티 탭에서는 공개적인 대화가 오고 갔다. 특정 분야 연구와 관련된 Meet-ups를 올리는 글, job finding을 위한 글, 단순한 Ice breaking을 위한 글, 함께 칸쿤을 여행할 사람들을 찾는 글 등 많은 글을 볼 수 있었다. 마지막으로 어플에서 Photo Contest도 진행되어 많은 분들이 학회와 관련된 다양한 사진을 올렸고, 이를 구경할 수도 있었다. 학회에 혼자 참석하였는데, 실시간으로 어플을 구경하며 조금이나마 심심함을 덜어낼 수 있었다.
Paper 세션
Main Conference 일정표Main Conference 3일 동안 논문 저자들이 자신의 연구를 발표했다. 수십 명의 사람들 앞에서 자신이 오랜 기간 연구한 내용을 발표하는 연구자들은 정말 멋있어 보였다. 휴양지 패션으로 발표를 하던 분부터 머리부터 발끝까지 차려입고 발표를 하던 분까지 다양한 모습(?)의 발표자분들을 볼 수 있었다.
세션은 크게 9가지 그리고 세부적으로는 3개씩 총 27가지로 구성되어 있었고, 우리 연구실과 관련이 있어 보이던 세션으로는 ‘Human Sensing: Health & Behavior’, ‘Towards Good Health’, ‘Mood, Affect and Stress’ 등이 있었다. 실제 내가 이전에 읽었던 논문의 발표를 들어보기도 했는데, 연구에 대한 이해가 잘될뿐더러 정말 오랜 시간 고생해서 탄생한 논문임을 느낄 수 있었다.
그중에서 "GLOBEM: Cross-Dataset Generalization of Longitudinal Human Behavior Modeling"이라는 제목의 연구 발표가 기억에 남는다.
최근 스마트폰과 웨어러블 디바이스의 발전으로 사용자의 일상 행동의 다양한 측면을 센서 데이터를 이용해 모델링할 수 있게 되었고, 이 연구는 우울증 예측을 위한 일반화(Generalization) 모델 구축의 가능성을 알아보았다. 저자들은 이전 연구에서 제시된 대부분의 알고리즘이 한 인구 집단에서 짧은 기간 동안 수집된 단일 데이터셋만을 이용해서 평가된 점을 지적했고, 일반화가 가능한 즉 실제적이고 유용한 배포가 가능한 모델 구축을 위해서는 여러 데이터셋에 걸쳐 모델을 평가하는 것이 필수적이라고 이야기한다. 따라서, 그들은 두 개의 서로 다른 기관에서 2년 이상의 기간 동안 데이터를 수집했고, 그렇게 얻어진 4개의 데이터셋을 이용해 이전 연구들에서 제시된 우울증 예측 모델의 성능을 평가했다. 이는 1개의 데이터를 이용해 학습된 모델을 다른 3개의 데이터셋을 이용해 평가하는 cross-dataset 방식으로 이루어졌는데, 대부분의 모델은 큰 성능 저하를 보이며 일반화 가능성 부족을 나타냈다. 뿐만 아니라, 다른 도메인으로부터 얻은 지식을 새로운 타겟 도메인에 재활용할 수 있도록 하는 도메인 일반화(Domain Generalizable)를 위해 개발된 컴퓨터 비전 혹은 자연어 처리 분야의 딥러닝 알고리즘들을 이용한 평가도 진행했는데, 이들 역시 일반화 가능한 우울증 예측 모델에는 적합하지 않음을 보였다. 이어서 저자들은 두 가지의 새로운 알고리즘을 직접 제시했고, 그중 우울증 예측 작업(task)과 동시에 데이터의 시간적 재순서화(temporal reordering) 작업을 진행하는 Reorder 알고리즘은 평가한 모든 알고리즘 중 가장 강력한 일반화 성능을 보였다. 해당 논문은, 사용자 행동 모델링 분야 연구자들이 자신들의 모델을 개발하고 평가할 수 있는 오픈소스 벤치마크 플랫폼인 GLOBEM을 소개하며 마무리된다.
감성 컴퓨팅(Affective Computing) 분야에서의 데이터 수집과 그를 통한 모델링이라는 큰 흐름이 우리 연구실에서 이루어지는 연구들과 비슷했는데, 자신감 넘치던 발표자 덕분인지 매우 완성도가 높은 논문이라는 생각이 들었다. 감정 모델의 일반화는 현재 연구실에서도 다루고 있는 주제인데, 수년간 수백 명을 대상으로 한 데이터 수집과 20개 가까이되는 기존의 알고리즘 비교 그리고 새로운 알고리즘 제시까지 ‘해볼 수 있는 건 거의 다 했다.’라는 느낌이 들기도 했다. 하지만 그럼에도 여전히 감정 예측 모델의 성능이 아주 높아지지 않은 것을 보며, 관련 분야의 어려움에 대해 다시 한번 생각해보기도 했다.
해당 논문 대한 자세한 내용은 다음 링크에서 확인할 수 있다. https://dl.acm.org/doi/abs/10.1145/3569485
또, "Semi-Supervised Learning for Wearable-based Momentary Stress Detection in the Wild" 연구 역시 인상 깊었다.
스트레스 감지를 위해 설계된 준지도 학습 프레임워트의 전체 구조우울증 예측 모델링과 비슷하게, 사용자의 스마트폰과 웨어러블 디바이스 데이터를 이용한 스트레스 감지 모델링 역시 활발히 연구되고 있다. 이전 연구들은 생리적, 행동적 센서 데이터를 이용해 사용자가 자가보고한 스트레스 수준을 예측하는 모델을 개발해 왔는데, 이 연구는 수집되는 센서 데이터와 모델이 예측해야 하는 스트레스 라벨 데이터의 수의 차이에 집중했다. 연구 기간 동안 수백만 개의 데이터 샘플이 자동으로 수집되는 웨어러블 디바이스와는 다르게, 사용자가 직접 입력을 해야 하는 자가보고 스트레스 라벨의 수는 제한적이다. 결국 이전 연구들은 라벨이 없는 기간의 데이터를 버릴 수밖에 없었고 여기서 정보의 손실이 발생했는데, 저자들은 준지도 학습(Semi-Supervised Learning) 프레임워크를 통해 그 손실을 최소화하고자 했다.
그들은 우선, 라벨이 있는 기간의 데이터 샘플과 비슷한 분포를 가지는 라벨이 없는 데이터 샘플만을 활성적으로 선택(Active Sampling) 했고, 그를 이용해 특징 추출(Feature Extraction)을 위한 오토인코더(AutoEncoder)를 사전-학습(Pre-train)했다. 이후, 선택된 샘플을 라벨이 있는 데이터 샘플과 함께 증강(Augmentation)해 그 수를 늘려 오토인코더와 최종 예측을 위한 분류기(Classifier)를 파인-튜닝(Fine-tune)했다. 이때, 증강과정에서 생긴 약간의 노이즈에도 모델의 예측값이 일정할 수 있도록 일관성 정규화(Consistency Regularization)를 진행했다.
이러한 프레임워크는 두 개의 공개 데이터셋을 이용한 평가에서 약 7~10%의 스트레스 감지 성능 향상을 보였고, 심지어 인간 행동 인식(Human Activity Recognition) 모델링에서도 최신 State-of-the-art (SOTA) 알고리즘만큼의 성능을 보였다.
해당 논문 대한 자세한 내용은 다음 링크에서 확인할 수 있다. https://dl.acm.org/doi/abs/10.1145/3596246
이와 같은 논문 발표 이후에는 각 세션의 chair에 따라 여러 가지 활동들이 이루어졌다. 주제가 주어지고 저자들끼리 패널 토크를 하거나 자유롭게 질문을 받거나 기타 포스터 세션의 연구들을 소개하는 시간 등이 있었다.
Poster & Demo & LBW 세션
Main conference 첫째 날 저녁 내가 참여한 LBW 세션이 있었다. 학회장 건물의 야외 테라스에 포스터들이 세워져 있었고, 연구자들은 자유롭게 돌아다니며 궁금한 것을 묻고 이야기를 나누었다. 3시간 정도 해당 세션이 진행되었는데, 정말 뜻깊은 경험이었다.
WatchPPG 포스터연구에서 제안된 오픈소스 툴킷인 WatchPPG는 갤럭시 워치 등의 스마트워치에 설치할 수 있는 WearOS 어플과 python으로 작성된 스트레스 감지 파이프라인을 포함한다. WearOS 어플을 설치하면 광혈류측정 센서(Photoplethysmogram, PPG) 데이터를 수집할 수 있고, 파이프라인을 통해 그로부터 스트레스 지표로 자주 사용되는 심장 박동 변이(Heart Rate Variability, HRV)를 계산해 스트레스 감지 기계학습 모델을 만들어낼 수 있다. WatchPPG의 특별한 점은 저렴한 상업용 스마트워치를 이용할 뿐만 아니라 PPG 데이터로부터 HRV 값을 계산할 때의 큰 어려움 중 하나인 사용자의 움직임으로 인한 오류 (motion artifact)를 줄일 수 있는 파이프라인을 설계함으로써, 실생활 속에서의 스트레스 관련 연구를 가능하게 했다는 점이다. 해당 툴킷은 사용자의 움직임이 있는 상황에서의 실험을 통해 연구용 장비와 비교하여 유사한 감지 성능을 보임이 밝혀졌다. LBW에 대한 자세한 내용은 다음 링크에서 확인할 수 있다. https://dl.acm.org/doi/10.1145/3594739.3610800
생각보다 정말 많은 전 세계의 연구자분들이 나의 포스터 내용에 대해 물어보고 자세한 연구 과정 및 결과를 궁금해했다. 우리와 비슷하게 affective computing 분야를 연구하는 분들과 이야기를 나누기도 했고, Oh, are you Uichin Lee’s student?! 하며 교수님을 아는 분들도 있었다. 특히, 스트레스 완화 시스템 관련 연구를 진행하고 있다고 한 유럽 출신 박사과정 학생이 기억에 남는다. 일반인 사용자를 대상으로 한 시스템 평가 실험 등을 고려하고 있는 상황에서 WatchPPG와 같은 툴이 실제로 자신들의 연구에 도움이 될 것 같다고 이야기하며 포스터와 깃허브 링크 사진을 찍어갔는데, 나의 연구가 또 다른 누군가의 연구에 도움이 될 수도 있을 거란 생각을 하니 정말 신기했다. 긴장했을 뿐 아니라 날씨가 너무 더워서 서있는 시간 내내 땀을 뻘뻘 흘렸던 것 같은데 잊지 못할 기억으로 남을 것 같다.
네트워킹
아름다웠던 숙소 앞바다나는 학회와 연계된 숙소에서 묵었는데, 덕분인지 여러 사람들과 대화를 나눠보기도 했다. 숙소 카페에서 학회에 온 학생이냐며 말을 걸어준 호주인 교수님부터 학회장에서 혼자 왔냐며 같이 커피를 마시자고 한 중국인 박사과정 학생 등이 있었다.
Main conference 첫째 날에는 이의진 교수님이 연락을 주셔서, Rice University의 Akane Sano 교수님 그리고 Northeastern University의 Varun Mishra 교수님과 점심 식사를 하는 시간을 가졌다. Sano 교수님은 나의 석사 디펜스 심사위원이시고, Mishra 교수님은 석사 과정 동안 가장 자주 본 논문 중 하나의 저자이셔서 설렘과 동시에 긴장이 꽤 많이 되었던 것 같다. 하지만, 직접 만난 교수님들은 정말 친절하셨고 교수님들의 이런저런 고민을 들어볼 수 있는 좋은 기회였다. 우리 연구실에서 계속해서 문제가 되어온, 실생활에서의 사용자 데이터 수집 그리고 코드 유지보수의 어려움이 다른 연구실 역시 겪고 있는 문제임을 알 수 있었다. 교수님들은 오랜 시간 이런 문제들과 관련 경험에 대해 이야기하셨는데, Mishra 교수님은 코드 관리를 직접 하고 계시다하셔서 정말 놀라웠다. 또, 감성 컴퓨팅 분야 자체 특히 센서 및 모바일 데이터를 이용해 사용자의 감정을 모델링하는 것이 쉽지 않다는 것을 모든 교수님들이 공감해 주신 것이 특히 기억에 남는다. 앞으로 우리 연구실에서 관련된 의미 있는 연구들이 많이 이루어졌으면 좋겠다는 생각을 했다.
Main conference 마지막날 저녁에는 학회에 참석한 한국인 연구자들이 다 함께 식사를 하는 자리가 있었다. 나는 비행기 일정으로 인해 참석하지 못해 매우 아쉬웠다.
마치며, 석사 과정 중 이러한 국제 학회에 참여할 수 있는 기회를 얻게 되어 정말 감사하다는 말씀을 전하고 싶다. 이 경험은 나에게 큰 도움이 되었으며, 다른 대학원생들에게도 추천하고 싶은 소중한 경험이었다.
작성자: 한윤조, Yunjo Han (yjhan99@kaist.ac.kr)
