비대면 시대의 원격 사용자 리서치
사회적 거리가 멀어져도 사용자와의 거리까지 멀어질 수는 없으니까
사용자의 의견을 잘 반영한 프로덕트를 만들기 위해서는 사용성 평가나 인터뷰 등의 사용자 리서치가 필수적이다. 근데 코로나19로 인해 사용자를 직접 만나 그들의 사용 과정을 지켜보고 긴밀하게 질문을 하기가 점점 어려워졌다. 우리 팀의 경우, 글로벌 프로덕트를 다루기 때문에 정기적으로 해외 현지를 직접 가서, 사용자들을 직접 만나 의견을 들었다. 그러나 이제 해외를 나가기도 어려워졌고, 대면으로 사람을 만나는 일이 조심스럽다.
그렇다고 사용자의 목소리를 직접 듣는 일을 포기할 수 없어서, 우리 팀에서는 이번에 해외 사용자들을 대상으로 원격 사용자 리서치를 진행했다. 내 경우, 그동안 다양한 사용자 리서치를 참관하고, 모더레이터 역할도 여러 차례 해봤지만 원격 리서치는 처음 경험하였다.
당분간 해외 이동이 어려운 상황이 지속되고, 사회적 거리두기를 계속해야 한다면, 이번 원격 리서치가 마지막은 아닐 것이다. 우리뿐 아니라 다른 프로덕트에서도 원격 리서치를 하는 경우가 점점 늘어나고 보편화될 것 같다. 많은 회사들에겐 아직 원격리서치가 낯선 방식일 거라 생각하여, 기록을 남기는 차원에서 이번 원격 리서치를 진행했던 방식, 특징, 변수, 주의할 점 등을 정리하여 보았다.
진행방법
사용자, 모더레이터, 통역사, 참관자 모두 원격
영어권 나라가 아니라서 현지의 리서치 업체를 끼고 진행했다. 전반적인 질문 리스트는 우리가 보냈고, 업체에서는 리쿠르팅, 모더레이팅, 그리고 통역사를 구해줬다. 사용자, 모더레이터, 통역사, 참관자(우리)가 모두 따로따로 원격으로 참여했다.
테스터가 베타 앱을 직접 설치
테스터들이 직접 테스트 앱을 설치하도록 안내해야 했다. 현장에서 직접 사용자를 만날 때는 테스트 앱이 설치된 테스트폰을 OS별로(iOS/Android) 하나씩 챙기면 되었다. 근데 사용자들을 직접 만날 수 없으니 그들이 직접 설치할 수 있도록 자세하게 안내해야 했고 그 과정에서 커뮤니케이션 비용이 늘었다. 기술에 대한 이해가 부족한 테스터도 많아서 사전에 설치가 제대로 이루어지지 않아 테스트가 지연되거나 취소는 경우도 생겼다.
*리서치 업체를 통하여 리서치를 진행할 경우, 베타테스터 등록을 위해서는 반드시 테스터의 이메일 수집 권한을 제 3자(우리)에게 공유할 것을 사전에 동의받아야 한다.
Lookback.io으로 사용자 인터뷰 진행
Lookback이라는 온라인 사용자 인터뷰 툴을 활용하였다. 모더레이터가 사용자에게 룩백 초대 링크를 보내면, 사용자가 자신의 폰에 룩백 앱을 깔고 그 초대 링크를 열면 라이브 세션이 시작된다.
테스터가 룩백으로 폰 화면을 공유하여 모더레이터가 테스터의 화면을 보며 실시간으로 앱과 어떻게 인터랙션을 하는지 확인할 수 있었다. 테스터가 폰의 마이크와 전면 카메라를 켜서 모더레이터가 인터뷰를 하며 테스터의 표정을 보며 목소리를 들을 수 있었다. 게임 라이브 방송을 보는 것과 비슷한 방식이다. 룩백에는 테스터, 모더레이터, 통역사가 접속하였다. (참관자였던 우리 팀은 룩백에 접속하지 않았다.)
Lookback 라이브세션 예시 - 테스터 화면과 표정을 볼 수 있다.GoToMeeting으로 참관
우리는 GoToMeeting으로 참관을 했다. 고투미팅에 모더레이터, 통역사, 참관자가 접속하였다. (테스터는 여기에 접속하지 않았다.) 모더레이터가 룩백을 통해 사용자에게 공유받은 화면을 GoToMeeting으로 우리에게 공유해주었다. 통역사는 룩백으로 모더레이터와 테스터의 말을 듣고 GoToMeeting으로 통역을 해주었다.
즉, 우리가 보는 것은 룩백으로 모더레이터에게 공유된 테스터의 폰 화면과 얼굴이었고, 우리가 듣는 것은 통역사의 말이었다. (테스터와 모더레이터의 말은 우리에게 들리지 않았다.)
원격 리서치를 해보니 이런 점은 생각 외로 좋았다.
집에서 참관이 가능하였다. 편한 복장으로 부담 없이 참여할 수 있다. (재택근무의 장점과 비슷)
담당자 외에도 누구든 쉽게 참관할 수 있다. 해외출장을 갈 때는 소수의 담당자만 참관할 수 있었으나, 원격으로 진행하니, 각 팀 별로 다양한 담당자들이 돌아가며 시간이 되는 세션을 참관하고 갔다.
해외 출장을 다녀올 항공비와 체류비 등의 비용을 아낄 수 있었다.(내 돈은 아니지만) 시간과 에너지도 절약하여 낮 시간에 다른 프로젝트를 작업할 수 있었다.(내 선호와는 상관없이)
각 세션을 녹화하기 더 편했다. 현장에서 진행할 때는 카메라와 마이크를 대여하여 세팅하고, 관찰자 룸에도 스피커 등을 설치해야 한다. 원격 인터뷰로는 이 일련의 과정이 없이 룩백에서 record 버튼 하나만 누르면 녹화가 시작되었다.
원격 리서치를 해보니 이런 점이 힘들었다.
모더레이터와의 커뮤니케이션이 어려웠다. 모더레이터가 테스터, 통역사, 참관자 등 챙겨야 할 채널이 많다 보니 인터뷰 도중 모더레이터에게 의견을 전달하기 쉽지 않았다. 모더레이터의 멀티태스킹 역량이 특히 중요해 보였다.
사용자가 직접 베타 앱을 설치하는 과정이 번거로워 인터뷰가 원활하게 진행되지 못했다. 사전에 상세한 설치 안내를 했지만 베타 앱을 제대로 설치하지 못하는 참여자들이 있었다. IT에 친숙하지 못해서 그런 경우도 있었고 휴대폰의 저장공간이 부족하기도 했고 다양한 이유가 있었다. 설치 오류로 인터뷰를 해야 할 시간에 설치 안내를 하기도 했고 결국 설치가 제대로 되지 않아 다시 일정을 잡는 경우도 있었다.
그 외에도 잔잔한 기술적인 사고들이 있었다. 헤드셋에 문제가 있어 소리가 안들리거나, 작게 들리거나, 에코 현상이 있는 경우도 있고, 인터뷰 진행 도중 연결이 갑자기 끊기기도 했다. 녹화가 제대로 되지 않은 세션도 있었다. iOS의 경우 Lookback에서 전면 카메라가 원활히 작동하지 않았다. 원인을 파악하지 못하여 이 문제는 끝까지 해결하지 못했다. 앱에서 콘텐츠 저작권 때문에 화면 캡처가 불가한 화면에서는 룩백 화면 공유가 제대로 작동하지 않았다.
정보가 제한적이었다. 전면 카메라가 보여주는 앵글은 제한적이라 테스터와 모더레이터의 얼굴 표정과 몸짓 등을 자세히 볼 수 없었다. 음성은 통역사를 통해서만 들려서 테스터 목소리의 뉘앙스, 억양, 망설임 등을 알기 어려웠다. 통역사 한 명이 테스터와 모더레이터의 말을 둘 다 통역하여, 테스터가 말하는 것인지 모더레이터가 말하는 것인지 구분이 어려웠다. 통역사의 역량이 아주 중요해 보였다.
시차 때문에 너무너무너무 힘들었다. 현장에서 인터뷰를 진행했다면, 현지 시간에 맞추어 진행을 했을 텐데, 원격으로 진행을 하다 보니 한국 시간으로 23시부터 새벽 5시까지 진행했다. 처음에는 해볼 만하다고 생각했는데 5일 연속으로 하려니 나의 일상이 파괴되는 느낌이었다.
다음에 한다면...
파일럿 테스트를 사전에 여러 번 진행했다면 초반에 발생하는 문제들을 어느 정도 해결할 수 있었을 것 같다. OS 별로 최소 두 번 정도는 해봐야 했을 것 같다. 파일럿 테스트를 여러 번 하기 어려운 상황이라면, 테스터 리쿠르팅을 조금 더 넉넉하게 하여 인터뷰 첫날을 연습으로 생각해도 좋겠다.
기기 세팅은 인터뷰를 시작하기 전에 모두 준비가 완료되도록 업체와 좀 더 명확히 컨센서스를 이루어야겠다는 생각을 했다. 인터뷰를 진행해야 할 시간에 생각보다 테스터의 기기 세팅에 너무 많은 시간이 들었다. 사전 계획 당시 인터뷰 한 시간 전 기기 세팅을 요구했지만, 잘 이루어지지 않았다. 알아서 잘하겠거니 했는데, 다음엔 더블 체크를 할 수 있는 시스템을 만들어둬야겠다.
모더레이터와의 커뮤니케이션 채널을 미리 세팅해두는 편이 좋았겠다. 모더레이터는 룩백을 보며 인터뷰를 진행했는데 참관자인 우리는 룩백에 없어서 커뮤니케이션이 어려웠다. 우리는 사전에 왓츠앱 사용을 요청했는데 사내에서 사용이 불가하다며 거절당해서 이메일로 컴했다. 즉각적인 푸시가 오는 메신저나, 모바일폰에서 확인할 수 있는 채널을 이용했으면 좋았겠다.
업체와의 계약 단계나 리쿠르팅 단계에서 테스터의 애플/구글 이메일 정보를 제 3자인 우리 회사에 제공하는 데에 미리 동의를 받았으면 좋았겠다. 애플과 구글에 베타테스터로 등록하기 위해서는 테스터의 이메일 주소를 입력해야 하는데, 우리는 사전에 동의를 받지 못하여 먼길을 돌아 고생을 좀 했다.
밤 시간에 혼자 다 참관하기가 너무 힘들었다. 최소 2명 이상 격일로 돌아가며 참관 일정을 분배를 했다면 조금 더 견딜만했을 것 같다. 뒤로 갈수록 체력이 받쳐주지 않아서 집중을 잘 못했다.
코로나19로 인한 사회적 거리두기가 얼마나 길어질지는 예측하기 어렵다. 하지만 우리의 사회적 거리가 멀어져도 프로덕트와 사용자 간의 거리까지 멀어질 수는 없으니 원격 리서치는 앞으로 점점 더 보편적인 리서치 방식이 될 것이다. 여기에 언급한 제안사항 중 일부는 너무 당연하게 느껴지겠지만, 일반 리서치에서 당연했던 부분이 원격 리서치에서는 두 번 세 번 더 확인이 필요한 일들이었다. 다음에 또 원격 리서치를 하게 된다면, 조금 더 철저하게 준비할 수 있을 것 같다.
