by
Mar 07. 2022
서비스 성공 이끄는 Mixed UX리서치: ①스포티파이
사용자의, 사용자에 의한, 사용자를 위한 지표
출처 :https://giphy.com/gifs/Giflytics-gif-jazminantoinette-giflytics-xT9C25UNTwfZuk85WP 오늘도 수많은 기획자들이 사용자 서비스 경험을 분석하기 위해 많은 도구와 지표를 살펴보고 있습니다. 기업들 역시 적극적으로 데이터를 수집하고, 분석하고, 시각화하면서 서비스 성공으로 가기 위한 의사결정을 내리고 있습니다. 데이터 기반으로 의사결정하는 기업이, 그렇지 않은 기업보다 평균 5% 더 높은 생산성, 그리고 6% 더 높은 수익을 얻었다는 컨설팅 회사의 조사 결과도 있습니다.
글로벌 기업들은 ‘사용자 서비스 경험 분석, 즉 UX 리서치(UX Research, UXR) 영역에서는 데이터 분석 도구를 사용하는 데 신중해야 한다’고 입을 모읍니다. 데이터 기반의 의사결정을 위해서 당연히 양적 리서치(Quantitative Research)를 통해 모바일, 웹, 소셜 데이터 등을 수집해 'What' 현재 어떤 일이 일어나고 있고, 어떤 파이프라인에서 무엇이 원인인지 드릴다운 분석을 해야 합니다. 그런데 ‘Why’ 왜 이렇게 지표가 떨어졌는지, 그래서 ‘How’ 어떻게 사용자의 경험을 개선해나갈지에 대한 답은 숫자가 아닌, 생생한 사용자의 행동, 언어에 있기에 질적 리서치(Qualitative Research)를 항상 병행해야 하기 때문입니다. 이를 혼합 사용자 리서치(Mixed methods Research, Mixed UX Research)라고 표현합니다.
이번 시리즈에서는 어떻게 글로벌 테크 기업들이 사용자의 서비스 경험을 개선하고 지표까지 개선했는지, 한정된 시간과 자원 속에서 양적 리서치와 질적 리서치 간 균형을 잡아갔는지 소개하겠습니다.
스포티파이 “당신에게는
광고를 안 볼 자유가 있다”
글로벌 음원 스트리밍 시장에서 독보적인 1위 기업인 스포티파이(Spotify)는 다음 3문장만으로 기존보다 두 배 이상 성공 지표를 개선했다고 합니다.
“광고를 생략할(Skip, 스킵) 할 권리.
스포티파이에서 당신이 스킵 할 수 있는 광고 개수는 제한이 없습니다.
정말로요.”
어떤 그래프를 보고, 어떻게 A/B 테스트하면 이런 개선이 가능한 것일까요?
스포티파이의 디자인팀은 대시보드와 A/B 테스트뿐 아니라 사용자의 목소리를 담은 질적 연구도 병행했습니다. 사실 대시보드 데이터만으로는 왜 특정 사용자가 매일 6개까지만 광고를 스킵 하는지 분석할 수가 없었습니다. 접속 시간이 길거나 짧거나, 광고가 몇 개가 나오거나 상관없이 항상 6개까지만 생략하고, 나머지는 참고 본 이유가 무엇이었을까요?
일기 연구(Diary Study, 중장기적으로 참가자가 자신의 경험을 일지에 쓰는 질적 연구의 하나)를 통해 스포티파이 디자인 팀은 비로소 그 이유를 파악할 수 있었습니다.
“무료 요금제 사용자로서 한 시간당 최대 6번 트랙을 넘길 수 있기 때문에
광고도 6번까지만 생략할 수 있는 줄 알았어요.”
출처 : spotify.design/article/simultaneous-triangulation-mixing-user-research-and-data-science-methods사실 스포티파이는 광고 스킵 횟수에 상한을 둔 적이 없지만, 여기에서 학습된 다른 규칙에 따라 광고 역시 최대 6회만 건너뛰기 가능하다는 사고가 형성된 것입니다. 스포티파이는 사용자의 혼란을 방지하고자 ‘생략할 권리(Freedom to Skip)’로 시작된 3줄 문구를 도입하였고, 기대한 것 이상의 효과를 얻었습니다. 이는 데이터 분석과 사용자 인터뷰를 동시에 활용하는 혼합 사용자 리서치(Mixed Methods)를 통해 스포티파이를 사용하는 사용자 경험(UX)을 개선하고 서비스 지표도 향상된 사례였습니다.
CTR, 클릭률(%)만 높으면
최선입니까?
스포티파이의 사례를 더 자세히 살펴보겠습니다. 검색창(Search input)은 사용자가 능동적으로, 자신이 원하는 음악 콘텐츠를 떠올린 그 순간, ‘직접’ 자판을 쳐서 질의(query)하는 곳입니다. 서비스 운영자나 서비스에 축적된 데이터로 뿌리는 피드(feed)나 추천 리스트가 아닙니다. 그래서 진짜 사용자가 무엇을, 어떻게 검색했고 검색 결과 중에 무엇을 선택했는지 최대한 투명하게 반영해야 합니다.
통상적으로 사용자의 검색 경험(Search UX)이 만족스러웠는지는, 사용자가 검색 결과에 조회된 N 개 중 몇 개에서 효용성(utility)을 느꼈는 지로 판단합니다. 그 만족도의 대리 지표(Satisfaction Proxy Metrics)로 자주 인용되는 것은 클릭률(CTR, Click-through Rate)입니다. ‘원하는 결과니까, 사용자가 그것을 클릭했을 것’이라는 논리를 따릅니다. 또한, 클릭 즉 사용자의 선택을 받은 콘텐츠가 모두 검색 결과 목록 최상단에 있었는지(Top Click)에 따라서도 종종 평가합니다.
스포티파이는 이런 일반화된 검색의 성공 지표(Success metrics)에 대해 되물어봅니다. '언제 어떤 사용자에게나 ‘가장 빠르게, 가장 최상단에 원하는 검색 결과를 콕 집어’ 보여주면 성공적인 검색 경험일까요? 위의 광고 건너뛰기 사례처럼, 이번에도 양적 연구로 알기 어려운 부분을 보완해 줄 질적 연구, 사용자 인터뷰를 도입합니다. 아래 이미지에서 보이듯, 요금제와 계정 연한에 따른 4개 코호트, 총 14명 사용자 대상으로 스포티파이에서 언제 검색을 하게 되는지, 그때 목표(Goal)는 무엇인지를 분석했습니다. 그 결과 크게 두 가지로 정리할 수 있습니다.
출처 : https://kdd2021-mixedmethods.github.io첫째, 스포티파이에는 당장 음악을 듣는 것(Listen)이 아닌 다른 목적으로 접속한 사용자들이 존재하며 원하는 바가 다릅니다. 새로운 장르, 아티스트를 정리하려고(Organize) 온 사용자들은 클릭하고 나서 다음에 들을 플레이리스트에 바로 그 음원을 추가까지 해야 성공입니다. 친구와 서로 음악을 추천하거나 받기 위해(Share) 접속한 사용자들은 해당 음악을 듣고 만족하기 전까지 성공이라고 말하기 이릅니다.
둘째, 스포티파이에 당장 음원을 스트리밍(Listen) 하려는 사용자여도 최상단의 검색 결과에 관심이 크게 없을 수 있습니다. 여러분 중에 ‘노동요가 필요한데, 텐션을 올려줄 음악이 없을까?’하고 음원 스트리밍 서비스에 접속한 적이 있을까요? ‘내가 검색한 이 아티스트 아니면 안 돼!’와 같은 Focused 유형이 아닌, 이렇게 유사한 아티스트, 분위기를 찾는 Open, Exploratory 유형의 사용자들은 원하는 검색 결과를 찾기까지 스크롤을 오르내리거나 이것저것 미리 듣기를 하며 탐색하는 과정에서도 충분히 만족합니다.
출처 : 져니박스포티파이가 찾은
UX Search 성공 지표
이렇게 스포티파이는 대표성을 지닌, 실사용자 14명과의 인터뷰를 통해 기존의 일반화된 CTR과 Top Click 여부가 놓치는 부분(음원뿐 아니라 커머스, 포털 서비스 등 모든 검색 서비스에서 쓰일)을 발견했습니다.
그런데 이 글로벌 음원 스트리밍 1위 기업은, 2021년 3분기 기준 월간 활성 이용자 수(MAU)가 무려 3억 8천만이 넘습니다. 어떻게 14명의 인사이트를 체계적으로 확장(scalable) 할 수 없을까요? 혹시 사용자가 검색할 때 보이는 패턴, 로그 데이터를 통해 어떤 유형의 사용자인지 추정할 수 있었을까요?
그래서 스포티파이는 인앱 설문(in-app survey)을 검색창에 도달하기 전에 띄워, 자신이 Focused 유형 검색을 할 것인지 Open 유형 검색을 할 것인지 표시하게 했습니다. 그리고 사용성 테스트를 통해 실제로 사용자가 어떤 행동 패턴을 보이는지 로그 데이터를 쌓았습니다.
덕분에 전월의 검색 패턴을 통해, Focused와 Open 유형 검색하는 사용자를 분별할 수 있게 되었습니다. ‘Focused, 즉 명확한 목적을 가진 사용자는 그렇지 않은 사용자보다 1개의 검색 세션에서 더 많은 시간을 소요한다’, ‘검색 결과를 클릭하기까지 더 많은 시간을 소요한다’ 등 통계를 통해 여러 가설을 세울 수 있었습니다.
그리고 스포티파이의 사용자 데이터와 목적을 반영하는 새로운 검색 성공 지표는 일정 시간을 넘는 스트리밍 시간, 플레이리스트에 추가하는 이벤트, 특정 아티스트 팔로우하는 이벤트 등에 가중치가 매겨진 복합 지표(Composite Success Metric)입니다. 실제로 스포티파이 UX 개선 시에 일반적인 성공 지표 CTR보다 더 민감하게 사용자 반응을 그려내는 것이 검증되었습니다.
출처 : https://kdd2021-mixedmethods.github.io