데이터사이언스와 UX리서치의 협업
Spotify의 동시 삼각법과 머신러닝 기반의 퍼소나
데이터 사이언스와 UX리서치는 '사용자의 행동을 이해하고 의미있는 패턴과 인사이트를 도출'한다는 점에서 같은 목표를 지니지만 UX리서치는 정성적인 측면에서, 데이터 사이언스는 대량의 데이터를 기반으로 정량적인 측면을 다룬다는 점에서 출발점은 다르다. UX리서처는 인터뷰나 설문조사를 활용하여 why의 관점에서 사용자들의 인식과 멘탈모델을 파악하고 데이터 사이언티스트는 A/B테스팅이나 통계적 모델링을 바탕으로 what의 관점에서 사용자들의 전반적인 행동 트렌드를 파악한다.
닐슨 노만 그룹의 'What-Why 프레임 워크'최근에는 정량 혹은 정성 데이터 중 한 부분만 봤을때 놓칠 수 있는 부분을 보완하기 위해 두 가지 데이터를 접목하여 총체적인 인사이트로 도출하는 경향이 많다. 이와 관련하여 찾아보던 중 스포티파이의 동시 삼각법 연구와 머신러닝을 기반으로 한 퍼소나 도출 방법론이 흥미로워 간단히 요약해보았다.
Spotify의 데이터사이언티스트와 UX리서처의 동시 삼각법 접근
삼각법(Triangulation)은 특정 문제를 조사하기 위해 한 가지 이상의 방법을 사용하는 것을 의미하는 사회학 용어이다. Spotify 프로덕트 인사이트팀은 UX리서처와 데이터 사이언티스트가 함께 일하는 조직으로 다양한 데이터를 활용하여 프로덕트에 관한 총체적 인사이트를 도출하는 팀이다. 하지만 접근이 다르다 보니 서로 대조되는 인사이트나 패턴이 나오는 경우가 있는데 이에 관한 스포티파이의 접근과 해결 방법을 Simultaneous Triangulation: Mixing User Research & Data Science Method 에서 자세히 설명하고 있다.
스포티파이의 무료 이용자들은 스킵가능한 비디오나 오디오 광고를 본다. 이 스킵 가능한 광고에 대한 리서치 중 A/B테스팅을 통해 데이터 사이언티스트들이 먼저 얼마나 스킵을 잘하느냐에 따라 사용자들을 구분하였다. 하지만 광고를 잘 스킵하는 것으로 분류된 사용자들이 UX리서치 인터뷰 과정에서 어떤 광고를 스킵할 수 있는지 혼란스러워 했다.
전혀 반대의 인사이트가 나온 상황에서 이를 해결하기 위해 동시에 같은 참여자들을 대상으로 다른 방법을 적용해여 리서치를 진행하였다. UX리서처는 사용자들을 대상으로 다이어리 스터디를 진행하여 일상의 스포티파이 사용과 광고에 대한 반응과 태도를 묻고, 다이어리 스터디에 참여한 각 사용자들의 동의를 얻어 데이터 사이언티스트들은 사용자들이 어디에서 어떻게 얼마나 많은 음악을 듣고 광고를 보거나 스킵했는지와 같은 사용자들의 행동 로그 데이터를 분석하였다.
동시에 두 가지 방법론을 적용하여 데이터를 봄으로써 보이지 않던 퍼즐조각이 맞춰졌다. 정량적인 측면에서 일부 사용자들이 일정하게 최대 6개까지 광고를 꾸준히 스킵하는 행동 패턴이 보였는데 이와 동시에 정성적인 측면에서는 무료 이용자들은 6개의 음악만 스킵 가능하기에 광고도 6개까지만 스킵이 가능할 것이라고 인식한다는 흥미로운 패턴이 나왔다. 이를 통해 앞의 리서치에서 대조된 결과가 나온 이유를 파악할 수 있었고 결과를 바탕으로 최대 6개까지만 광고를 스킵하는 비슷한 행동 패턴을 보이는 사용자들을 그룹핑하여 안내 메세지를 노출 시킨 결과 success metrics가 두배로 증가하였다.
동시에 같은 사용자들을 대상으로 정성 정량 데이터를 모두 분석하여 총체적인 사용자들의 멘탈 모델을 정확히 파악한다는 점은 프로덕트의 의사결정에 있어 중요하다. 그런 점에서 데이터 사이언스와 유엑스 리서치를 함께 동시에 적용했을때 어떠한 시너지가 일어나는지 구체적인 사례로 알 수 있다는 점이 많은 시사점을 준다.
머신러닝을 활용하여 Data-Driven Persona 만들기
UX리서치는 프로덕트의 전략과 많은 부분 연결된다. 머신러닝을 UX리서치 프로세스에 적용하기(Applying machine learning to your UX research process)글은 온라인 학습 플랫폼의 사용자 데이터를 바탕으로 머신러닝 알고리즘과 접목하여 정량적인 측면에서 데이터를 기반으로 유저 퍼소나를 도출한 과정을 자세히 설명하고 있다. 흥미로운 부분은 weka라는 데이터 마이닝 소프트웨어를 사용하여 코딩이나 프로그래밍 경험이 없는 UX리서처들도 충분히 시도해볼 수 있다는 점이다.
이 과정에서 사용한 K-Means Clustering 머신러닝 알고리즘은 머신러닝에서는 잘 알려져 있지만 유엑스에서는 낯선 개념이다. 요약해서 설명하면 설정된 숫자 'K'에 맞추어 데이터의 특징을 자동으로 분석하여 그룹핑 해주는 알고리즘으로 유엑스 리서치에서 인터뷰 데이터들을 정성적으로 접근하는 어피니티 다이어그램을 바탕으로 퍼소나를 도출하는 과정과 유사해보인다.
위의 그림을 보면 K-Means Clustering을 고객 데이터 분석에 적용한 것을 보면 숫자 K의 설정에 따라 세부적인 특징에 따라 고객 군이 나뉘어지는 것을 볼 수 있다. 만약 기존의 프로덕트 전략이나 유엑스 리서치를 통해 도출한 퍼소나가 있다면 K-Means Clustering을 통해 정량적으로 검증해볼 수 있다. 이 과정을 통해 정성적 정량적 데이터를 모두 아우르면서 사용자들이 구체적으로 어떤 특징을 기반으로 나뉘는지 분석해볼 수 있을 것이다.
하지만 놓치지 말아야할 점은 데이터 사이언스를 유저리서치에 적용하는 것이 항상 가능하지 않다는 것이다. 특히 머신러닝을 적용할만한 수준의 충분한 유저 데이터 숫자가 있어야하고, 잘 정리된 데이터 스트럭처가 갖추어져 있어야 가능하다. 여기에 더불어 UX리서처와 데이터 사이언티스트가 함께 데이터에 대해 탐색하는 시간과 이 과정에서 UX마인드셋을 적용하는 등의 노력이 필요하다.
함께 읽어보면 좋을 것들 :)
5 Learnings on Data Science + User Research
