목표 설정과 가설 수립의 관계
PM스쿨_학습일지07
2024.02.23
3일전인 20일(화) 제로베이스 강의를 통하여 서비스 기획 시의 의사 결정의 도구로 AB Test를 학습한 바 있다. 해당 강의를 듣는 과정에서 필자가 학부시절 공부하였던 사회과학의 통계적 분석과 유사하게 느껴 학습하는데 큰 어려움이 없었다. 하지만, 말 그대로 학습과 실습의 차이를 오늘 케이스 스터디를 하며 경험했는데, 토스 앱 서비스를 분석하며 공부하게 된 이야기를 소개하도록 하겠다.
AB TEST
경험한 바를 공유하기 위해서 먼저, AB Test가 뭔지 독자들과 공유해야 할 듯 하다. AB Test란, 임의로 나누어진 두 집단 A와 B에게 각기 다른 UI/UX를 제공하고, 두 집단 중 더 높은 목표 성과율을 보이는 집단을 정량적으로 평가하는 방식을 말한다. 쉴 새 없이 변화하는 시장 상황에 따라, 수 없이 많은 문제점을 발견하고 이를 해결하는 결정을 해야하는 프로덕트 팀은 시간에 쫓기지 않으면서 적절한 의사 결정을 할 수 있어야 한다. 급히 해당 문제점을 개선해야 한다 한들, 적절하지 않은 문제 해결 방식은 오히려 그 문제를 더 부각시킬 수 있으며, 나아가 사용자의 이탈을 유발할 수 있다.
AB Test는 이러한 의사 결정을 도와주는 좋은 수단이다. 문제점을 해결하기 위한 방법은 수 십 가지, 많게는 수 백 가지가 될 수 도 있겠다. 이러한 방법 중 어떤 것이 좋을까? 라는 것을 팀원들의 의견 피력을 통해 결정해야 하고, 나아가 실제로 변경했는데 적절한 해결 방법이 아니었을 경우, 프로덕트 팀이 얻게 되는 리스크는 너무도 크다. 이에, 의사 결정의 리스크를 낮출 수 있도록 가설을 통한 결과(성과)를 실험함으로써, 더 좋은 해결방법을 찾아갈 수 있도록 해준다는 것이다.
목표 설정과 가설 수립의 어려움
명확한 목표를 설정하여야 그에 맞는 측정 지표를 설정할 수 있겠다. 해당 서비스의 개선을 통해 얻고자 하는 목표가 어떤 서비스를 개선함으로써 해결될 수 있는지, 뿐만 아니라 진정으로 해결하고 있는 지를 확인할 수단이 필요했다.
금일 핀테크 서비스의 대표주자인 토스 앱 서비스를 분석한 바 있다. 토스 앱 서비스의 PAIN POINT를 분석하여 불편한 부분을 긍정적이게 개선하는 목표를 찾고, 이를 측정할 방안을 찾고자 했다. 먼저, 사용자가 어려움을 겪는 포인트를 찾는 것이 어려웠다. 두 번째로, 어려움이나 불편함을 느끼는 포인트를 찾았지만 그 어려움이나 불편함을 정확히 '정의'할 수 없었다. 쉽게 말해 사용자가 왜 불편해 하는 지에 관한 근본적인 이유를 제시할 수 없었다. 단지 피상적으로 드러난 현상 만을 반복적으로 제시할 뿐이었다. 마지막으로, 측정 지표를 구성하기 어려웠다. 문자나 현상적으로 인지되는 문제점을 수치적으로 환산할 수 있도록 변환하는 것이 어려웠다.
https://www.notion.so/3-_-f02df33b2aca42ed906729383c06f958
문제점과 해결 그리고 방법론
필자가 3시간 가량 토스 앱을 사용하며, PAIN POINT를 찾아본 결과, 혜택 탭에서 완료된 미션이 남아있어 앞으로 내가 진행할 수 있는 미션을 한 눈에 보기 어렵다는 NEEDS를 발견했다. 해당 불편함이 가지는 의의는 혜택 미션을 클릭하는 시간을 지연시켰고, 나아가 혜택 탭 화면의 리텐션을 감소시키는 문제점을 가져왔다. 이러한 불편함이 가중될 경우, 혜택 화면으로 접근하는 사용자에게 더 이상 토스 앱에서 제공하는 혜택이 불편함이 주는 임팩트보다 감소하는 임계점 근처에 도달한다면, MAU의 감소로 이어질 것이다.
필자가 PM이었다면, 이를 해결하기 위해 "완료한 미션을 사라지게 만들자"고 제안했을 것이다. 사용자의 여정을 분석해보면, 토스 유저가 해당 서비스를 방문하는 이유는 내가 받을 수 있는 혜택이 무엇인지 이다. 사용자의 UI에 내가 이미 받은 혜택이 유지되는 것은 내가 받을 수 있는 혜택과는 차이가 있는 지나간, 혹은 어쩌면 관심도가 떨어진 부분이다. 이에, 시간적으로 이미 성취한 혜택은 더 이상 유저에게 강조할 필요가 없으므로, 남은 혜택과 앞으로 발생할 혜택을 예측케하는 것이 필요할 것이다.
결국, 필자가 토스의 혜택 탭에 관한 프로덕트팀의 PM이었다면, "혜택 탭의 리텐션을 OO% 높이기 위하여"라는 목적을 성취하기 위해 "완료된 혜택 미션을 제거하고, 남은 미션만 혜택 탭에 남게 한다면, 다른 미션을 시도하는 횟수와 비율이 늘어날 것이다."라는 가설을 설정해볼 것이다. 이를 측정하는 방법으로는 변인을 통해 얻을 수 있는 혜택 미션 실행율, 완료되지 않은 미션을 실행하는 비율, 혹은 해택 탭에 관한 리텐션율이 될 것이다.
정리하며,
강의를 통해, 그리고 과거의 사회학적 통계 실습 경험을 통해 '의사 결정 도구'에 관해 이해도가 쉽게 생긴 것은 사실이었다. 하지만, 이를 이해하고 안다고 하여 적절히 사용하는가? 이를 통해 적절한 의사 결정을 하는가?는 다른 문제라는 것을 경험해보았다. 오늘은 AB Test라는 도구를 사용해보며 느낀 바이지만, 계속해서 강의를 들어오면서 '흠, 이 방법론은, 이 개념은 이해가 쉽군.' 하며 그냥 넘어갔던 부분들이 생각이 났다. 계속해서 주어지는 과제와 프로젝트 가운데 각 개념과 방법론을 적용해보며 그저 이해한 것을 넘어 체득하는 날이 오길 바란다.
