brunch

매거진 Product Develop

라이킷 13 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 쫄래쫄래 Apr 24. 2024

Feature의 성과를 제대로 진단하는 법

Product Manager가 생각해볼만한 Framework, TARS

백그라운드

Retention/NPS와 같은 심플하지만 간접적이고 난해한 성과분석의 한계를 넘어, 더 명확하고 Practical한 성과진단 체계는 없을까? 실제로 다이나믹한 Product의 Growth 상황에서, 개별 Feature에 대한 성과측정은 쉽게 보이면서도 의외로 명확하게 진단하기 어려운 경우가 많다.
그러던 중에 발견한 하나의 방법이 TARS이다. 널리 알려진건 아니지만 Product-Led Growth 분야에서 유명한 Reforge에서 소개된 방법이다. AARRR Growth 측정과 비슷한 관점도 있지만, 전체 성장지표보다는 개별적인 Feature의 성과측정을 위한 방법이다. 또 Feature의 성과측정이 그때그때 맥락에 따라 측정 방법을 달리했다면, TARS는 꽤나 범용적이면서도 간결하고 균형잡힌 성과측정의 Framework이다(물론 애초에 Feature가 Target하는 목적/지표에 따라, e.g. 매출최적화 // 가입전환율 최적화 등, 해당 방법이 꼭 적합한건 아니다)

TARS에 소개된 성과진단 방법들을 간략히 정리하였고, 실제 Action Item 들은 Product Management에 진심인 B2B SaaS 회사 Intercom의 가이드도 함께 조합하였다.

Summary: TARS Funnel에 따른 Feature 성과측정 및 Checklist

1. Target Audience

우리 제품의 사용자 중, 해당 Feature가 문제 해결에 도움이 되는 유저가 몇 % 정도 되는가?

우리 제품 중에 해당 Feature가 문제 해결에 도움이 되는 유저가 몇 % 정도 되는가?

문제를 해결하기 위해 몇 %의 고객이 한달/한주 동안 과업을 수행하는가?

[Guide]

가능한 합리적인 추정과 고객 조사를 활용하라

몇 %의 고객이 사용한다면 성과에 유효한지를 꼭 점검하기

2. Adopted

타겟 고객 중 얼만큼의 고객이 사용했는가?

사용하지 않는 고객 비율들은, a) 고객 여정에서 충분히 인지되지 못했거나 b) 타겟 고객을 너무 넓게 잡았거나 c) 효용이 낮거나 d) 사용성/오류 등 방해요소가 있어서

[Guide]

왜 사용하지 않았는지에 대해, 고객 조사를 실행하고 가설을 구조화한다

3. Retained

Adopted 고객 중 얼마나 많은 고객이 다시 사용했는가?

얼만큼의 주기로 해당 Feature를 사용하길 기대하는지 먼저 설정하는 것도 중요

사용 고객 중 50% 이상이 재사용했다면 전략적으로 중요한 Feature라고 확신해도 좋다.

재사용율은 절대로 Stablize 되지 않는다(시간이 갈수록 계속 떨어질수밖에 없다)

[Guide]

C. 다수가 사용하는데 자주 사용하지 않는 경우 → 사용자 행동을 촉진(Fogg 모델)하고, 습관을 설계한다(Hooked 모델 - Trigger, Action, Motivation, Investment 등을 설계)

4. Satisfied

얼마나 많은 고객이 만족하는가?

사용, 재사용율이 높다고 꼭 만족하는건 아니다. 그리고 만족도가 낮으면 장기적인 잠재 Loyalty는 떨어진다(많은 노력이 드는 Feature라고 판단되는 고객의 96%는 충성도가 낮다)

사용하지만 불만족스러운 경험을 하고 있는 Feature의 가능성도 있다(어쩔수 없어서, 당연하다고 생각해서 등)

[Guide]

“CES(Customer Effort Score)”를 활용하라. CES 조사를 통해 불만족하는 요소를 파악하고 개선한다.

덧. Feature의 성과들을 비교할 수 있는 간단한 2x2 Matrix

Adoption vs Frequency Matrix

TARS 퍼널별 Action Item 상세 설명

2-1. 생각보다 사용하는 사람이 적다: 5 Whys + Issue Tree → 가설설정 → 문제해결

고객에게 물어보고 5 Whys를 해본다

5 Whys를 충분히 해보면서 Issue Tree로 가설들을 정리해본다.

5 Whys 사례

Issue Tree 사례

2-2. 빈도가 낮다 → 습관설계

Frequency를 만드는 방법론, Hooked

2-3. 자주, 잘 사용하는데 만족도가 낮다 → CES 측정을 통한 Friction의 해결

자주 잘 사용하는데 뭐가문제지? 라고 생각할 수 있지만..

의외로 써야만 길목에 있는 Feature인 경우, 마지못해 사용해야만 하는 경우, 아무 생각없이 썼는데 생각해보니 별로인것 같아.. 등등 잘쓰지만 <-> 만족하지 못하는 Feature도 많다.

Feature를 계속 사용하게 만들기 - 처음 사용하게 만들기 + 지속적인 커뮤니케이션

3-1. 신규 Feature를 사용하도록 만들기

A. WILL EVERYONE SEE AND UNDERSTAND IT?

- Awareness Challenge → 어떻게든 인지 시켜라

B. ARE YOU SHOWING USERS WHAT YOU DID, OR WHAT THEY CAN DO?

- 솔루션이 무엇인지 설명하지 말고, 그것을 통해 고객이 무엇을 할 수 있는지를 얘기해라

C. ARE YOU ANNOUNCING IT IN CONTEXT?

- “Your goal should never be to “just get it launched”. The goal should be to “just get it used” → 사용할수 있는 맥락, 즉시 사용해보도록 해라.

D. HOW WILL TOMORROW’S SIGN UPS HEAR ABOUT IT?

- 사용자의 상황에 맞게 타게팅해서 알려라 → e.g.) 신규사용자의 두번째 세션에서 사용할 만한 기능을 어떻게 소개할 것인가?

E. DO YOU PLAN TO FOLLOW UP WITH USERS & NON-USERS?

- 어떻게, 왜, 언제 사용하는지를 파악해나가자. 아래와 같은 질문을 사용자에게 던져보자.

» When did you notice it? What did you think? Did you use it straight away? What attracted you to it?

» Did you need to read the documentation? Was it sufficient?

» Were there any barriers to you using it?

» Are there times in your work day that you want to use this but can’t?

» Have you told anyone about what you use it for? What did you say?

3-2. Feature를 지속적으로 알리기

A. MAKE A STRONG FIRST IMPRESSION - 처음에 강한 인상을 남겨라

Every day a potential customer is seeing your interface for the very first time. This can be forgotten within teams that are always designing for themselves. The first screen your users see has three important jobs:
» Explain how your application works.
» Motivate your users to get started.
» Let your users know how to get help, if and when they need it

B. GRADUALLY EXPOSE THE DEPTH OF YOUR PRODUCT

점진적으로 하나하나 알리기