by
Jun 16. 2022
경험을 측정하세요, 16가지 경험 지표
Tomer Sharon의 아티클 번역
*Wework, Google에서 User Research를 진행한 Tomer Sharon의 글을 번역하였으며, 부드럽게 읽히기 위해 단어를 추가 삭제 하였습니다.
>> 원문 읽기
https://medium.com/agileinsider/16-key-experience-indicators-your-ux-needle-743f049fc2e
<유니온B가 이 글을 선정한 이유>
- 다양한 지표들을 소개한 글들은 많습니다만, 고객의 경험에 집중해 "경험 지표"로 한 군데에 모아놓은 글은 많지 않습니다. 지표는 산업의 특성과 우리 고객의 사용패턴에 맞게 반드시 수정해 사용해야 합니다. 모든 산업의 지표가 일괄적인 지표를 사용하면 왜곡될 수 있습니다. 쭉 읽어보시면서 어떤 지표가 우리 기업에 맞고 어떻게 수정해보면 좋을지의 관점으로 읽어보세요.
- 이 글은 디지털 사용 경험인 UX에 초점을 맞추었습니다. 이 글을 마중물로 우리 회사의 제품에 대한 사용경험(UX) 뿐 아니라 CX(고객경험)까지 확장해 다양한 지표들을 생각해보시면 좋습니다.
출처 인터넷주요 경험지표 Key Experience Index는 제품과 서비스를 사용하는데 있어 구체적이고 중요하면서 실행 가능한 현상을 정량적으로 (설명할 수 있는) 점수를 제공합니다.
주요 경험지표 KEI를 측정하면 다음의 이점이 있습니다.
의사 결정자에게 정보를 제공합니다.
비즈니스 결과를 선행해 예측합니다.
정성적 연구에서 발견한 사실과 고객의 이야기에서 인사이트를 얻습니다.
제품의 강점과 약점을 정의합니다.
제품이 변경한 효과를 파악합니다.
제품이 고객에게 주는 가치를 파악합니다.
제품의 사용자 경험을 평가합니다.
제품-시장 적합성 (Product-Market fit)에 도달할 수 있는 척도가 생깁니다.
개선할 기준을 제공합니다.
다음은 사용자의 경험을 측정하고 싶을 때 시도할 수 있는 16개의 KEIs 주요 경험지표입니다.
1. aNPS (actual NPS)
사용자의 미래 행동을 예측하려고 사용자에게 물어보고 NPS(추천 질문)을 사용해 이상한 계산을 하기 보다, 차라리 최근에 사용자가 보여준 실제 행동을 질문하십시오. aNPS(actual NPS) 질문은 "지난주에 다른 사람에게 우리를 추천한 적이 있습니까?" 입니다. 대답은 예/아니오이며, 점수는 예라고 한 사람들의 비율입니다.
2. 만족한 사용자의 비중(% satisfied users)
제품 또는 서비스, 기능에 대해서 행복하다, 만족하다 또는 기쁘다에 표기한 사용자의 비율입니다. 예를 들어 질문에 응답한 사용자가 100명이고 그 중 17명이 행복하지 않고, 24명이 모른다로 응답했으며 59명이 만족한다고 표시했다면, 이 경우 점수는 59%(100-17-24=59)입니다. 당신의 목표는 이 숫자를 늘리는 것에 있습니다.
3. 만족도 점수 (satisfaction score)
구간 별 점수를 계산한 평균 만족도 점수입니다. 계속해서 위의 예를 사용하자면, 100명의 사용자에 대한 평균 만족도 점수는 이렇게 계산됩니다. 행복하다에 1점, 모르겠다에 1/2점, 행복하지 않다에 0점으로 계산한다면, 점수를 합산하면 (17*0+24*0.5+59*1)로 평균 만족도 점수는 71%입니다.
Tip
제발, 제발, 제발, 기본 기술 통계로 정교하게 신뢰구간*을 파악하십시오. 그러면 점수에 대해 더 정확한 설명을 얻을 수 있습니다.
*신뢰구간 파악하기 https://measuringu.com/ci-five-steps/
>> 신뢰구간 공식
4. 7일 활성 사용자 (7-day active)
일정 기간(보통 1일, 7일 또는 30일) 동안 (사용 기회가 있었던 모든 사용자 중에서) 특정 기능을 사용한 사용자의 비중. 이렇게 하면 "1-day activie (1일 활성)" 사용자는 마지막 날에 기능을 사용한 사용자이며, "7-day active (7일 활성)" 사용자는 지난 7일간 해당 기능을 사용해본 사용자를 뜻 합니다. 어떤 조직에서는 이 메트릭을 L7이라고 쓰기도 하는데 이건 Last 7 days의 줄임말입니다.
5. 사용자 당 행동 수 (# of action per user)
사용자가 서비스나 제품에서 주요 행동을 진행한 평균 숫자입니다. 예를 들어 이렇게 표현될 수 있습니다.
"사용자가 지난주 평균적으로 부동산 중개인과 3.2회 회의를 예약했습니다."
"각 사용자는 지난 달에 평균적으로 5.8개의 다른 제품을 주문했습니다."
"사용자는 지난 달에 평균적으로 앱을 실행하여 67.5마일을 달렸습니다."
6. 사용자 당 행동 사이 소요 시간 (time between action per user)
특정 주요 기능 또는 서비스에 대해서 사용자가 방문했거나 또는 사용하는 동안 경과한 시간을 의미합니다. 궁극적으로 그 시간을 줄이는 것이 목표이며, 사용자 당 방문의 평균 간격이 줄어들 때 이 기능이 사용자에게 더 실질적인 가치를 제공할 것이라고 가정합니다. 예: "사용자 당 거래의 평균 시간 간격을 지난 분기에 5.1에서 4.3으로 줄였습니다."
7. 채택률 (Adoption Rate)
어떤 기능의 신규 사용자 비중입니다. 채택률 계산의 공식은 다음과 같습니다.
채택률 = 신규 사용자 수 / 총 사용자 수
예를 들어, 총 1,000명의 사용자가 있고 그 중 250명이 신규인 경우 채택률은 25%입니다. 채택률은 항상 특정 기간 안에 계산되어야 합니다. 예를 들어 7월의 채택률을 계산하는 경우 7월 1일에서 31일 사이의 어느 날 처음으로 기능을 사용한 총 사용자 수를 의미합니다. 그런 다음 이 숫자를 총 사용자 수로 나눕니다.
8. 첫 번째 행동까지의 시간 (time to 1st action)
신규 사용자가 원래 있던 기능을 시도하거나 기존 사용자가 새로운 해보는데 드는 평균 시간, 또는 기존 사용자가 새로운 기능을 처음으로 시도해보는데 드는 평균 시간을 의미합니다. 이 시간은 기능이 주는 가치를 이해하고, 그 기능의 이름과 그것이 주는 약속에 호기심이 생기며, 그 기능을 매력적으로 보이게 하는 맥락이 모두 연관된 지수입니다. 예를 들면 이렇습니다.
사용자가 홈페이지를 들어간 시점부터 탐색하던 제품을 처음 클릭하기까지 걸린 시간은 4.7초입니다.
체크인 이후부터 호텔 컨시어지 서비스를 처음 사용하기까지 걸린 시간은 16.5 시간입니다.
회원 가입을 한 이후부터 쇼핑몰에서 첫 거래까지 걸리는 시간은 21일입니다.
제품이나 서비스에 대한 주요 행동을 먼저 정의하는 것이 좋습니다. 그리고 모든 작은 행동을 다 측정하려고 하지 않는 것이 좋습니다.
9. 그 행동을 처음 해 본 사용자의 비중 (% users who performed action for the 1st time)
첫 번째의 경험을 조사하는 살짝 다른 방식인데요. 주어진 기간 동안에 처음으로 당신이 신경쓰는 어떤 행동을 수행한 사용자의 비율입니다. 예를 들어, "사용자의 86%가 7월에 모바일 앱을 통해 최소 3개의 제품을 구매했습니다."
10. 리텐션 비중* (retention rate)
시간이 경과하면서 사용자가 유지되고 있는지에 대한 비중입니다. 리텐션 비중을 계산하려면 두 가지 숫자를 확인해야 합니다.
시작점의 사용자 숫자
종료 시점에 제품을 사용하고 있는 사용자 숫자
유지율은 시작점 사용자 숫자를 종료시점 사용자 숫자로 나눕니다. 예를 들어, 7월 1일에 100명의 사용자가 있었고 8월 1일까지 해당 사용자 중 94명이 제품과 기능을 계속 사용 했다면 유지율은 94%입니다. 이 예에서 서비스의 이탈률은 6%입니다. (이 숫자는 더 이상 제품과 함께 하지 않고 있는 사용자 6명의 누수량입니다) 명확히 이야기하자면, 7월 1일부터 31일까지의 기간 동안 12명의 신규 사용자가 제품을 사용하기 시작했다면, 7월의 리텐션에서 이 숫자는 제외시켜야 합니다.
*리텐션: 얼마나 많은 사용자가 다시 제품을 사용하는지, 고객이 유지되는 비율을 의미
11. 업그레이드 비중 (upgrade rate)
때로 제품이나 기능 또는 구독에 하이엔드부터 로우엔드까지의 계층이 생길 때가 있습니다. 중요한 리텐션 지수 중 하나가 사용자가 그 기능을 (사용하던 것보다) 더 높은 단계로 업그레이드를 선택할 때 입니다. 업그레이드 비중을 계산하려면 주어진 기간에 업그레이드 한 사용자를 총 사용자 수로 나눕니다. 예를 들어 7월 한달간 12명의 사용자가 1번 티어에서 2번 티어를 구독하는 것으로 업그레이드 했고, 7월 31일까지 총 사용자가 두 티어 모두 100명이라고 가정하면, 7월의 업그레이드 비중은 12%입니다.
12. 이탈 소요 시간 (time to churn)
리텐션을 조사하는 또 다른 가능한 방법이 제품, 기능 또는 서비스의 사용자가 떠나거나, 이탈하거나, 다운그레이딩 하는 사이에 경과한 평균 시간을 추적하는 것입니다. 궁극적인 목표는 이 시간을 늘리는 것이며, 그럴 때 이 기능은 여전히 사용자에게 가치가 있을 것이라 가정합니다. 예: "지난 1년간 우리는 이탈 소요 시간을 평균 65일에서 88일로 늘렸습니다."
13. 작업 성공률 (task success rate)
사용자가 제품을 사용해서 (원래 하려고 했던) 일을 성공적으로 완수 했는지에 대한 수준입니다. 일을 완수하지 못하면 0%, 성공하면 100%, 부분적인 성공을 평가할 수 있습니다. 작업 성공률은 주어진 기간 동안에 모든 사용자의 작업 평균으로 계산됩니다. 예를 들어 작업 A, B, C에 대한 성공을 측정하는데 각 비중이 70%, 80%, 100%라면 전체 작업 성공률은 83% ((70+80+100)/3) 입니다.
14. 작업 소요 시간 (time-one-task)
사용자가 작업을 시작하는 순간부터 완수할 때까지 걸리는 평균 시간입니다. 간단해 보여도 시간의 측정은 복잡합니다. 사용자가 너무 많은 노력을 기울이는지, 사용자가 작업을 다 완수하지 못했을 때의 시간 측정, 시간 데이터의 정규화 등 일반적인 함정을 인식하고 개선하고 있는지 확인하십시오. Jeff Sauro이 쓴 작업 소요시간을 측정하는 짧고 유용한 아티클을 참고하세요. https://measuringu.com/tag/task-time/
15. 경로 놓침(lostness)
경로를 놓치는 것의 측정은 디지털 제품을 사용하는데 있어 효율성을 측정하는 것입니다. 사람들이 제품을 사용할 때 얼마나 길을 잃었는지를 알려줍니다. Lostness 점수는 0에서 1의 범위인데, 높은 점수일 수록 사람들은 길을 잃고 필요한 것을 찾는데 어려워하는 것을 의미합니다. 낮은 점수는 사람들이 원하는 것을 비교적 쉽게 찾을 수 있음을 의미하죠. Lostness는 사용자가 작업을 완료하는데 걸리는 최적의 스텝을 계산합니다.
*Lostness 측정하기
https://artplusmarketing.com/the-complete-guide-to-measuring-lostness-c890cc71fe05
16. 포기율 (abandonment rate)
사용자가 작업을 완료하기 전에 포기하고 떠난 사용자의 비중입니다.
중요한건!! 여기에서는 분석을 통해 신뢰할 수 있는 수치를 얻기 힘듭니다. 방문한 고객의 동기가 무엇인지 모르면 특정 경로나 프로세스를 포기했다고 가정하기 어려울 수 있습니다. 안정적으로 이 수치를 얻을 수 있는 방법은 User Zoom과 같이 통제 가능한 환경에서 사용자에게 완료할 작업을 제공하는 것입니다.
https://www.userzoom.com/
보너스 경험 지표, 팀 공감 점수 (team empathy score)
지난 2주간 제품 또는 프로토타입을 사용하는 한 명 이상의 사용자를 관찰하거나 인터뷰한 팀원 비중입니다. 2주에 한 번 팀 구성원에게 "지난 2주 동안 제품을 사용하는 사용자를 관찰하거나 인터뷰한 적이 있습니까?"라는 간단한 질문을 합니다. 예/아니오의 두 가지 옵션이 있으며 공감점수는 예라고 답한 팀원의 비율입니다.
결론
경험 측정을 시작하세요. 지금!
방법에 연연해하지 마세요.
다양한 타겟 고객을 그루핑해서 정교하게 고객의 필요를 분석하면서 그 데이터를 통해 다양한 시각을 만들어나가는 것이 중요합니다.
그냥 하세요 (Just Do It), 바로 거기서 시작하시면 됩니다. (Start There)
당신은 당신의 audience가 누구인지 훨씬 더 많이 알게 될 것이고, (잘 알게 되면) 그 audience의 바늘이 (어디론가) 급격히 움직일때 바로 거기에 반응할 수 있을 겁니다.
<유니온B가 주목한 포인트>
- 정량적인 수치(quantitative numbers)는 정성적인 인사이트(qualitative insight)와 반드시 보완해서 보아야 합니다. 사람들은 한 번에 의사 결정이 쉽도록 의미가 함축된 숫자들을 원하지만, 함축될 수록 정보의 다양성이 상실되므로 둘 모두를 살펴보는 것이 좋습니다.
- 재미있는 지표로 작업 성공률이 소개되었는데요. 고객은 우리 서비스를 통해 어떤 과업을 이루고 싶어합니다. 그 수행하려던 과업이 이 제품을 통해 완성되었는가는 주관적으로 만족했는가에 대한 평가와 분명 다릅니다. 그 제품 자체가 고객에게 쓸모가 있었는지를 평가하는 작업 성공률은 Jobs-to-be-done 이론과 같이 연결해 생각해보면 어떨까요?
- 위 16번에서 소개한 포기율은 우리 서비스로 작업을 이루지 못하고 포기한 비중입니다. 작업 성공률과는 반대의 개념이죠. 일반적인 상황에서는 얻기 어려운 수치들은 환경의 설계가 중요합니다. 이벤트를 걸어서 특정 작업까지 완료하는데 걸린 시간과 경로를 분석하고 아웃라이어를 선별해 인터뷰를 해보면 어떨까 생각해봅니다.
