지표 두 번, 세 번 드릴다운하기
지표를 움직이기 전에 먼저 했던 일
지난 반 년 동안 제가 담당했던 스쿼드는, “상담 신청 비율을 줄이고, 바로 결제를 늘리자”는 OKR이었습니다. 지표 자체는 명확해 보였지만 막상 그 수치를 줄이기 위해서 액션을 설계하려고 하니, 무엇을 줄여야 하는지 애매했어요. 그래서 핵심 지표를 먼저 쪼개어보기로 했습니다.
'의도'를 중심으로, 1차 지표 드릴다운 하기
‘상담 신청’이라는 하나의 행동을 데이터로 보면, 단일한 숫자처럼 보입니다. 하지만 실제로는 사용자가 이 버튼을 누르는 이유가 다양해요. 실제로 저희 서비스에서는 상담을 신청한 사용자 중 절반 이상이 ‘문의사항 없음’을 선택한 상황이었습니다.
“문의가 없는데 왜 상담을 신청했을까?”
이 질문이 지표 드릴다운의 출발점이었습니다.
많은 분석이 행동 기반 (이탈 위치, 클릭률 등)으로 이뤄지지만, 이 문제에서는 단순히 행동을 나누는 것보다 행동의 '의도'를 기준으로 사용자 그룹을 재정의하는 게 더 유의미했어요. 따라서 아래와 같이 나눴습니다.
이렇게 나누고 보니, 같은 행동(상담 신청)이라도 전략은 전혀 다르게 설계돼야 한다는 생각이 들었어요.
그리고 솔직히 그 당시에는 1번 그룹이 더 중요하다고 판단했어요. ‘상담할 게 있는 사람’을 제품 내에서 해결하게 하면 전환 흐름도 더 깔끔해지고, 상담 비율을 낮추는 더욱 직접적인 방법이라고 생각했기 때문이에요.
1차 실험: 1번 그룹을 위한 '전달 수단' 만들어주기
1번 그룹은 실제로 궁금한 것이 있거나, 뭔가 요청할 것이 있는 사용자에요. 이들은 굳이 전화로 상담하지 않아도, 어딘가에 내용을 남길 수 있다면 상담을 생략할 수 있는 사용자였습니다. 그래서 저희는 ‘요청사항’ 입력 필드를 만들어 노출했습니다.
이 필드는 단순한 정보 입력란이 아니라, “상담 대신 요구사항 여기에 모두 적으세요”와 같은 메시지 전달 장치였습니다. 이 실험 이후에 상담 신청률은 감소했고, 정량적으로는 약간 개선되었지만, 여전히 상담신청 비율은 높았서 의아했어요.
1차 실험 이후, 2차 지표 드릴다운
요청사항 필드를 넣었음에도 상담이 줄지 않는 이유가 궁금했습니다.
그래서 이번에는 사용자의 행동을 요청사항 입력 여부 + 상담 신청 여부로 다시 나눠보았습니다.
C그룹은 요청사항만 입력하고 상담은 신청하지 않은, 말 그대로 이상적인 사용자였습니다. 반면 D그룹은 아무것도 입력하지도, 상담도 신청하지 않은 사용자로, 정말로 상담이 필요 없는, 저희의 타겟은 아니었습니다.
그런데 A그룹과 B그룹의 비중이 예상보다 높았습니다.
A그룹: 요청사항을 입력했음에도 상담을 신청한 사용자
→ “내용을 이미 작성했는데, 왜 굳이 상담까지 눌렀을까?”
B그룹: 요청사항을 입력하지 않고도 상담을 신청한 사용자
→ “요청사항을 입력할 수 있었는데, 왜 바로 상담을 눌렀을까?”
이 시점에서 해결 타겟에 대한 판단이 바뀌었습니다.
1차 드릴다운 당시엔 실제 상담이 필요한 사용자(1번 그룹)가 핵심이라고 판단했고, 그래서 ‘요청사항 필드’라는 해결책을 중심으로 전략을 설계했습니다.
하지만 실험 이후 데이터를 다시 나눠보니, 요청사항 필드가 있음에도 불구하고 A그룹과 B그룹은 여전히 상담을 신청하고 있었습니다. 이 결과는 단순히 전달 수단이 없어서 상담을 눌렀던 게 아닐 수 있다는 가설을 강화해주었고, 따라서 이후 전략에선 '정보 입력 수단 제공'만으로는 부족하다고 판단했습니다.
즉, '심리적 불안감'을 해소시켜 주기 위한 전략도 우선순위를 높여 진행해야겠다는 판단을 했어요.
특히 B그룹은, 1차 드릴다운에서 정의했던 ‘문의사항 없음인데 상담 신청한 사용자’(2번 그룹)과
행동 패턴이 거의 일치했고, A그룹 또한 일부는 유사한 맥락일 수 있다고 판단했습니다.
결국, 처음에 간과했던 2번 그룹 (심리적 요인)이 실제로는 더 근본적인 전환 저해 요인이었고, 이에 따라 해결 전략도 정보 제공 → 심리적 확신 설계로 무게 중심을 옮기게 되었습니다.
2차 실험: 심리적 불안감 낮춰주기
다시 운영자 인터뷰와 상담 신청으로 인입된 채널톡 VoC 데이터를 확인했는데요. 많은 사용자가 이렇게 이야기했습니다.
“처음이라 잘 몰라서 상담을 눌렀어요.”
“혹시 입력을 잘못했을까봐요.”
"저 이렇게 신청했는데 요금 더 안 나오겠죠?"
이들은 뭔가를 묻고 싶은 게 아니라, 그냥 ‘괜찮은지 확인받고 싶었던 사용자’였습니다.
결국 상담을 신청한 이유는 정보 부족이 아니라 ‘확신 부족’, 즉 심리적인 불안감이라는 가설이 더욱 명확해졌습니다.
그래서 이번엔 상담을 유도하기보단, 안심을 유도하는 설계가 필요하다고 판단했고, 이를 팀원들과 아이데이션해본 결과 “오더폼을 모두 작성한 후, 확인용 체크리스트를 보여주자”는 전략으로 실험을 수정했습니다.
이 체크리스트는 단순한 안내가 아닌, “지금 입력한 내용이면 상담 없이도 충분합니다" 라는 확신을 주는 피드백 장치였습니다.
실험 결과 상담 신청 대신 바로 결제 비율이 많이 늘어난 결과를 얻을 수 있었어요.
마무리하며
이번 프로젝트를 통해 저는 처음엔 ‘실제로 상담이 필요한 사용자’를 줄이는 것이 핵심이라고 생각했어요.
그래서 요청사항 입력 필드를 도입했고, 그에 맞는 전략을 설계하며 문제를 해결하고자 했습니다.
하지만 실험 이후 데이터를 다시 쪼개보면서, 요청사항 필드가 있음에도 상담을 신청하는 사용자들의 비율이 여전히 높다는 점을 발견했고, 그제야 상담 신청의 본질이 ‘정보 부족’이 아닌, ‘심리적 불안감’일 수 있다는 가능성을 진지하게 바라보게 되었습니다.
그리고 이 판단이 가능했던 건, 바로 1차 실험이 있었기 때문이었습니다. 실험을 통해 행동 조건이 달라졌고,
그 덕분에 사용자 행동을 더 명확히 분리하고, 문제를 다시 정의할 수 있는 근거가 생겼습니다. 만약 실험이 없었다면, 단순히 수치만 보며 반복적인 가설만 세우고 있었을지도 모릅니다.
이 경험을 통해 다음을 배웠습니다:
같은 행동도 그 안에 여러 의도와 감정이 섞여 있을 수 있다
지표를 한 번 더 쪼개보는 것만으로도 문제의 정의와 전략이 달라질 수 있다.
그리고 결국은 이를 위한 '빠른 가설을 위한 실험' 이터레이션 과정이 필수적이다.
오늘 글은 여기까지입니다!
