힙데비 챌린지, 쿠팡이츠(1)
A/B 테스트를 설계해 보자
개요
케이스 노트(배경)
쿠팡이츠는 '맛있는 음식을 빠르고 편리하게' 라는 슬로건을 가지고, 언제 어디서나 원하는 음식을 빠르게 즐길 수 있는 고객 경험을 제공하고 있습니다. 사용자들이 더욱 만족할 수 있는 경험을 제공하기 위해 쿠팡이츠 PO인 데비는 홈 화면의 검색 UX를 변경할지 고민하고 있습니다.
기존 홈 화면의 검색 기능은 우측 상단에 검색 아이콘이 제공되는 형태이며, 검토 중인 UX는 상단에 검색바를 제공하는 형태로 검색 기능을 이용할 수 있게 하였습니다. 더 좋은 고객 경험을 제공하는 UX를 선정하기 위해, A/B 테스트를 통해 데이터를 확인하고 의사결정을 하는 것으로 팀원들과 논의하였습니다.
이번 과제를 통해 내가 얻은 것 (Lessons Learned)
UI 디자인과 마찬가지로 테스트 환경과 조건을 설계하기 위해 선행되어야 하는 것의 중요성.
(논리적으로 정확한 테스트를 설계하고 수행했다한들, 개선과 관련없는 테스트였다면? 생각만 해도 아찔하다..)
단순하게만 보였던 개선 이면에 여러 이해관계자들의 치열한 고민과 검증 절차가 있었다는 것.
개선 과정에 있어서 A/B 테스트가 필요한 이유.
Q. A/B 테스트 의사결정을 위해 어떤 지표를 확인할 것인가?
기존안(A), 개선안(B)
A/B 테스트 기본 설정
홈에서 결제까지의 사용자 퍼널1. 과제 노트에 대한 생각의 흐름
사용자에게 더 좋은 경험을 제공한다 → 쿠팡이츠의 더 좋은 사용자 경험이란 무엇일까? 쿠팡이츠는 사용자에게 어떤 가치를 제공하는가? → 가치를 제공하기 위해서 무엇을 개선해야 할까? → 개선안의 효과를 어떻게 검증할 수 있을까?
쿠팡이츠가 사용자에게 제공하는 좋은 경험 혹은 가치는 무엇인가?
내가 원하는 음식을 찾아 / 시공간의 제약없이 주문할 수 있다.
내가 원하는 음식을 찾아 → 탐색 기능
시공간 제약없이 주문할 수 있다 → 주문 기능
가치를 제공하기 위해서 무엇을 개선해야 할까?
정성/정량적 데이터를 통해 사용자의 Pain point를 정의하고, 이를 해결할 수 있는 솔루션을 도출한다.
개선안의 효과를 어떻게 검증할 수 있을까?
개선을 통해 얻고자 하는 결과 값을 정의해, A/B 테스트를 진행한다.
2. 생각 정리
가정 정의
사용자들은 원하는 음식을 찾기 위해 메뉴, 음식점 탐색 활동을 거칠 것이다. 따라서 사용자들의 검색 기능 이용 여부, 이용 빈도는 주문완료 전환율과 관련이 있을 것이다.
정성적 데이터: CS, 리뷰, 유저 인터뷰 등의 VOC.
정량적 데이터: 검색 기능과 주문완료 전환율의 상관관계를 파악할 수 있는 사용자 데이터.
(검색 기능을 이용한 사용자 vs 이용하지 않은 사용자의 주문완료 전환율 차이)
Pain point 정의
홈 화면 내 검색 버튼의 시각적 우선순위가 낮아 사용자가 해당 기능을 인지하기 어려울 것이다. 따라서 효과적인 탐색 활동이 어려워 주문완료 전환에 실패할 것이다.
시각적 우선순위가 낮다고 생각한 이유: 상단바 우측에 주로 검색 버튼이 위치하는 것은 익숙한 UX지만, T자형으로 시선이 이동하면서 더 화려하고 움직이는 이미지에 시선을 뺏길 것이다.
가설 정의
홈 화면 내 검색 기능의 우선순위를 높여 고객이 쉽게 인지할 수 있게 된다면, 탐색에 소요되는 시간 감소 → 원하는 음식 빠르게 찾음 → 주문완료 전환율이 증가할 것이다.
홈 화면 접속 시 검색 기능을 쉽게 인지할 수 있게 된다면, 검색 모드 진입율이 증가할 것이다.
검색 기능을 사용한다면 빠르고 편리하게 원하는 음식을 찾을 수 있을 것이다.
탐색하는 시간이 줄어든다면 주문완료 전환율이 증가할 것이다.
위 경험을 통해 서비스에 대한 긍정적인 경험을 겪은 유저는 리텐션율이 증가할 것이다.
개선안 정의
홈 화면 상단에 어포던스를 유도할 수 있는 Placeholder와 함께 검색 Input field를 배치한다.
3. A/B 테스트 설계
테스트 내용
테스트 기간동안 기존안이 적용된 A 집단과 개선안이 적용된 B 집단의 목표 지표 값을 비교한다.
테스트 집단 기준
A 집단: 기존안
B 집단: 개선안
테스트를 통해 증가시키고자 하는 목표 지표
검색 진입율 = 검색 모드에 진입한 수/홈 화면 진입 수
→ 개선 방안이 검색 기능 인지에 도움이 됐는지 판단하기 위함.
검색에 진입한 사용자의 주문완료 전환율 = 주문을 완료한 수/검색 모드에 진입한 수
→ 개선 방안으로 문제(원하는 음식을 찾지 못해 이탈)가 해결되고 있는지 판단하기 위함.
검색에 진입 후 주문완료로 전환된 사용자들의 리텐션율 변화
→ 개선 방안이 궁극적으로 전달하고자 하는 사용자 경험(원하는 음식을 빠르게 찾는다)을 개선시켰는지 판단하기 위함.
→ 개선 방안이 사용자 경험에 긍정적인 영향을 제공했다면, 서비스 이용 빈도가 증가할 것이라 생각했음!
검색을 이용한 사용자의 주문완료 전환까지 소요된 시간 변화
→ 검색 기능을 인지하고 이용한 사용자가 빠른 탐색을 통해 니즈 충족을 이루었는지 판단하기 위함.
테스트가 결과 평가 지표 (테스트 진행 전 2주 기간 대비)
검색 진입율 증가
검색에 진입한 사용자의 주문완료 전환율 증가
검색에 진입 후 주문완료로 전환된 사용자들의 리텐션율 증가
