힙데비 챌린지, 쿠팡이츠(2)
의사결정이라는 것을 한번 해 보자
개요
지금까지 A/B 테스트를 약식으로나마 해 본 경험은 있는데, 생각해 보니까 결과에 대해 제대로 된 분석이나 의사결정을 내려본 적은 없었던 것 같다. 그런 의미에서 정말 중요한 과제라 생각됐다. (아예 무에서 시작했기 때문에 매주 이런식의 깨달음을 얻는 편..) 물론 나는 과제를 작성하는 과정을 통해 '아, 테스트 결과에 따른 의사결정을 해야 하는 구나! 의사결정 시 어떤 부분을 고려해야 하지? 어떤 기준으로?'에 대한 생각을 해 볼 수 있는 기회를 경험했다 정도. 과제 제출 후 다른 분들의 답변을 보면서 '이런식으로 사고하고 결정을 내리는구나..' 놀람의 연속이었다. 마치 대학생 때 비이커 편집숍에 처음 가보고 느꼈던 그런 느낌..?
이번 과제를 통해 내가 얻은 것 (Lessons Learned)
- A/B 테스트는 계획을 수립하고 진행하는 것에서 그치는 것이 아닌, 결과를 꼼꼼히 살피고 분석하는 것.
- A/B 테스트 결과 데이터를 엑셀로 정리한 경험.
- 의사결정 시 고려해야 하는 것에 대해 간접 경험: 성공/실패 지표 기준에 부합하는가, 유의미한 결과의 기준은 무엇인가(p-value).
- A/B 테스트를 여러 번 이터레이션할 수 밖에 없는 이유: 완벽한 성공과 실패는 없다! 테스트는 가설의 오차를 줄여나가는 과정이구나.
A/B 테스트 결과를 보고, 어떤 의사결정을 내릴 것인가?
자, A/B 테스트 결과 지표가 나왔습니다. 이제 다음 계획 수립이 필요한데요, 이번 케이스에서는 그 이후의 과정에 대해서 고민해보고 작성해 봅시다.
1. 기존안 대비 개선안 결과 검토
미숙하게나마 핵클에서 제공한 자료를 보고 엑셀로 정리해 봄궁극적인 목표인 '주문, 총 거래액(GMV)'에 유의미한 영향을 주었는가? NO
- 기존, 개선안 유저의 구매 전환율 1% 감소.
- 기존, 개선안 유저당 평균 구매 금액 추이 알 수 없음.
검색 기능이 유저에게 긍정적인 영향을 주었는가? 알 수 없음.
- 검색 > 검색 결과 > 음식점 페이지 진입율 12.5% 증가.
- 홈 > 음식점 페이지 진입율 5% 증가.
- 홈 > 주문 완료 전환율 1% 감소. (단, 검색/비검색 통합 결과)
UI 개선안이 검색 진입을 유도하는 데에 효과적이었는가? YES
- 검색 진입율 5% 증가.
2. 결론
- 검색 개선안은 '검색 진입 유도'에는 유의미한 영향을 주었다고 볼 수 있다.
- 검색 진입율 증가는 구매 전환율에 유의미한 영향을 주었다고 보기는 어렵다.
- 따라서 UI 개선안 적용을 보류한다.
- '검색 진입 후 이탈을 일으키는 원인을 파악할 수 있는 데이터'를 확인하고, 이탈을 막을 수 있는 개선안을 마련하여 A/B 테스트를 다시 진행한다.
- 1차 테스트 결과와 구매 전환율을 비교한다.
테스트 이후의 계획 수립을 위해 어떤 데이터를 확인할 것인가?
1. 확인하고 싶은 시나리오 정의
검색 진입율은 증가했으나 '음식점 > 메뉴/구매 전환율'이 감소한 것으로 보아, 검색 결과에서 이탈을 일으키는 원인이 있을 것이다.
지표 (1)
음식점/음식명 검색 > 선택 기준에 부합하는 음식점이 없을 경우
지표 (2)
음식점/음식명 검색 > 검색 결과가 없는 경우
2. 파악하고 싶은 지표 정의
음식점/음식명 검색 > 선택 기준에 부합하는 음식점이 없을 경우
검색 결과 리스트에서 보여지는 정보와 음식점 페이지에서 확인할 수 있는 상세한 정보가 상이함에 따라, 메뉴/구매 전환에 실패하고 이탈했을 것이다. (가설)
지표 (1)
주문 최소 금액 확인 여부: 어떻게 확인할 수 있을까?
지표 (2)
음식점 페이지 진입 수 대비 배달비 자세히 버튼 클릭율
지표 (3)
음식점 페이지 진입 수 대비 쿠폰 받기 버튼 클릭율
지표 (4)
음식점 페이지 진입 수 대비 리뷰 버튼 클릭율
'주문 최소 금액, 배달비 최소/최대 범위 적용 금액, 쿠폰 적용 최소 금액, 리뷰'는 검색 결과 리스트에서 확인할 수 없는 정보이다. 자세한 내용을 알기 위해서는 음식점 페이지로 진입해야 확인할 수 있다. 따라서 메뉴/구매 전환에 실패하고 이탈한 유저 중, 위 4개 정보 파악 여부를 확인해 이탈율과의 관계성을 파악한다.
음식점/음식명 검색 > 검색 결과가 없는 경우
검색 결과가 없거나, 대안을 제시받지 못한 사용자는 검색에 대한 부정적인 감정과 경험으로 이탈할 것이다. 이와 비슷한 경험을 여러 번 겪을 경우, 검색 기능을 사용하지 않고 홈 > 음식점 페이지로 진입하는 경험을 선호하게 될 것이다. (가설)
지표 (1)
검색 결과가 없을 때, 홈으로 이탈하는 비율
의문 (1)
검색 결과가 없을 때, 어떤 대안을 제시해 줄 수 있을까?
