brunch

라이킷 11 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 유진 Feb 16. 2022

힙데비 챌린지, 쿠팡이츠(2)

의사결정이라는 것을 한번 해 보자

개요

지금까지 A/B 테스트를 약식으로나마 해 본 경험은 있는데, 생각해 보니까 결과에 대해 제대로 된 분석이나 의사결정을 내려본 적은 없었던 것 같다. 그런 의미에서 정말 중요한 과제라 생각됐다. (아예 무에서 시작했기 때문에 매주 이런식의 깨달음을 얻는 편..) 물론 나는 과제를 작성하는 과정을 통해 '아, 테스트 결과에 따른 의사결정을 해야 하는 구나! 의사결정 시 어떤 부분을 고려해야 하지? 어떤 기준으로?'에 대한 생각을 해 볼 수 있는 기회를 경험했다 정도. 과제 제출 후 다른 분들의 답변을 보면서 '이런식으로 사고하고 결정을 내리는구나..' 놀람의 연속이었다. 마치 대학생 때 비이커 편집숍에 처음 가보고 느꼈던 그런 느낌..?

이번 과제를 통해 내가 얻은 것 (Lessons Learned)

- A/B 테스트는 계획을 수립하고 진행하는 것에서 그치는 것이 아닌, 결과를 꼼꼼히 살피고 분석하는 것.

- A/B 테스트 결과 데이터를 엑셀로 정리한 경험.

- 의사결정 시 고려해야 하는 것에 대해 간접 경험: 성공/실패 지표 기준에 부합하는가, 유의미한 결과의 기준은 무엇인가(p-value).

- A/B 테스트를 여러 번 이터레이션할 수 밖에 없는 이유: 완벽한 성공과 실패는 없다! 테스트는 가설의 오차를 줄여나가는 과정이구나.

A/B 테스트 결과를 보고, 어떤 의사결정을 내릴 것인가?

자, A/B 테스트 결과 지표가 나왔습니다. 이제 다음 계획 수립이 필요한데요, 이번 케이스에서는 그 이후의 과정에 대해서 고민해보고 작성해 봅시다.

1. 기존안 대비 개선안 결과 검토

미숙하게나마 핵클에서 제공한 자료를 보고 엑셀로 정리해 봄

궁극적인 목표인 '주문, 총 거래액(GMV)'에 유의미한 영향을 주었는가? NO

- 기존, 개선안 유저의 구매 전환율 1% 감소.

- 기존, 개선안 유저당 평균 구매 금액 추이 알 수 없음.

검색 기능이 유저에게 긍정적인 영향을 주었는가? 알 수 없음.

- 검색 > 검색 결과 > 음식점 페이지 진입율 12.5% 증가.

- 홈 > 음식점 페이지 진입율 5% 증가.

- 홈 > 주문 완료 전환율 1% 감소. (단, 검색/비검색 통합 결과)

UI 개선안이 검색 진입을 유도하는 데에 효과적이었는가? YES

- 검색 진입율 5% 증가.

2. 결론

- 검색 개선안은 '검색 진입 유도'에는 유의미한 영향을 주었다고 볼 수 있다.

- 검색 진입율 증가는 구매 전환율에 유의미한 영향을 주었다고 보기는 어렵다.

- 따라서 UI 개선안 적용을 보류한다.

- '검색 진입 후 이탈을 일으키는 원인을 파악할 수 있는 데이터'를 확인하고, 이탈을 막을 수 있는 개선안을 마련하여 A/B 테스트를 다시 진행한다.

- 1차 테스트 결과와 구매 전환율을 비교한다.

테스트 이후의 계획 수립을 위해 어떤 데이터를 확인할 것인가?

1. 확인하고 싶은 시나리오 정의

검색 진입율은 증가했으나 '음식점 > 메뉴/구매 전환율'이 감소한 것으로 보아, 검색 결과에서 이탈을 일으키는 원인이 있을 것이다.

지표 (1)

음식점/음식명 검색 > 선택 기준에 부합하는 음식점이 없을 경우

지표 (2)

음식점/음식명 검색 > 검색 결과가 없는 경우

2. 파악하고 싶은 지표 정의

음식점/음식명 검색 > 선택 기준에 부합하는 음식점이 없을 경우

검색 결과 리스트에서 보여지는 정보와 음식점 페이지에서 확인할 수 있는 상세한 정보가 상이함에 따라, 메뉴/구매 전환에 실패하고 이탈했을 것이다. (가설)

지표 (1)

주문 최소 금액 확인 여부: 어떻게 확인할 수 있을까?

지표 (2)

음식점 페이지 진입 수 대비 배달비 자세히 버튼 클릭율

지표 (3)

음식점 페이지 진입 수 대비 쿠폰 받기 버튼 클릭율

지표 (4)

음식점 페이지 진입 수 대비 리뷰 버튼 클릭율

'주문 최소 금액, 배달비 최소/최대 범위 적용 금액, 쿠폰 적용 최소 금액, 리뷰'는 검색 결과 리스트에서 확인할 수 없는 정보이다. 자세한 내용을 알기 위해서는 음식점 페이지로 진입해야 확인할 수 있다. 따라서 메뉴/구매 전환에 실패하고 이탈한 유저 중, 위 4개 정보 파악 여부를 확인해 이탈율과의 관계성을 파악한다.