할인율 실험을 고민하고 설계했던 과정
할인율 실험. 굳이 해야하나?
저희 제품에는 할인이 적용되는 카테고리가 1개가 있습니다. 이전 문서에서 적었던 것처럼 '짐이 작은 카테고리'인데요. 그 당시 할인을 10%로 적용하고 UI/UX에 표시했을 때 전환율이 상승했던 결과를 봤습니다. 할인율을 10%로 적용했던 것은 큰 이유는 없었습니다. 그냥 직관적인 숫자고, 5%는 작고, 15%는 많으니까?
전환율이 상승했던 것도 너무나도 당연한 결과라고 생각했죠. 더 저렴한 가격을 제시했으므로, 그렇지 않은 경우보다 구매 전환율이 상승하는 것은 당연하니까요.
그렇게 방치(?)한 채 6개월이 흐르고, 할인율 실험에 대한 이슈를 직접 다시 꺼냈습니다. 이슈를 꺼냈던 이유는 리서치를 하다가 '카니발 효과'에 대해서 처음 접했을 때였어요. 오늘은 카니발 효과에 대한 내용과 함께 제가 어떤 생각으로 할인율 실험에 대한 문제를 정의하고, 어떤 방식으로 실험을 설계했는지 기록할게요.
1. 할인은 가격 차별화 전략이며 카니발 효과가 최소화가 되어야 한다.
기본적으로 저희 제품에서 할인은 '카테고리별 가격 차별화 전략' 입니다. 원래는 카테고리별로 다른 가격 체계를 사용하지 않았는데요. C 카테고리에 들어온 유저들은 A/B 카테고리에 비해서 구매할 니즈가 낮다고 판단하여 10% 할인 정책을 적용했었습니다. 이를 통해서 C 카테고리 유저들의 구매 가능성을 높이고, 총 매출을 더 키울 수 있다고 판단했던 거죠.
그런데 여기서 제가 간과했던 사실은 바로 카니발 효과가 일어날 수도 있다는 것입니다. 카니발 효과란 정가에 구매할 유저들에게 굳이 할인 기회가 제공되어, 할인가로 구매되는 현상을 카니발라이제이션이라고 합니다.
위의 예시를 보시면, 해당 사용자는 원래 A 카테고리로 구매를 하려고 유입한 사용자입니다. 하지만 C 카테고리가 할인됐다는 것을 인지만 했다면, A 카테고리보다 C 카테고리에 유입될 확률이 커집니다. 이럴 경우 가격 차별화 전략으로 인한 매출 상승보다는, 잘못된 카니발 효과로 인한 매출 하락이 일어날 수도 있습니다.
2. UI/UX로 카니발 효과를 간단하게라도 방지하는 방법
운영팀에서, C 카테고리 (짐이 작은 카테고리)에 해당하지 않은 유저들이 C 카테고리에 유입된다는 VoC를 여러 건 주셨습니다. 따라서 문제를 얼른 해결하기 위해서 아주 간단하게 UI/UX로 먼저 접근했습니다. 사실 완벽하게 방지하는 방법은 아니지만, 빠른 방법이 필요해서 설계했던 것들입니다.
첫 번째, C 카테고리의 할인 사실을 숨긴다. 약간 중간 단계인 퍼널에서 할인 사실을 인지시킴.
두 번째, C 카테고리에 들어온 사용자한테 마지막으로 한 번 더 C 카테고리에 해당하는지 묻는다. (ex. 짐이 정말로 적으신가요?)
특히 두 번째 방법을 통해서, 결제 전환율은 약 20% 정도 상승시키면서 C 카테고리에서 다른 카테고리로 변경시키는 비율을 28%나 기록할 수 있었습니다. (카니발 효과를 약간 방지할 수 있었음.)
그렇지만 이 방법이 완벽하게 방지하는 방법은 아니라고 생각했어요. 카니발 효과를 줄인 것이지, 완벽히 없앤 건 아니었기 때문이에요. 따라서 카니발 효과가 있을 때도 최적의 수익과 전환율을 이끌어내는 할인 실험을 다시 설계해봤습니다.
3. 카니발 효과를 고려한 (최종) 할인율 실험 재설계
다시 정리하자면, 할인율을 0%, 5%, 10%, 15%로 구성한 실험이었어요.
가설은 크게 3가지였습니다.
가설 1. 할인율에 따라 A/B 카테고리 사용자가 C 카테고리로 넘어가는 비율이 다를 수도 있다.
가설 2-1. 할인율이 10%보다 작다면, 카니발 현상이 줄어들어서 총 수익이 증가할 수 있다.
가설 2-2. 할인율이 10%보다 작다면, C 카테고리의 전환율이 줄어들어서 총 수익이 감소할 수 있다.
가설 3-1. 할인율이 10%보다 크다면, 카니발 현상이 늘어나서 총 수익이 증가할 수 있다.
가설 3-2. 할인율이 10%보다 크다면, C 카테고리의 전환율이 증가하여서 총 수익이 감소할 수 있다.
"할인율에 따라서 카니발과 전환율이 총 수익에 미치는 영향력이 다를 것이다"라는 것을 기본 전제하에 위의 가설들을 생성했습니다.
만약에 전환율 상승분보다 카니발 효과가 크다면 총 수익이 줄어들 것이고요. 반대로 전환율 하락분보다 카니발 효과가 작으면 총 수익이 증가할 것입니다.
아래는 실험 총 로드맵입니다.
크게 할인율에 따른 1) 카테고리 구성 비율 확인 2) 카테고리별 구매 전환율 3) 구매수익, 이 세가지 데이터를 획득하기 위해 믹스패널의 이벤트와 property를 세팅하였습니다.
다른 UI/UX 실험보다 까다로웠던 점을 회고하면요. 측정해야 하는 값들이 많았기 때문에, 어느 시점에서 property를 세팅해야하는지? 그리고 서버는 클라이언트한테 값을 언제 어떻게 전달할지? 또한 크로스 플랫폼 실험이었기 때문에 저희 제품의 전채널이 동시에 릴리즈 되어야 하고, user_id별로 항상 동일한 값을 세팅해줘야 하는 것을 계속 신경쓰면서 봤어요.
(중간에 세팅이 잘못돼서 10% 할인율을 봤던 사용자가, 왜 0%가 되었냐고 직접 저희 제품에 문의했던 적도 있습니다.... 멘붕이었던 경험이었어요.)
현재도 진행 중인 실험인데요. 사실 어떠한 결과가 나오든, 의미있는 결과가 될 것 같아서 매일 매일 모니터링 하면서 진행하고 있습니다.
결과가 나오게 된다면 또 후속글을 쓰겠습니다. 이상입니다.
