동일한 할인 폭, 다른 결과
할인 실험에서 중요한 또 다른 변수들
#1. 서로 다른 정가 (Regular Price)
일전에 iOS 에서는 가격 할인 실험으로 무려 40%의 신규 구독 매출 증진을 보인 바 있었다. 당시 여러 배움들이 있었는데 관련해서는 [할인은 제공하면 무조건 이득이다? - 앱 구독 최적의 할인 전략 찾기]을 참고 바란다. 당시의 배움을 발판 삼아 Android 에는 실험군1,2를 제외하고 실험군3 (월구독 30% 할인)으로 호기롭게 실험을 진행했다. 동일한 유저군을 타겟했고, 동일한 할인율을 제공했다. 그런데 실험 결과는 사뭇 달랐다.
99% 통계적 유의성으로, 17.85% 개선폭을 일궈낸 실험실험군이 통계적 유의성 99%로 이겼다는 점에서는 동일했지만, 개선폭이 달랐다. iOS 는 40% 였지만, Android 는 18%였다. 두 OS 가 제품적으로도 제공되는 기능들이 조금 다르기 때문일 수도 있겠지만, 가장 큰 변수로는 기존 가격의 차이를 꼽았다.
iOS 는 월구독 정가가 8,500원, An 는 월구독 정가가 5,900원이었다. Android는 상대적으로 이미 정가가 저렴했기 때문에 30% 할인 자체가 덜 매력적이었을 수도 있겠고, 할인되는 금액 크기 자체가 iOS 는 약 3,000원($3.0)처럼 보이는 반면 An 는 2,000원($1.5)처럼 보이는 것도 한 몫 했을 수 있겠다.
18%의 신규 구독 매출 개선도 충분히 값진 결과였지만, 할인율을 조금 다르게 하여 실험군을 여러개 구성했더라면 훨씬 더 큰 개선을 일궈냈을 것 같아 아쉬운 마음이 컸다. ‘할인의 출발 지점은 그 할인의 대상이 되는 정가다.’라는 점을 반드시 간과하지 않도록 해야겠다.
#2. 서로 다른 기회의 지속 시간
이전 iOS 실험은 1.4배의 매출을 일궈냈지만, 여전히 추가 개선의 기회가 보였었다. 할인 기회가 노출된 이후에도 ‘정가’로 구독한 유저 수가 꽤 많았던 부분이 바로 그것이었다. 당시 할인 기회는 일회성 노출로 제공되었고 해당 구매창을 닫으면 다시 기회가 주어지지 않았는데, 그 이후에 ‘정가’로 구독한 유저가 많았다는 것은 할인 기회를 너무 짧게 제공했던 것일 수도 있다는 것을 의미했다. (또는 할인 기회를 너무 이른 시점에 제공했다고 해석할 수도 있겠다. 이건 별도의 다른 가설로 실험을 진행할 예정이다.)
만약 일회성 노출이 아니라 특정 시간동안 재진입할 수 있는 엔트리를 제공한다면, 훨씬 더 많은 할인 구독 매출을 얻어낼 수 있지 않을까? 상식적으로는 무조건 더 오래 노출되면 매출 증진 측면에서 나쁠 것 없지 않을까 싶기도 한데, 잠재적 ‘정가 구독 유저’를 잃는다는 점에서 카니발을 염려해야 한다. 또한 일회성 노출이 어쩌면 더 간절함을 자극하여(’닫으면 사라지는 기회!’) 더 많은 할인 구독을 끌어냈던 것일 수도 있다는 점도 생각해야 한다. 그렇기 때문에 이번 가설 또한 ‘실험’의 형태로 진행했다.
이 때 여기서의 변수는 ‘얼마나 오랜 시간 그 엔트리를 노출시킬 것인가’ 였다. 즉, ‘유저에게 얼마나 고민할 시간을 줄 것인가’인 것인데, 24시간일 수도 있고 1시간일 수도 있고 10분일 수도 있다. 시행착오를 줄이기 위해 우리는 타사의 그로스 사례를 참고했고 그 결과 딱 ‘10분’의 고민 시간을 주기로 결정했다.
일회성 노출 대조군 vs 10분간 노출 실험군동일한 시점에 동일한 할인 구매화면이 노출되지만, 실험군의 경우 10분의 카운트 다운이 동작한다. 또한 실험군은 이 화면을 이탈해도 다시 진입할 수 있는 엔트리가 우측 상단에 존재한다.
결과는?
본 실험의 경우 10%의 추가 매출 개선이 발생했다. (통계적 유의성 99%) 아예 할인이 제공되지 않았던, 이전 할인 실험의 대조군과 비교하면 종합적으로 1.54 배의 개선폭이 된 셈이다.
여기서 개선폭 보다도 흥미로웠던 점은 실험군의 평균 할인 구매화면 노출 숫자였다. 대조군은 일회성 노출이었기 때문에 할인 구매화면 노출 평균 숫자가 '1회'였다. 10분간 할인 구매화면을 재방문할 수 있었던 실험군의 경우 평균 '2회'에 그쳤다. ‘2회’의 의미는, 첫 1회가 강제로 노출된다는 점을 감안하면 유저가 자발적으로 엔트리를 눌러 재진입한 횟수는 1회에 불과하다는 이야기이다.
데이터를 더 살펴보면 실제로 '끝내 구독을 한 유저'로 코호트를 설정했을 때 평균 방문 횟수는 2회보다 적고(1.7회), '끝내 구독을 하지 않은 유저' 코호트에서 평균 방문 횟수가 2회보다 컸다. ‘2회’라는 숫자도 낮은 방문 숫자이지만, 이마저도 '구독을 하지 않고 망설이기만 했던 유저군'에서 높인 숫자였던 것이다. 이는 실제로 '할인 구독을 한 유저'들은 어지간하면 처음 노출되었을 때 거의 진행을 한다는 것을 의미했다.
번외로, 국가에 따라 재방문 평균 횟수가 달랐던 점도 재밌었다.통계적으로 유의미한 10%의 매출 개선도 값진 결과이지만, ‘할인 기회를 오랜 시간 주는 것’은 그닥 임팩트가 큰 변수가 아니라는 것을 깨달은 것이 더 값졌다. 할인 관련해서는 그 기회를 '30분 더 주느냐, 24시간을 더 주느냐'는 크게 의미가 없을 것 같다. 오히려 할인 기회를 '제공하는 시점'을 달리하는 후속 실험을 진행해보는 것이 좋겠다.
가열차게 달려온 할인 실험들을 잠시 멈추고, 실로 오랜만에 정가 가격 테스트를 진행할 예정에 있다.
이로 인해 정가가 달라지게 된다면 할인 실험도 다시 처음부터 기획해야겠지만, '다시 처음부터 기획해야 한다는 사실을 인지하고 있다는 것'부터가 그간의 할인 실험들로부터 배운 소중한 레슨이 아니었을까 싶다.
그 외에도 자잘한 디테일에서의 배움이 가득했던 할인 실험 시리즈,
잠시만 안녕 !
