웰컴백! 이탈자 리인게이지먼트 이벤트 A/B/C 테스트
이번 글에서는 번개장터의 Growth & Insight 팀이 주도적으로 추진하고 정례화 시킨 이탈자 리인게지먼트 이벤트 도입 사례에 대해 소개하겠다. 리인게인지먼트 마케팅이란 이탈자를 앱에 재유입시키기 위한 마케팅으로서, 통상적으로 일정 기간동안 서비스 접속이력이 없는 유저(=이탈자)에게 특정 기간 동안 서비스에 다시 접속하면 소정의 혜택을 제공하는 이벤트를 의미한다. 도입 시 여러 세부 사항의 결정을 도왔던 설문, 데이터 분석 등과 더불어 이벤트 스킴 등을 선정하기 위한 A/B/C 테스트, 정례화를 위한 추가 분석 사항들에 대해 중점적으로 다뤄보기로 하겠다.
혜택의 5대 핵심 구성 요소
먼저, 리인게이지먼트 이벤트의 혜택을 구성할 때는 다음의 5대 핵심요소를 고려해야 한다.
번개장터는 어떻게 혜택의 핵심 구성 요소를 선정하였나?
지급 대상:
최근 1개월간 vs. 3개월간 vs. 6개월간 앱 실행이력이 없는 유저 중 향후 6개월동안 앱실행이력이 없는 유저 (=완전이탈자) 비중과, 리인게이지먼트 이벤트의 타겟 모수 (이벤트 시작 시점 기준으로 최근 1개월간, 3개월간, 6개월간 앱실행이력이 없는 유저수)에 해당되는 모수의 Size를 보면서 의사결정했다.
1개월간 앱실행이력이 없는 유저의 경우, 타겟 모수는 많았으나 완전이탈자 비중이 상대적으로 적었고, 6개월간 앱실행이력이 없는 유저의 경우, 타겟 모수는 적었으나 완전이탈자 비중이 상대적으로 높았다. 3개월간 앱실행이력이 없는 유저의 경우, 상당수의 모수를 확보 가능한 동시에 완전이탈자 비중도 꽤나 높은 "밸런스 좋은" 옵션이었다. 따라서 3개월간 앱실행이력이 없는 유저를 리인게이지먼트 이벤트의 타겟 세그먼트로 선정하였다.
혜택의 종류 및 모수 선정 방식
번개장터가 지급할 수 있는 혜택의 종류는 크게 번개포인트(번개장터에서 현금처럼 사용할 수 있는 포인트)와 스타벅스 아메리카노 쿠폰이었다. 번개장터는 분기별로 고객 설문을 진행하고 있는데, 설문에서 최근 3개월간 접속이력이 없다고 응답한 유저 대상으로 다음의 질문을 하였다.
1. 번개포인트가 지급되면 번개장터 앱을 다시 사용하시겠습니까? 얼마의 포인트가 지급되면 앱을 다시 사용하시겠습니까?
2. 스타벅스 쿠폰을 추첨하여 지급했을 때 앱을 다시 사용하시겠습니까?
답변 관련한 구체적 수치를 공개할 수는 없으나, 우리는 서베이를 통해 다음과 같은 결론을 내렸다.
1. 스타벅스 쿠폰을 추첨으로 지급하면 앱을 다시 사용하겠다는 유저가 더 많았다. 즉, 비용을 고려하지 않는다면 스타벅스 쿠폰 추첨으로 진행하는 것이 번개포인트 지급 대비 재유치 유저수 극대화 측면에서 유리하다.
2. 서베이에서 응답받은 인당 지급해야 하는 번개포인트 비용이 기존 예상보다 높은 수준이었다. 번개포인트의 경우에는 실제 인당 비용은 소진율을 고려해서 계산해야 하고, 스타벅스 추첨의 경우의 인당 비용은 과연 이 이벤트를 통해 몇명이 돌아오느냐에 따라 천차만별로 달라질 수 있었기 때문에, 테스트 해보지 않고서는 제대로된 비용 비교를 해볼 수 없었다. 즉, 재유치 1인당 비용 기준으로는 어떤 혜택을 제공할지 의사결정할 수 없었다.
3. 그럼에도 불구하고, 1번, 2번 항목에 대한 여러 가정 하 계산을 진행해보았고, 스타벅스 쿠폰 지급으로 인한 재유입 유저수에 보수적인 수치를 적용해보았다. 계산 결과 및 서베이 결과를 기반으로 할 때 비용-대비 효율 및 최종적으로 돌아오리라 예상되는 유저수 측면에서 스타벅스 쿠폰 추첨이 우위인 것으로 결론내렸다.
혜택 지급방식 및 유효기간
스타벅스 쿠폰 지급에 대해서는 아예 할인 구매 등의 방식은 고려하지 않았다. 이탈자에게는 좀 더 명확하고, 직관적이고 간편한 혜택이 제공되어야 한다고 믿었다. 니즈가 없고 싫어서 떠난 앱인데, (할인된 가격 이지만) 구매까지 하라고 하여 재유치 확률을 감소시키고 싶지 않았다. 혜택 유효기간의 경우 계약한 쿠폰 지급 업체가 사용하는 유효기간을 그대로 준용하였다.
커뮤니케이션 채널
이탈자 리인게이지먼트를 위해 번개장터가 활용한 커뮤니케이션 채널의 경우, 크게 3가지로 구분 가능하다.
1. 앱 푸시
마케팅 수신동의자 및 앱 푸시 수신동의자에게 푸시를 전송했다. 단, 3개월 간 앱실행이력이 없으므로 앱을 삭제하여 푸시 수신 자체를 못할 가능성이 매우 높다고 추정하였고, 실제로 푸시 CTR (발송수 대비 클릭수)이 매우 저조했던 것으로 봤을 때 앱을 삭제한 유저가 절대 다수였을 것이다.
2. 카카오톡
카카오톡을 발송 가능한 모수에게는 카카오톡 발송을 우선적으로 진행했다.
3. MMS (문자)
카카오톡 발송이 불가능하면서 문자 수신 동의자인 경우, MMS를 발송하였다.
A/B/C 테스트
필자는 리인게이지먼트 이벤트 기획 초기에 "스타벅스 쿠폰을 100명 추첨 vs. 1,000명 추첨으로 커뮤니케이션 시 다시 앱으로 돌아오는 유저수가 다를까?"라는 질문을 가지고 있었다. 이러한 질문은 설문에서도 할 수 없었는데, 그 이유는 설문에서 해당 질문을 물어보면 당연히 1,000명 추첨을 하면 돌아오겠다라고 응답하는 비중이 높을 것이기 때문이다. 따라서, 이 부분은 실제 A/B/C 테스트를 통해 효과성을 파악하기로 했다.
A그룹: "스타벅스 100명 추첨"으로 커뮤니케이션
B그룹: "스타벅스 1,000명 추첨"으로 커뮤니케이션
C그룹: 비교군으로서 어떠한 커뮤니케이션도 진행하지 않음
A/B/C 테스트를 통해 답하고자 하는 질문은 두가지였다.
1. 이탈자 중 앱에 다시 돌아오는 유저 비중이 비교군 대비 A그룹과 B그룹이 유의미하게 높은가? 실제로 우리가 어떠한 개입을 하지 않더라도 다시 재방문하는 이탈자들이 있기 마련이므로, 온전한 이벤트 효과성을 측정하기 위해서는 C그룹에서 다시 재방문 하는 유저 비중 대비 우리가 혜택을 줬을 때 재방문 하는 유저 비중이 유의미하게 높아야 했다.
2. 100명 추첨 vs.1,000명 추첨의 절대 효율과 비용 대비 효율은 어떠한가? 어떤 스킴으로 향후 정례화 해야하는가?
A/B/C 테스트 분석 결과:
1. A/B/C 테스트 결과, 스타벅스 추첨을 커뮤니케이션한 A그룹 B그룹의 이탈자 재유입 비중이 아무 커뮤니케이션도 하지 않은 C그룹의 재유입 비중 대비 약 40% 높았고, p-value는 0.00001보다 낮았다. 즉, 우리가 준 혜택은 이탈자 재유입 차원에서 유의미한 추가적 효과를 창출하였다. (참고로 p-value는 샘플수가 많으면 많을수록 작아지므로 p-value를 해석할 때는 주의가 필요하다.)
2. 100명 추첨 vs. 1,000명 추첨의 효과성은 유의미한 차이를 보이지 않았다. 즉, 이탈자 리인게이지먼트 이벤트를 정례화해서 운영 시, 100명 추첨으로 진행하는 것이 비용 대비 효율 관점에서 유리하였다.
3. 커뮤니케이션 채널의 경우, 카카오톡의 비용 대비 효율이 MMS (문자) 대비 월등히 앞섰다.
2차 테스트 및 분석 결과:
따라서, 2차 리인게이지먼트 이벤트를 추후 스타벅스 쿠폰 100명 추첨의 메세지로 한번 더 빠르게 진행하기로 결정하였다. 2차 리인게이지먼트 이벤트 후, 본격적으로 이벤트 정례화를 위한 다음의 2가지 질문에 답하려 했다.
1. 혹시라도 리인게이지먼트 이벤트를 통해서 Cherry Picker들이 많이 들어오지 않았을까? 즉, 리인게이지먼트 이벤트를 통해서 재유치한 유저들의 리텐션과 DAU 공헌도 (재유입 후 30일간 앱실행 일수)는 신규 유저 획득 또는 타 페이드 마케팅을 통한 재유입 대비 얼마만큼 비용-효율 측면에서 효과적인가?
2. 정례화 한다면 카카오톡으로 진행해야하나? 아니면 SMS로 진행해야하나? 아니면 카카오톡, SMS 모두를 진행해야하나?
모든 데이터를 다 공개할 수는 없지만, 요약하면 신규 가입자 유치 및 타 페이드 마케팅을 통한 이탈자 재유입과 비교 시, 카카오톡을 통한 스타벅스 이벤트를 진행했을 때의 리텐션과 DAU 공헌도의 비용-효율이 우월했다. 따라서, 번개장터는 카카오톡으로 정례화해서 리인게이지먼트 이벤트를 진행하기로 의사결정하였다.
글을 마치며...
1. 이처럼 번개장터 그로스 팀은 설문과 데이터를 기반으로 마케팅을 기획 > 테스트 > 분석하여 마케팅 의사결정을 수행하고 있다.
2. 마케터, 디자이너, 개발자, PO와 같이 협업하고 있는데, 데이터를 기반으로 하기 때문에 모든 stakeholder와 공감대를 형성하며 객관적인 의사결정이 가능해진다.
3. 스타벅스 쿠폰 100명 추첨, 1000명 추첨 메세지에 대한 A/B 테스트 및 효과성 검증은 아마 번개장터가 업계 최초로 수행했으리라 생각한다.
4. 단순히 다시 재유입 수 / 비중 뿐만 아니라 리텐션 등을 고려하여 비용-효과성을 검증 및 타 벤치마크 대상과 비교 분석하는 것이 중요하다.
