[A/B 테스트 케이스 스터디] 신규회원 혜택가 노출
**오피노에서 진행한 A/B 테스트 케이스를 정리한 글입니다.
제품이 매력적이고, 구매가 충분히 발생한다는 전제하에 새롭게 우리 브랜드와 제품을 인지한 사용자에게 신규가입의 가격적인 혜택을 노출하는 건 당연히 구매 전환 성과에 효과가 있을 겁니다. 하지만, 제공해줄 수 있는 신규가입 혜택이 있음에도 불구하고 혜택을 노출하지 않는 경우도 있습니다. 여러 고객사와 일을 하다 보니 (경험상) 총 3가지 정도로 구분이 되었습니다.
신규가입 혜택을 노출해야 한다는 자체를 인지하지 못하는 경우
UI상 가격적인 혜택을 노출하고 싶어 하지 않는 경우
신규 혜택을 노출하고 싶지만 개발팀의 우선순위에서 밀린 경우
이번에 실험을 하게 된 브랜드는 개발팀의 우선순위에서 밀린 경우에 해당합니다. 최우선 순위가 될 순 없겠지만, 개발 업무 요청을 하기 위한 설득의 근거 데이터를 확보하기 위해 실험을 진행하게 되었습니다.
#실험의 목적
목적 1: 브랜드를 처음 인지한 신규 사용자에게 10% 할인된 신규회원 혜택가를 노출하고 실험 적용 제품의 구매 수량 및 매출 서과 개선
목적 2:개발팀과 협업을 위해 신규가입 혜택가 개선 성과 데이터 확보
#실험의 설계
신규회원의 혜택을 노출하는 방법으로 총 2가지 아이디어를 냈습니다. 하나는 '신규가입 시 10% 할인' 문구가 적힌 배너 노출, 다른 하나는 현재 판매가에서 10% 할인가를 표기하는 방식이었고, 실제 실험은 두 번째로 진행이 되었습니다.
실험 적용 제품: 전체 제품 중 총 14개의 제품에만 실험 적용
실험 적용 기기: 모바일
실험 기간: 2주
실험 UI: 아래 이미지는 실제 적용된 원본과 대안 페이지입니다. 대안 페이지는 원본 페이지의 가격 하단에 10% 할인된 가격을 계산해서 신규회원 혜택가를 노출했습니다.
#실험의 결과
실험 KPI: 신규 사용자의 실험 적용 제품 구매 전환 지표(수량 & 전환율 & 매출)
실험의 원본 페이지와 대안 페이지를 접한 신규 사용자의 실험 적용 제품 구매 전환 지표입니다.
**실험 적용 제품 구매 기준
그리고 실험을 적용한 각각의 제품에서 신규 사용자의 원본 구매 수량, 대안 구매 수량과 각각의 총매출입니다.
실험의 목적이 성과를 확인하기 위함보다 개발팀과의 협업을 위한 근거 데이터 확보였기에 너무나 당연한 케이스를 글로 적긴 했습니다. 그럼에도 불구하고 신규 가입자를 위한 혜택 노출을 인지하지 못하는 브랜드가 있을 것이라 생각이 됩니다. 신규 혜택가 노출이든, 신규가입 혜택 배너를 노출이든 새로운 사용자가 사이트에 유입되었을 때 혜택에 대해서 충분히 알려주고 있는지 한 번 점검해보는 시간이 되었으면 좋겠습니다
