커머스 프로덕트와 교육 프로덕트는 다르다. A/B 테스트 실패원인과 분석
커머스 프로덕트에서 일하면서 첫 구매 전환율 개선을 위한 프로젝트를 진행하고 있다.
현재 서비스 내 전체적으로 첫 구매 전환율을 올리기 위해 가장 밀고 있는 전략은 100 원딜상품.
마켓컬리를 시작으로 첫 구매 시 정가 9,900원대 상품을 100원에 판매하며 신규 회원 첫 가입과 주문을 유도하여 대부분의 커머스 시장들이 비슷하게 첫 구매 전략을 펼치고 있다. 현재 내가 다루고 있는 커머스도 동일한 전략으로 사용자들의 첫 가입과 구매를 유도하고 있다.
인기상품을 90% 할인된 100원에 구매하기 위해서는 넘어야 하는 2가지 조건이 있다.
첫 번째, 최소 10,000원 이상을 구매해야 결제 가능하다.
장바구니 내 100원 상품을 담으면 노출되는 안내되는 조건 .. 사실 안내 사항에 추가 하고 있지만...!
100 원딜 상품을 장바구니에 담고 주문완료를 하는 유저는 오직 30%(최근 3개월 기준)
최대 70%는 100 원딜 상품에 혹해 회원가입까지 했는데 이 조건 때문에 구매하지 않는다고 가정할 수 있다.
두 번째, 할인 쿠폰 사용 가능 조건!
첫 가입 시 제공하는 20% 할인 쿠폰은 최소 30,000원 이상 담아야 사용할 수 있다.
10,000원이라는 첫 구매 조건에 사람들은 이탈하게 되는데 가입하자마자 받은 20% 할인 쿠폰은 그 세 배인 30,000원 이상 구매해야 사용 가능하다니요.......
판매자 입장에서는 어쩔 수 없는 장치지만 100원 광고를 보고 100원만 소비하려는 구매자들에게는 300배 이상의 돈을 처음 보는 브랜드, 상품에 돈을 써야 하는데 당연히 이탈할 수밖에 없다.
그래서 우리는 이 두 가지 조건이 당. 연. 하. 다라는 느낌을 주기 위해 가입 직후에 바로 플로우를 녹였다.
회원가입 완료 후에 페이지 이동 없이 100원 상품 선택 화면을 제공하여 가입 주목적이었던 100원 상품 리스트를 다시 찾아가야 하는 불편함을 개선하였고 그다음 선택한 100 원딜 취향에 맞는 상품리스트들을 나열하여 자연스러운 선택을 유도해 최종적으로 장바구니 내 100원 상품 구매 가능한 상태로 만들어 주는 게 목적이었다.
이전에는 장바구니 내 담긴 상품 혜택을 누릴 수 없는 슬픈 화면을 가입 완료 후 바로 봐야 했지만, 100원 혜택 상품 담은 후 자연스럽게 상품을 담은 덕분에 구매 가능한 상태로 바로 볼 수 있었다. 상품을 반강제적으로 담게 하는 플로우였지만 A/B 테스트 결과 구매 전환율이 기존 안 보다 +9% 상승하는 지표를 보여주었다.
이렇게 긍정적인 지표를 보여준 결과를 우린 바로 프로덕트에 적용시키고
두 번째 개선을 위한 작업을 진행했다.
두 번째 상품 나열 페이지에서 의도한 대로 1만 원 이상 담은 유저들
즉, 장바구니에서 ‘주문 가능한’ 상태의 특별할인상품을 보는 게 주문 유도가 잘되고 있으니 이점을 활용하여 1만 원 이상 상품을 더 담음을 유도하고자 프로그레스 바를 제공하는 걸 실험해 보기로 했다.
이전 에듀테크에서 일했을 때 유저들은 예습 / 복습 도장 깨기에 되게 민감하였다. 특정 학습량/시간을 채우면 자신의 예습/복습 진행 사항을 알려주는 지표가 정상적으로 채워지지 않으면 CS가 빈번하게 들어오곤 했다. 그때의 인사이트를 활용하여 우리 팀은 유저들에게 특정 조건을 달성하기 위한 목표점을 UI 상으로 보여주어 1만 원 이상 담게 하고자 하는 의도였다.
프로그레스 바는 총 2구간으로 나눴다.
0~1구간은 100원 상품을 받기 위한 기준인 총합이 10,000원 일 때 1~2구간은 첫 구매 시 가장 높은 사용율을 보여주는 20% 사용기준인 30,000원 조건 달성시에 게이지가로 채워지는 UI를 구현하였다.
유저에게 프로그레스를 바를 제공하였을 때 페이지 내 10,000원 이상 담을 확률이 높아진다 라는 가설을 가지고 A/B 테스트를 진행하였다.
그러나...... 결과는 참담했다
실험 3일 만에 페이지 내 상품 담기 완료율은 기존 안 대비 -17.69% 라는 예상하지 못한 결과를 보여주어 바로 실험 중단 하였다.
진도율/ 성취율을 보여주는 교육&습관 형성앱에서 유저의 목적을 더 달성할 수 있도록 도와주는 프로그레스 바는
왜 커머스에서는 특히, 첫 가입 후 퍼널에서 부정적인 영향을 주었을까? 우리는 다음과 같은 이유로 실패 원인을 추측해 보았다.
1. 프로그레스 바가 오히려 유저에게 더 고민의 포인트를 만들었다.
상품 가격대를 고려하면 유저가 1만 원 금액대를 채우기 위해서는 최소 2개 이상은 담아야 한다. 기존에는 최소 2개만 담으면 되었지만 3만 원 조건까지 달성해야 하니 최소 6개는 담아야 한다. 그렇게 되니 해당 페이지 내 선택해야 되는 상품 개수가 더 많아져 유저들의 고민은 결국 높은 이탈률을 만들었다.
2. 프로그레스 바가 주는 의미가 다르다.
보통 학습/습관 형성 서비스에서 프로그레스 바는 목적 달성 및 성취라는 혜택을 주는 장치로 사용되고 있다. 너는 아직 이만큼 했어! 조금만 더 해보자!!! 혹은 벌써 이만큼 잘했어!! 당근과 채찍 같은 메시지로 유저들에게 이 서비스가 필요한 이유까지 전달된다.
그렇다면 우리 서비스 내 프로그레스 바는 어떤 의미를 전달하고 있을까?
무엇보다 커머스에서 돈을 지불하는 유저들의 궁극적인 목표는 더 많이 구매하기보다 더 많이 할인받기에 가깝다. 하지만 우리가 제공한 프로그레스바는 소비자가 원하는 혜택보다 오히려 숨겨야 하는 할인 제약 조건이 더 강조되어 유저에게는 부정적으로 다가간 것 같다.
10,000원 이상 구매, 최소 30,000원 이상이라는 구매 저하 조건들이 오히려 프로그레스 바 내 직접적으로 노출되니 유저들은 100원 상품을 통해 '오! 상시 판매가 대비 90% 할인을 받을 수 있네?' ' 20% 추가 할인 도 받을 수 있네?'와 같이 누를 수 있는 혜택 보다 '제한이 있네?'라는 메시지를 먼저 받아 이는 결국 이탈로 이어진 것 같다.
처음으로 우리가 얻고자 한 실험 결과가 나오지 않아 절망하며 프로그레스 바에 표기한 워딩이 문제일까? 다르게 메시지를 노출해 보면 어떨까?라는 실오라기의 희망을 붙잡기도 했지만 실패의 원인을 다시 곰곰이 생각하니 커머스 내, 적어도 이런 소비자의 지갑을 열어야 하는 화면 내에서 구매 조건이 강조되는 프로그레스 바 자체가 부정적일 수 있다는 큰 레슨런을 얻으며 영영 떠나보낼 예정이다.
교육/ 습관과 커머스는 서비스는 명백하게 소비자에게 전달해야 되는 메시지가 다르다. 동일한 UI여도 서비스별 유저에게 다르게 다가간다는 사실을 절대적으로 잊지 말자!