A/B 테스트를 통한 멤버십 구매율 개선기
라프텔 프로덕트 디자이너의 첫 A/B 테스트 후기
안녕하세요. 라프텔 프로덕트 디자인팀의 Sally입니다.
이번 블로그에선 작년 3분기에 진행했던 멤버십 스토어 디자인 다양화 테스트를 통해 배운점들을 공유해보려고 합니다.
라프텔 프로덕트 디자이너의 첫 A/B 테스트 후기
문제사항 정의
프로덕트 디자인팀은 작년 3분기 OKR로 멤버십의 구매율을 높이고자 다양한 실험을 계획했는데 그 중에 하나인 멤버십 스토어 A/B 테스트를 제가 맡아 진행하게 됐습니다. 멤버십 스토어 A/B 테스트의 목적은 스토어 시안에 변화를 줘 멤버십 구매율을 높이는 것 이었는데요. 기존의 화면은 멤버십 기능들이 단순하게 텍스트들로만 나열되어 있어 구매 유도를 하기에는 단조로웠고 다양한 컨셉들을 시도해서 더 매력적인 컨셉으로 화면을 바꿔 구매율을 높이고자 했습니다.
기존 시안가설 세우기
우선적으로 세웠던 가설은 유저들은 멤버십을 구매할 때 조금 더 설득당할 수 있는 정보가 필요하다였습니다. 현재 멤버십 스토어 화면에서 주는 정보만으로는 매력도가 높지 않아 전환이 되지 않을 것이라고 생각했어요. 다양한 인기 작품을 한 곳에서 볼 수 있다는 것이 라프텔의 핵심 기능인데 해당 부분을 잘 나타낼 수 있는 콘텐츠와 문구를 이용하여 매력적인 비쥬얼로 변경하면 멤버십에 대한 인식률이 상승될 수 있을거라고 생각했습니다.
목표
또한 테스트의 목표는 '스토어 화면에 매력적인 소구 포인트를 추가해 멤버십 가입율을 높이는 것'으로 정했어요. 멤버십의 핵심 기능들과 인기 콘텐츠 썸네일들을 이용해 전환율을 높이고자 했고 라프텔에서 어떤 경험을 할 수 있고 라프텔을 써야 하는 이유를 넣어 유저의 흥미와 기대감을 높이고 싶었습니다.
디자인 개선
그 후 세 개의 시안을 만들었고 새로운 시안들을 만들며 집중했던 점은 스토어 화면에 대한 정보를 다양한 임팩트로 전달하는 것이었습니다.
B안 : 소구 포인트를 한 줄로 이해하기 쉽게 설명한 시안
C안 : 주요 콘텐츠 포스터 노출과 임팩트 있는 썸네일들과 함께 멤버십 이점들을 설명한 시안
D안 : 주요 콘텐츠 포스터 노출과 멤버십의 이점들을 한 문장으로 요약한 시안
요구사항
그렇게 기존안인 A안을 포함한 총 4가지 안에 대해 8월 9일부터 8월 22일까지 2주동안 실험을 진행했고 요구사항은 아래와 같이 정했습니다.
테스트 기간 : 2022.08.09~08.22 약 2주
대상자 : 안드로이드 유저 중 멤버십을 쓰고 있지 않은 접속자 100%
유저 배분 계획 : A안: 25%, B안: 25%, C안: 25%, D안: 25%
봐야할 지표
봐야할 핵심지표는 구매전환율로 정했고 보조지표로 CTA 버튼 클릭율을 보기로 했습니다. 추가로 C안은 스크롤 움직임 측정을 보조지표로 넣어 요청했습니다.
핵심지표
-구매전환율 (멤버십 구매화면 노출 대비 멤버십 구매 전환율 확인)
보조지표
- 멤버십 구매화면 노출 대비 CTA 버튼 클릭 전환율 확인
- CTA 버튼 클릭 대비 멤버십 구매 전환율 확인
- C안 스크롤 움직임 측정
실험 스타트
처음해보는 A/B 테스트인지라 유의미한 실험 결과를 못 얻으면 어쩌지라는 걱정을 하며 실험을 시작했고 노심초사하며 결과를 기다렸습니다.
테스트 결과
그렇게 2주 후 실험 결과가 나왔습니다. A안(기준안)의 구매전환율은 14%, B안은 15%, C안은 16%, D안은 15%가 나왔는데요. C안이 기존안의 구매전환율보다 2% 높게 나온걸 확인할 수 있었습니다. 네 가지 시안들에 정말 큰 전환율 차이가 없어 조금은? 아쉬운 결과였어요.
하지만 이번 실험은 멤버십 구매 과정을 개선하는 데 있어 첫 번째 시도였고 계속해서 다양한 시도로 구매 전환율을 개선해나가려고 했기에 아쉬움을 달래고 바로 신뢰도 측정으로 넘어갔습니다. A/B 테스트를 할 땐 결과가 얼마나 신뢰도가 있는지 확인하기 위해서 P-Value를 측정하는데요. P-value 계산기로 돌려본 결과 해당 실험은 95.8%의 신뢰도를 얻어 C안을 개선안으로 채택할 수 있었습니다. 단순히 문구만 적혀있는 안들보다 상대적으로 임펙트 있는 썸네일과 앱의 기능이 강조된 C안이 사용자 경험에 있어서 더 효율적이라는 것을 알 수 있는 실험이었습니다.
채택된 C안은 모바일 앱에 (iOS, Android) 모두 적용하여 배포를 완료하고 유사한 컨셉안으로 데스크탑 시안을 만들어 웹에도 디자인 개선안을 적용해 테스트를 마무리 짓게됐습니다.
함께 변경된 멤버십 스토어 데스크탑 시안회고
라프텔에 들어와 처음 해보는 A/B 테스트로 많은 lesson & learning이 있었던 스쿼드였는데요.테스트를 설계하는 과정에서 지표를 세울땐 지표의 정의를 꼭 정확하게 짚고 넘어가는게 얼마나 중요한건지 알게되었어요. 지표를 디자이너, PM, 개발자 각자가 다르게 이해하는 경우가 있어 정의한 지표에 대해 서로 확인하는 시간이 꼭 필요하다는 생각이 들었어요.
또한 초반에 조금의 시행착오가 있었는데 실험을 시작하고 며칠이 지나서야 로그가 안 찍히고 있다는 사실을 알게 됐어요. 그에 따라 데이터를 한 번 더 정제해야하는 일이 있었고 실험 기간이 예상보다 조금 길어졌죠. 테스트를 시작하고 로그가 잘 찍히는지 확인을 했었어야 했는데 스쿼드 인원 모두가 처음해보는 A/B 테스트라 확인 작업이 프로세스에 없었던거죠.
추가로 C안의 긴 스크롤에 대한 우려로 스크롤없는 버전으로 D안을 추가로 작업했는데 이에 확신을 가졌던 PM분이 계셨어요. D안을 마지막으로 넣은건 신의 한수라며 기대를 하셨는데 결과는 그렇지 않았죠. 역시 멤버십 스토어 디자인을 A/B 테스트로 진행하길 잘 했다라는 생각이 들었어요.
라프텔 프로덕트 디자인팀은 계속해서 멤버십 가입율을 높일 수 있는 실험을 계획해보려고 합니다. 처음 A/B 테스트를 진행해보며 얻게된 교훈들을 다음 테스트를 위한 좋은 양분으로 삼기위해 기록합니다.
Written by Seo Seunglee, Laftel Product Design Team
라프텔 프로덕트 디자인팀의 다른 이야기
