PM공부일지
A/B 테스트란?
먼저 A/B테스트의 개념부터 정리하고 가려합니다.
목표 : 회원가입 등 전환률의 상승
조건 : 1) 특정 조건을 만족하는 대상군
2) 다른 조건을 가진 두 개의 실험
정리 : 서비스를 이용하게(전환) 하기 위해 A or B 방법중 어떤 방법이 효과적인지 특정 조건을 만족하는
대상에게 테스트 하는것
결국은 A/B 테스트를 통해 고객에게 더 나은 경험을 제공함으로서 보다 나은 전환률을 달성하게 하는 방법입니다. 다만, 해당 결과는 영구적인 것이 아니라 트렌드 등의 영향으로 바뀔 수 있으며 PM은 고객에게 더 나은 경험을 제공하기 위해 끊이 없이 고민해야 합니다.
* A/B 테스트의 구성 요소
가설 : 랜딩페이지 기능 소개를 간략화하면 기능을 살펴보다 이탈하는 사람들이 줄어들 것이다.
목표 : 기능이 기재된 화면을 줄여(ex.배너) 전환을 유도한다
기간 : 1주 or 1달
대상 : 변경전 사이트에 방문한 신규고객 100명 vs 변경후 사이트에 방문한 신규고객 100명
측정 지표 : 전환률, 최하단 CTA 클릭율
결과 : 테스트를 통해 측정된 지표 비교
결론 : 더 나은 안으로 랜딩페이지 수정
알리고 개선안 A/B 테스트 해보기
위와 같은 절차로 저번 포스팅에서 제시한 개선안을 적용시켜 보려고 합니다.
1. 복잡한 기능 정리
기존 알리고 랜딩페이지를 살펴볼때, 내려도 내려도 끝나지 않는 기능 설명들의 향연에 마치 저는 프로게이머가 아닌데도 손목 터널증후군에 걸릴 것 같았습니다. 그리고 가입을 유도하는 CTA 또한 최상단과 최하단에만 존재하여 상기 서술한 복잡하고도 다양한 기능 설명을 지나서야 기능으로 유도하는 CTA가 나오기에 스크롤 도중에 이탈할 가능성이 있다고 생각했습니다. 그래서 기능 설명을 배너로 줄여 CTA까지 도달하는 시간을 줄여 이탈을 막아 보려 했습니다.
* 기능설명 페이지 A/B 테스트
가설 : 랜딩페이지 기능 소개를 간략화하면 기능을 살펴보다 이탈하는 사람들이 줄어들 것이다.
목표 : 기능을 설명하는데 소비되는 화면을 줄여(ex.배너) CTA까지 도달하는 시간을 줄여서 전환을 유도한다.
기간 : 4주
대상 : 변경전 사이트에 방문한 신규고객 500명
변경후 사이트에 방문한 신규고객 500명
측정 지표 : 기능 페이지 도중 이탈율, 전환률, 최하단 CTA 클릭율
실험 전 할일 : 특별한 이벤트(5월 가정의 달 등)가 없는 기간 8주 선정
실험 중 유의사항 : 지표 지속 트래킹, 불법 이용자 제외(스미싱 등 스팸)
실험 후 : 적용전 실험으로 얻은 테스트 지표 정리, 문서화, 실험 결과에 따른 후속 가설 수립
적용 후 : 적용 후 관련 지표 지속 추적하여 효용성 증명
결과 : 테스트를 통해 측정된 지표 비교
결론 : 전환률이 높은 표시 방법으로 랜딩페이지 수정
2. 최하단 CTA 카피 변경
위 사진들을 보면 계속해서 기능의 간편함과 가격만 중복적으로 제시하고 있습니다. 반복되는 정보 속에 오히려 어떨때 문자를 사용해야하는지에 대한 정보가 없습니다. 그렇기에 상단에 기존대로 가격과 기능에 대한 강조를 그대로 두고 하단 CTA에 어떤 문자를 보낼 수 있는지 간략하게 소개하는 CTA로 변경해서 테스트를 진행하려 합니다.
상단의 사진과 같이 카피와 CTA버튼을 변경하여 보았습니다. 광고문자, 선거문자, 관리문자 등 기존 고객들이 많이 사용하는 유형의 문구를 랜덤으로 표출합니다. 그래서 고객들이 필요한 정보(원하는 문자 서비스) 등을 사용가능한지 쉽게 알 수 있게하여 CTA로 유도하려 합니다, 추가로 기존 문구 중 "시작하세요"가 제외되어 해당 문구를 CTA 버튼으로 옮겼으며 Start보다도 실제 기능인 "서비스 페이지로 이동"을 직관적으로 드러내는 문구라고 생각합니다.
* 최하단 CTA 카피 변경 A/B 테스트
가설 : CTA 유도 카피를 서비스 유형을 설명하는 방식으로 변경하면 CTA 클릭율이 높아질 것이다.
목표 : 중복되는 문구를 제거하고 서비스 유형을 설명하여 고객에게 정보를 제공함으로서 전환률을 높힌다.
기간 : 2주
대상 : 변경전 사이트에 방문한 신규고객 500명
변경후 사이트에 방문한 신규고객 500명
측정 지표 : 최하단 CTA 클릭율, 해당 CTA를 통한 회원가입률
실험 전 할일 : 특별한 이벤트(5월 가정의 달 등)가 없는 기간 4주 선정, 기존 고객들의 문자 유형 파악
실험 중 유의사항 : 지표 지속 트래킹, 랜덤으로 표출된 문구별로도 지표 정리
실험 후 : 적용전 실험으로 얻은 테스트 지표 정리, 문서화
적용 후 : 적용 후 관련 지표 지속 추적, 실험 결과에 따른 후속 가설 수립
결과 : 테스트를 통해 측정된 지표 비교
결론 : 전환률이 높은 표시 방법으로 랜딩페이지 수정