논리를 담아, 왓섭의 랜딩페이지 개선하기
[코드스테이츠 PMB 10기] 랜딩페이지 A/B 테스트 (2)
길고 긴 스크롤은 이제 그만!
컴팩트한 전달이 필요해
1. 왓섭의 랜딩페이지, 길고 긴 스크롤
이번 포스팅에서는 직전에 했던 과제에서 찾아낸 문제점을 기반으로 A/B 테스트를 기획해보고자 한다.
(* 더 자세한 왓섭의 문제점은 위의 포스팅을 참고해주세요)
이전의 과제는 위의 포스팅에서도 알 수 있듯이, 구독을 편리하게 해주는 구독 관리 서비스 '왓섭'을 선택했었다. 그리고 해당 포스팅에서 생각해 낸 솔루션은 총 2가지였다.
① 긴 랜딩페이지 개선 및 명확한 CTA
② 취향저격 구독 롤링 배너 활용
이 둘 중 이번 포스팅에서 다뤄볼 솔루션은 ① 긴 랜딩페이지 개선 및 명확한 CTA 으로, 왓섭이 더 많은 고객을 포섭하기 위해서는 해당 솔루션을 먼저 도입해야 한다는 생각이 들었기 때문이다.
그래서 왓섭이 어떤 식으로 랜딩페이지를 개선해야 하는지, A/B 테스트 설계로 작성해보고자 한다.
2. A/B 테스트가 뭔데?
그렇다면 이해를 돕기 위하여 A/B 테스트가 무엇인지 부터 간략하게 설명하고자 한다.
A/B 테스트란 전체 실사용자를 무작위로 두 집단으로 나눠서 한 집단에게는 A안을, 다른 집단에게는 B안을 보여주고, 두 집단 중 어느 쪽에서 더 좋은 성과가 나타나는지를 측정하여 A안 또는 B안 중 어느 안을 택할 지 결정하는 방식이다.
해당 테스트는 주로 사용자의 전환율을 높이는 데 활용되며, 가설에 대한 결과를 예측하기 어려울 때 리스크를 줄일 수 있도록 사전 조사를 하는 과정이라 생각하면 쉽다.
그리고 A/B 테스트를 진행하기 위해서는 다음과 같은 구성 요소를 가져야 한다고 한다.
1. 가설 : ~하면 ~일 것이다.
2. 목표 : A/B 테스트의 목표
3. 기간 : A/B 테스트의 기간
4. 대상 : A/B 테스트를 진행할 대상 고객층(사용자 세분화 / 코호트 분석)
5. 측정 지표 : 전환율, 이탈률 등 대표적으로 측정할 지표 설정
6. 결과 : P-value와 같은 요소를 통해 통계적 유의성 계산(실제로 이 통계가 유의미한가?)
7. 결론 : 결과가 우수한 내용(측정 지표가 높은 안)을 실제로 적용
그렇다면 위의 구성 요소를 염두에 두고, 왓섭의 랜딩페이지 개선안을 도출해보도록 하겠다.
3. As is - To be
그렇다면 왓섭은 어떤 식으로 개선을 추구해야 할까?이에 이전 포스팅 내용을 간략히 요약하자면, 왓섭의 랜딩페이지는 총 20단계로 CTA 버튼은 맨 처음과 끝에만 삽입되어 있어서 사용자가 중간에 이탈할 가능성이 높다고 생각되었다.
물론 상단 배너로 [앱 설치하기] 라는 부분이 존재하고 있지만, 사용자의 시선은 정중앙에 주로 위치하고 있을 텐데 우측 상단의 버튼은 너무 작아서 눈에 띄기 힘들다.
As is - To be 의 이해를 돕기 위한 왓섭의 랜딩페이지 자료 화면따라서 나는 왓섭이 제시하는 3가지 가치, 각 단계 단계마다 CTA 버튼을 도입하여 사용자가 원하는 가치가 있을 때 바로 앱을 원할하게 설치할 수 있도록 도우면 어떨까 하는 생각이 들었다.
또한, W5D4의 그룹세션에서 윤제 PM님께서 '라이프 서비스는 멋부림을 걷어내야 하며, 서비스를 컴팩트하게 전달하되 CTA는 하나의 목소리를 내야 한다.' 라고 말씀을 해주셨다.
그래서 위의 피드백을 기반으로 왓섭의 랜딩페이지 전략은 다음과 같다.
왓섭의 As is - To be
결론적으로는 위의 표에서 랜딩페이지의 길이 개선 및 지속적인 CTA 요구가 가장 PM으로서 중요하게 생각해야 할 개선 사항 일 것이다. 하지만 이 부분에서 또 짚고 넘어가야 할 부분이 왓섭의 랜딩페이지의 경우 개발에 많은 투자가 되었을 것이라는 점이다.
마우스 스크롤에 따라 달라지는 화면의 모습이나, 롤링 배너의 활용 부분에서 사용자들에게 서비스를 어필하고자 많은 노력을 기울였음을 알 수 있었다. 그러므로 갑작스럽게 '랜딩페이지의 길이가 너무 기니까, 줄이자.' 라는 방안은 어쩌면 이제까지의 리소스들을 버리는 형식이 되지 않을까 하는 생각이 들었다.
그래서 이번 포스팅에서는 지속적인 CTA 버튼을 활성화하는 방안을 중심으로 A/B 테스트를 설계하고자 했다.
4. 왓섭의 A/B 테스트
위의 내용을 바탕으로 왓섭의 A/B 테스트는 위와 같이 설계될 것으로 보인다.
좀 더 논리적으로!
이때, 좀 더 구체적이고 논리적으로 목표를 설정하고 대상의 수를 설정하고자 'A/B test sample size calculator'을 이용하였다. 여러 계산기 중 에반밀러 (Evan Miller) 계산기를 퍼블리에서 사용한다는 내용을 확인해서 마찬가지로 해당 계산기를 사용하였다.
위의 용어를 간략히 설명하자면 다음과 같다.
Baseline conversion rate : 테스트를 하기 전 기존안의 전환율
Minimum Detectable Effect (MDE) : 실험군의 전환율이 대조군의 전환율 (Baseline conversion rate) 과 얼마나 큰 차이를 보였을 때 실험 결과를 판단할 것인가의 기준 (설계자가 설정)
Statistical power와 Significance level : 실험 기준을 얼마나 엄밀하게 설정할 것인지 정하는 란
그렇다면 왜 기본 전환율을 10%로 설정했는가.
이 부분은 랜딩페이지의 평균 전환율에 대한 정보를 이용했다. (참고)
위의 그래프는 WordStream의 연구 조사 결과로, 평균 전환율은 2.35 %, 가장 좋은 전환율은 11.45% 수준인 것으로 나타났음을 알 수 있다. 왓섭은 2020년 창업 이래 특별한 광고 없이도 (왓섭의) 사용자 수가 매달 42%씩 늘고 있으면서 사용자들의 앱 사용률과 유지 기간도 다른 핀테크 앱에 비해 긴 것으로 집계될 정도로 매우 인기 있는 서비스이다.
그에 더하여, 김준태 왓섭 대표에 따르면 유입된 사용자의 89%는 광고를 보고 가입한 것이 아니라 왓섭의 입소문을 듣고 가입했고 다양한 채널에서 (왓섭의) 사용자들이 서비스를 주위에 직접 추천하고 홍보해 주고 있다고 한다. (참고)
즉, 왓섭의 사용자들은 주위에 추천을 할 때 왓섭의 랜딩페이지를 제공할 확률이 높으므로 10%의 좋은 전환율을 가지고 갈 것이라 예상이 되었다. (최대한 논리적으로 접근해보려 노력했지만, 실질 전환율은 왓섭만이 알 것이다..ㅠ)
5. 왓섭의 리디자인
(수정예정)
참고자료.
