파운트 랜딩페이지 더 매력적으로 개선하기
[코드스테이츠 PMB 11] Ep19. A/B 테스트 설계
A/B 테스트가 무엇인가요?
A/B테스트는 웹이나 앱에서 두 그룹의 사용자들에게 서로 다른 페이지를 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 사용자 경험을 제공할 수 있는지 여부를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법이다.
서비스 사용자들의 이탈을 막고 방문객을 구매자로 전환하기 위해서는 일련의 실험 과정이 필요한데, 고객들과의 상호 작용을 이끌어낼 수 있는 요소가 무엇인지 정량적으로 알 수 있다면 제품 성장과 개선의 측면에서 유동적인 대응이 가능해질 것이다.
A/B 테스트A/B테스트가 중요한 이유는 가설을 직관이 아닌 데이터로 증명할 수 있기 때문이다. 사실 디자인에 대해서는 누구나 가설을 세울 수 있지만 증명하기는 어렵다. 만드는 사람 입장에서는 너무나 중요해 보이지만 실제로는 아무런 행동을 이끌어내지 못한다거나, 전혀 예상치 못했는데 전환율이 크게 증가한다거나 하는 사례도 많다.
그렇다면 A/B테스트는 왜 해야 할까? A/B테스트가 중요한 이유를 살펴보면 다음과 같다.
A/B 테스트가 중요한 이유 3가지
1. 서비스의 이탈률을 감소시키고 전환율은 증가시킨다.
A/B 테스트는 지속적인 실험을 통해 사용자가 어떤 변수에 반응을 하고 호감을 느끼는지 관찰하고, 방문객을 구매자로 전환시킬 수 있는 요소가 무엇인지 효과적으로 파악할 수 있는 방법이 된다.
2. 직관이 아닌 정량적인 데이터를 기반으로 가설을 증명할 수 있다.
데이터를 바탕으로 한 검증 없이 전략을 수정할 경우 상당한 시간적/금전적 비용이 발생할 수 있다. A/B 테스트는 고객들의 행동 패턴을 파악하여 성공 가능성을 높이고, 최대한의 효과와 효율을 통해 사업의 리스크를 일부분 줄일 수 있다.
3. 단/장기적인 관점에서 제품의 수익률을 높인다.
반복적인 실험을 통해 더 많은 수의 구매전환을 유도함으로써 수익률을 높이고 경쟁 우위를 높여 수익률 면에서도 긍정적인 영향을 미친다.
지난 포스팅에서 로보어드바이저 서비스 파운트의 랜딩 페이지를 분석하고 전환율을 높이기 위한 개선점을 찾아보았다.
오늘은 파운트의 랜딩 페이지를 개선하기 위한 A/B 테스트를 설계해 보고자 한다. 개선을 위한 여러 솔루션 중 아래와 같이 두 가지 개선점에 대해 A/B 테스트를 계획하였다.
1) 랜딩 페이지 상단 메뉴 바에 앱 다운로드 CTA 추가
2) 메인카피와 이어지는 일관된 메시지를 위해 서브카피 변경
1. As is - To be
이전 포스팅 내용을 간략히 요약하자면, 파운트의 랜딩 페이지는 총 9단계로 구성되어 있으며 서비스의 정체성을 비교적 명확하게 안내하고 있다. 하지만 다운로드를 유도하는 CTA 버튼이 랜딩 페이지 첫 화면에만 삽입되어 있어서 사용자가 '앱 다운로드'라는 전환까지 이어지지 않을 가능성이 높다고 생각되었다. 랜딩 페이지 상단 메뉴바에도 CTA 버튼을 추가하여 보다 많은 신규 방문자의 앱 다운로드를 유도해야 한다는 것이다.
마이크로 카피 또한 메인카피와 서브카피의 연결이 매끄럽지 않다는 느낌을 받았다. 'relax'라는 단어와 '인공지능 투자 솔루션'이라는 단어의 어감이 다소 이질적으로 느껴졌다. 서브카피를 좀 더 쉽고 명확한 표현으로 바꾸어 메인카피와 일관성을 높이고자 한다.
파운트 랜딩페이지 홈1) 랜딩페이지 상단 메뉴 바 앱 다운로드 CTA 추가
2) 메인카피와 이어지는 일관된 메시지 전달을 위해 서브카피 변경
2. A/B 테스트 설계
A/B 테스트의 가장 큰 장점은 데이터로 실험 결과를 증명할 수 있다는 것이다. 단순히 직관이나 감으로 가설을 설정하고 테스트를 진행하는 것은 한정된 리소스를 효율적으로 사용하지 못할 뿐만 아니라 제대로 된 실험 결과를 얻기 힘들기 때문에 위험하다.
하지만 기업 내부 직원이 아닌 이상, 객관적인 데이터 자료를 확인하는 것은 불가능해 어느 정도 주관적인 추측과 가정이 포함되어 있다는 것을 미리 밝힌다. 테스트 설계에서 기간, 응답 대상자 수, 지표 설정이 가장 고민이 되었다(...)
TEST 1
TEST 1의 가설은 랜딩페이지에서 한 곳에만 존재하던 앱 다운로드 CTA버튼을 하나 더 추가하면 앱 다운로드율이 높아질 것이다 라는 것이다. 목표 전환율은 행동을 유도하는 언어를 사용한 CTA 버튼을 페이지 상단에 위치시키는 것이 유효할 것이라는 생각에서 다소 공격적인 목표인 20%로 정하였다.
A/B 테스트는 동기간에 진행해야 유의미한 결과를 도출할 수 있다. 이번 주에는 A 안을 노출하고 다음 주에는 B 안을 노출한다면 정확한 테스트가 되지 않을 것이다. B기간에 다른 시즌 이슈가 있거나 우리가 알지 못하는 경쟁사의 수수료 파격 할인 이벤트가 있다면? 결과는 전혀 달라지게 될 것이다. 결과에 영향을 줄 수 있는 외부 변수들의 조건 또한 동일해야 하므로, 동기간에 A, B 안이 모두 노출될 수 있도록 진행해야 한다.
A/B 테스팅 실무자를 대상으로 한 정성적 및 정량적 A/B 테스팅 설문조사 / 출처: Northwestern, IDS — Justin Baker, 2016실험 기간은 짧은 시간 내 큰 효과를 내야 하기 때문에 최대한 짧은 게 좋겠지만, 너무 짧으면 정확성을 놓쳐 유의미한 결과를 도출하기 힘들 수 있다. 전문가들은 결과에 영향을 미칠 수 있는 외부 변수들이 많이 있기 때문에 최소 수 일 이상은 되어야 한다고 조언한다.
위 통계에 따르면 응답자의 60%는 A/B테스트의 평균 소요 기간이 1주일에서 1개월 사이라고 응답했다. 그래서 전환이 발생할 충분한 시간을 확보하기 위해 2주 정도의 실험 기간을 잡았다.
외부인으로서는 파운트의 하루 순 방문자 수(UV)를 알 수 없기에 2021년 12월 기준 파운트의 전체 고객 수가 30만 명 이상임을 고려해 실험 대상의 수는 그룹 당 1만 명으로 설정하였다.
측정 지표로는 CTA 버튼 클릭률, 실제 앱 다운로드 수, 다운로드 후 신규 가입 수로 정했다. 실험 7일 전부터 실험 후 14일까지 스케줄링하였으며 결과 데이터 분석 후 후속 조치도 매우 중요하다고 생각해 스케줄링에 포함하였다. 실험 전 세운 가설이 일치하였다면 변경된 안을 랜딩페이지에 바로 적용하여 전환율을 끌어올려야 하고, 가설이 맞지 않다면 후속 가설(또는 새로운 C안)을 세워 A/B 테스를 반복해야 할 것이다. (결국 A/B 테스트는 끝없는 사이클이란 결론에 도달하는 듯..?)
TEST 2
TEST 2의 가설과 목표는 메인카피의 내용상 흐름이 일치하도록 일관성을 갖추어 서브카피를 변경한다면 앱 다운로드 전환율이 상승할 것이다. 그래서, 사용자 전환율을 높이자!라는 것이다.
TEST 1 보다 전환율 목표를 낮춰 전환율 10%로 설정했다. 서브 카피 변경은 CTA 버튼 추가보다는 사용자에게 인상적으로 와닿지 않을 가능성이 크다고 보았다. 인공지능 로보어드바이저 서비스나 파운트에 조금이라도 관심이 있는 사용자가 아니라면 카피를 다 읽지 않을 수도 있고, 카피를 아무리 잘 뽑았다고 해도 서비스를 이용하는 활성 사용자로 넘어가느냐는 또 다른 허들이 있을 수 있다고 생각했기 때문이다.
그 외 테스트 기간과 대상, 스케줄은 TEST 1과 동일하게 설정해 두었다. 측정 지표는 이탈률 대신에 페이지 뷰(PV)를 추가하였다. 페이지 뷰는 '한 페이지가 사용자의 요청에 따라 표시되는 것 혹은 이러한 요청의 수를 세는 단위'를 말하며, 쉽게 말해 방문자가 조회한 페이지의 수이다. 예를 들어 사용자가 사이트에서 메뉴 이동이나 게시물 조회를 10번 했다면 페이지 뷰는 10으로 집계된다. 일반적으로 페이지 뷰가 높은 사이트는 방문자당 체류시간이나 콘텐츠 조회 활동이 풍부한 편이다.
결국 가장 중요한 것은, A/B 테스트를 진행하면서 '왜' A 안이 더 전환율이 좋았는지, 어떤 부분이 사용자를 움직였는지에 대해 고민해 보아야 할 것이다. 단순히 전환율이 높은 결과를 반영하는 것이 아니라, 서비스에서 더 나은 의사결정을 위한 인사이트를 찾는 것이 목적이라는 것을 기억해야 한다.
3. A/B 테스트 디자인 기획
TEST 1 디자인
랜딩페이지 상단 메뉴 바에 'START fount'라는 문구를 넣은 CTA를 추가한다. START fount라는 문구가 사용자로 하여금 명확한 행동을 유도하게 한다고 생각하였다. CTA를 클릭하면 랜딩페이지 최하단에 또 다른 앱 다운로드 CTA페이지로 이동시켜 앱 다운로드를 유도한다.
위 화면은 기존 랜딩페이지에는 존재하지 않는 페이지로 TEST 1 디자인을 위해 새로 추가한 페이지이다. 랜딩 페이지 마지막 단계인 정보 고지 바로 전에 삽입할 예정이다. 랜딩페이지 홈에서 고객이 이미 확인한 앱 다운로드 CTA이지만 페이지 최하단 앱 다운로드 CTA 페이지로 이동시켜 앱 다운로드를 다시 한번 유도한다.
TEST 2 디자인
'인공지능 투자로 쉽고 편하게 내일을 준비합니다'라는 서브카피로 변경하였다. 메인 카피인 'invest & relax 파운트'와 내용이 이어지도록 '보다 쉽고, 마음 편한 투자로 미래를 준비하자'는 일관된 메시지를 전달하는 서브 카피로 변경하였다. 어렵고 전문적인 용어보다는 쉽고 단순한 언어를 사용해 인공지능 로보어드바이저에 대해 막연히 느낄 수 있는 심리적 허들을 낮출 수 있도록 했다.
랜딩 페이지의 개선점을 바탕으로 A/B 테스트를 설계하고 적용할 테스트 안을 디자인해 보았다. 어디까지나 주니어 PM이 되기 위한 학습자의 입장에서 설계한 것이기에 현실성과 실효성 측면에서 다소 비약이 있을지도 모르겠다.
하지만 여러 기업의 A/B 테스트 사례와 관련 아티클과 조사 결과들을 찾아보며 A/B 테스트에 대한 개념과 실험의 전반적인 사이클에 대해 알 수 있었다. A/B 테스트 외에도 다양한 고객 분석기법들과 기업에 적용된 사례들을 좀 더 알아보고 싶다. 내가 몰랐던 지식과 정보를 차곡차곡 쌓아가는 과정은 적잖은 에너지가 드는 일이지만 새로운 인사이트를 발견하는 기쁨을 주기도 하기에 언제나 흥미롭다:)
참고자료
https://brunch.co.kr/@bumgeunsong/17
https://brunch.co.kr/@aykim13/41
https://brunch.co.kr/@chun9417/36
https://brunch.co.kr/@mobiinside/2693
https://medium.com/hackernoon/a-b-testing-youre-doing-it-wrong-77d628ac9518
