랜딩페이지에서 검색할 수 있다면?
[코드스테이츠 PMB 9기] 밀리의 서재 랜딩페이지 AB 테스트
지난 글 [다시 구독하기 위해 필요한 것]에서 밀리의 서재 랜딩페이지를 분석했습니다. 랜딩페이지에서 '다시 구독 시작하기'라는 CTA 버튼 클릭을 유도하기 위해 어떤 점들이 강조되고, 구성되었는지 확인해보는 글이었습니다. 밀리의 서재 사용자였던 제가 다시 구독하지 않았던 이유를 돌이켜 보았었죠. 구독이 머뭇거려지는 이유는 랜딩페이지의 내용이 첫 방문자를 대상으로 하기 때문에 이용경험이 있는 사용자에게는 끌리는 내용이 아니라는 점과 어떤 도서가 등록되어 있는지 여부를 결제 해야지만 확인 가능하다는 점이었습니다. 그래서 또 다른 글인 [밀리의 서재, 구독없이 검색하리]에서 랜딩페이지에 유입된 잠재 고객의 전환율을 높이는 방법으로 '책 검색 기능'을 이야기 했었습니다.
시간이 흐르면서, 밀리의 서재가 랜딩페이지에 책 검색 기능을 추가하지 않는 건 이유가 있을 수 있다는 생각이 들었습니다. 하지만 이 글은 AB 테스트를 계획해보는데 목적이 있기 때문에 [밀리의 서재, 구독없이 검색하리] 글의 후속편처럼 '책 검색 기능'으로 테스트를 진행하고자 합니다.
AB 테스트
"랜딩페이지에 책 검색 기능을 넣으면 어떨까?"
랜딩페이지에 검색창을 넣어 테스트를 진행해보려 합니다. 기본적으로 AB 테스트는 다양한 변수가 존재하는 경우보다 문장, 색감, 위치 등 세부적인 차이의 영향력을 판단한는데 용이합니다. 따라서 랜딩페이지에 추가하는 검색창은 가장 기본적인 모양이라고 미리 설명드립니다. 검색창에 책 제목 또는 저자를 입력하면 등록된 책을 확인할 수 있는 그런 기본 검색창 입니다. 책이 등록되어 있지 않다면 미등록이라고 안내되고요. 이런 검색창에서 고객이 등록된 책 정보를 검색할 수 있다면 구독 전환율에 어떤 영향을 미칠지에 대해 AB 테스트를 진행하고자 합니다.
[AS-IS]
원하는 책이 등록되어 있는지 확인할 수 없음
[TO-BE]
원하는 책이 등록되어 있는지 확인할 수 있는 검색 기능을 랜딩페이지에 추가
→ 검색창에서 책 제목이나, 저자를 직접 검색 가능
그림 1-1검색 기능을 테스트 하기 위해 다음과 같은 계획을 세웠습니다.
대조군인 기존 랜딩페이지와 실험군인 검색기능 포함된 랜딩페이지를 해지한 고객 10만 명을 대상으로 테스트 하려 합니다. 테스트를 통해 검색 기능을 '이용했을 때(used)'와 '이용하지 않았을 때(not-used)'의 구독 전환율 차이를 보고자 합니다. 구체적인 지표인 '검색창에 입력한 검색어 갯수', '검색 기능 이용 후 구독 CTA버튼 클릭까지 걸린 시간' 등을 통해 보다 직접적인 연관성을 검증해볼 수 있을 것 입니다.
테스트로 얻을 수 있는 기대효과
실험군의 구독 CTA 버튼 클릭률이 높을수록 '책 검색 기능'과 '구독률' 사이 유의미한 연관성이 있다고 판단할 수 있습니다. 이러한 판단 근거는 '검색어 입력 횟수' '검색 기능 이용 후 구독 CTA 버튼까지 걸린 시간'에서 대조군 대비 실험군으로부터 수집된 유의미한 데이터에 있습니다. 평균 검색어 입력수에 따라 유입된 고객이 뚜렷한 목적을 갖고 있는지 유무를 확인할 수 있고, 나아가 검색 후 구독까지 걸린 시간을 통해 검색 기능이 구독 결정에 얼마나 영향력을 갖는지 유추 할 수도 있습니다. 이렇듯 다양한 측정 지표를 통해 대조군과 실험군에서 고객 행위를 면밀하게 분석할 수 있고, 선후 인과 관계를 파악할 수 있습니다.
또한 테스트에서 검색창에 입력한 책 정보 데이터는 향후 고객의 취향을 분석하거나, 추가 등록 책의 우선순위를 결정할 때에도 다뤄질 수 있는 중요한 데이터로 활용 가능합니다.
다음 AB 테스트는?
"미등록일 경우, 추천 책과 신청하기를 넣으면 어떨까?"
그림 1-2앞서 진행했던 AB 테스트을 마치고 검색 기능을 추가하기로 결정했다고 가정해보겠습니다. 검색 기능의 주요 목적은 랜딩페이지의 구독 전환율을 높이는 것 입니다. 따라서 검색 기능은 지속적으로 개선 작업이 필요합니다. 이런 개선 작업에도 AB 테스트가 사용될 수 있는데요. 추가적으로 진행해볼 수 있는 사안을 이야기 하고자 합니다.
테스트를 진행하기에 앞서 고객을 구체적인 세그먼트로 분류했을 때 어떤 고객의 사용성(전환율)을 우선적으로 개선할 것인지 정해야 합니다. 다양한 고객군의 요구사항을 우선순위에 따라 선택하여 테스트를 진행할 수 있습니다. 실제 테스트에서는 사용성(전환율)과 관련 데이터를 확인하고 개선 부분을 결정합니다. 하지만 여기서는 검색한 책이 '등록된 경우'와 '등록되지 않은 경우' 중에서 '등록되지 않은 경우'를 경험한 고객에 집중하려고 합니다. 검색시 원하는 결과를 발견하지 못하면 부정적인 경험을 했다고 판단할 수 있기 때문입니다. 이 경우를 다음과 같이 표현할 수 있겠습니다.
검색해 보았지만, 책을 찾지 못해 실망하고 떠나버린 고객
이런 경험을 한 고객을 붙잡고, 이를 넘어 구독하게끔 하려면 어떤 개선이 필요할까요? 고객이 실망하고 떠나기 전에 다른 경험으로 이어지도록 하거나, 고객이 떠나도 다시 돌아올 수 있는 연결고리를 만드는 것이 필요합니다.
먼저, 떠나기 전 다른 경험으로 이어지도록 하려면 고객이 검색한 이유를 대신 충족시켜줄 것이 필요합니다. 그림 1-2의 왼쪽과 같이, 비슷한 유형의 책이라든지, 다른 사람들이 많이 본 책을 추천하는 방법을 고려해볼 수 있습니다.
다음으로, 고객이 떠나도 돌아올 수 있는 연결고리를 만들어 놓는 방법이 있습니다. 검색한 책이 없을 경우, 신청하기를 통해 등록 시점에 알림 받는 것입니다. 이는 향후 알림을 받았을 때 고객의 보다 적극적인 행동을 기대할 수 있습니다. AB 테스트 진행시 그림 1-2의 오른쪽 그림과 유사할 것으로 예상합니다.
검색 기능이 도입되었다는 가정 하에 위 두 가지 방법 테스트에 대해 이야기 해보았습니다. 가장 중요한 것은 검색 기능이 구독 CTA 버튼 클릭율에 연관성을 갖고, 어떤 연관성을 갖는지 파악하는 것이 중요합니다. 데이터에 기반해 검색 기능에 추가적인 개선사항과 테스트의 우선순위를 결정할 수 있습니다.
마치며
밀리의 서재에서 의도적으로 책 검색을 넣지 않았을 수 있습니다. 정확한 이유는 알 수 없으나, 개인적으로 현재 등록된 100,000권의 책에서 고객이 검색한 책이 없을 경우 오히려 초기 고객까지도 이탈해버릴 수 있다는 리스크 때문이 아닐까 생각합니다. 하지만 향후 등록되는 책이 증가하고, 충분히 유의미한 개수가 될 때 책 검색은 더이상 이탈의 원인이 아닌 유입의 원인이 될 것 입니다. 찾는 책이 있다면 '이게 있을까?'라고 의심하며 구독하기보다, 결제 전에 찾는 책이 있다는 걸 확실하게 하는 편이 더 좋은 사용자 경험을 제공한다고 봅니다.
