당근마켓의 랜딩페이지, A/B테스트를 통해 개선해보자
[코드스테이츠 PMB 12] 당신 근처의 당근마켓
지난 글로 당근마켓의 랜딩페이지를 분석해보았다. 랜딩페이지의 역할은 무엇일까? 신규 유저들이 접속하여 당근마켓의 유저로 전환될 수 있도록 유도, 당근마켓의 서비스에 대해 이해하도록 도움, 당근마켓 사용 가이드 제공, 그리고 당근마켓을 사용할만한 매력 포인트를 전달하는 것이라고 할 수 있겠다.
현재 만들어진 랜딩페이지를 보고 수정하면 좋겠다고 생각한 부분들이 있었다. 웹에서는 당근마켓 PC 버전이 없어서 다운로드 링크를 강조하지 않았다는 생각이 들었다. 앱에서는 플로팅 배너를 통해 다운로드 링크를 노출하고 있었는데, 소개 페이지 가장 앞에 있는 것보다 플로팅 배너가 효과 있을까? 의문이 들었다. 하지만 이 수정이란 것도 개인의 생각만으로 바꿀 수는 없다. PM이라면 상대를 설득하기 위해 이 과정에서 A/B테스트에 수행한다. 그 결과를 토대로 팀을 설득하는 것이다.
그렇다면 실제로 당근마켓은 어떻게 실험을 진행하고 있을까? 테크 블로그를 통해서 당근마켓이 어떻게 A/B테스트를 진행하는지 확인할 수 있었다. 당근마켓이 1주일에 1개 실험할 수 있도록 설계해놓은 실험 방법을 따라 랜딩페이지 개선을 위한 A/B테스트를 위한 실험을 설계해보자. 뚝딱!
개념 정리부터 하고 가자. A/B테스트는 무엇일까?
A/B 테스트는 정의된 지표와 관련하여 여러 가지 버전의 기능이나 페이지를 평가하는 실험. 쉽게 말해 두 그룹의 사용자들에게 서로 다른 페이지나 기능을 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 UX를 제공할 수 있는지를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법을 의미.
당근마켓 A/B테스트 실험 문서 템플릿을 따라 작성해보았다. 실험을 하려는 이유, 실험 UI, 실험 준비, 세팅까지 따라가 보자.
실험하려는 이유
[당근마켓 가이드]
왜 실험을 해야 하는지 잘 정의하는 것이 실험 설계의 첫 단계예요. 어떤 현상을 관찰했고, 무엇이 문제/원인이라고 생각했고, 어떤 해결책을 생각해봤고, 그 해결책은 어떤 지표를 개선시킬지 생각해보는 과정이 중요해요. 이 과정을 위해 필요한 데이터를 확보하고 분석할 수 도 있어요. 서술형으로 작성해보세요!
-> 당근마켓에 관심을 가진 신규 유저가 검색을 통해 들어왔을 때, 랜딩페이지에서 따라다니는 플로팅 배너를 번거롭게 생각하는 유저들이 있을 수 있다고 생각한다. 유저들을 방해하는 플로팅 배너 대신 첫 페이지에 당근마켓 다운로드 CTA를 제공함으로써 이 문제를 개선해본다. 다운로드 수, 이후 신규회원으로 전환된 유저수를 개선 지표로 확인한다.
실험 UI
[당근마켓 가이드]
실험 전/후 또는 실험군과 대조군을 쉽게 비교할 수 있도록, 서비스에 반영되는 UI를 첨부해요
(좌) 기존 랜딩페이지 / (우) 대안 랜딩페이지-> A/B 테스트를 수행할 수 있도록 기존 랜딩페이지와 대안 랜딩페이지의 UI를 수정했다. 왼쪽은 앱에서 볼 수 있는 기존의 랜딩페이지이며, 오른쪽은 플로팅 배너 대신 첫 번째 페이지에 다운로드 CTA를 노출시킨 랜딩페이지이다.
실험 준비
[당근마켓 가이드]
실험 제안자가 직접 작성하며, 5개의 항목으로 이루어져 있다.
- 실험 가설 : 예상하는 원인과 결과에 대한 간결한 명제
- 핵심지표 : 실험의 목적 및 개선 목표인 지표
- 보조지표 : 핵심 지표 이외에 추가로 실험 결과 해석하기 위해 참고할 지표
- 가드레일 지표 : 실험의 영향으로 떨어지면 안 되는 주요 지표
- 실험을 위한 사전작업 : 개발 배포가 필요한지, 디자인/문구 등의 변경이 필요한지 등
- 실험 가설의 경우 플로팅 배너를 귀찮아하는 유저들이 있을 것이며 (원인) 그 유저들은 첫 페이지에 고정되어 있는 다운로드 CTA를 선호할 것(결과)이라는 명제를 세웠다.
- 목표는 CTA자체에 대한 클릭수 증가 및 유입된 유저들이 실제 회원으로 전환되는 것이다.
- 그렇다면 얼마나 많은 사람들이 플로팅 배너의 '닫기'버튼을 누를까? 함께 확인해보면 좋을 것 같다.
- 하지만 이 실험으로 변하지 않아야 하는 건 당근마켓 랜딩페이지에 유입되는 유저의 수이다.
실험 세팅
[당근마켓 가이드]
4개의 항목으로 이루어져 있다.
- 실험대상 : 랜덤 하게 나눈 사용자 대상, 예를 들어 안드로이드 6.3.1 버전 이상
- 실험기간 / 규모 : 실험을 수행한 기간과 몇 명에게 실험했는지
- 실험 변수 : 대조군과 실험군 사이 차이를 발생시키는 변수
- 대조군과 실험군에 해당하는 변수의 값
-> 실험 인원이 많을수록 유의미한 p-value값을 얻을 수 있다. 정확한 당근마켓의 랜딩 페이지 유입 수를 알 수 없어서 대략 1000명으로 잡았다. 로그 IP를 확인할 수 있다는 가정 아래, 실험 변수와 실험 집단을 나누었다. 이제 실험을 진행해보면 된다!
여기서 잠깐! p-value란?
: ‘어떤 가설을 전제로, 그 가설이 맞는다는 가정 하에, 내가 현재 구한 통계 값이 얼마나 자주 나올 것인가’를 의미한다. (일반적으로 0.05보다 낮으면 신뢰할 수 있다고 본다)
웹에서 앱으로 랜딩페이지 기준을 변경하며 플로팅 배너를 기준으로 삼게 되었다. 당근마켓이 이미 이런 A/B테스트를 통해 플로팅 배너에 CTA를 심기로 결정했을지도 모르겠다. 그래도 뭐, 상상만 하는 것보단 설계라도 해봐야지 뭐! 실험에 대하여 준비과정과 세팅까지 작성해보며 구체적으로 A/B테스트를 머리로 그려볼 수 있었다. 실제로 해보면 더 재미있겠다.
서핏에 글이 올라왔어요! 감사합니다 :)
많은 분들이 보러 와주셔서 뿌듯합니다 �
글을 읽으시고 피드백해주실 부분이 있거나,
의견이 있으신 분들은 댓글로 말씀 부탁드립니다!
제안하기를 눌러서 의견주셔도 좋아요!
#코드스테이츠 #PM부트캠프
[자료 출처]
