트레바리, 세상의 지적임과 사람들의 친함을 향하는 기획
[코드스테이츠 PMB 7기] A/B Test
오늘의 과제 : A/B Test
오늘의 과제는 서비스의 랜딩 페이지에 대한 분석과 이를 바탕으로 A/B 테스트를 진행하는 것입니다.
A/B Test라 함은 As-is와 To-Be의 두가지 서비스를 각 고객군에게 서비스하면서 이에 대한 반응들을 비교하면서 두 변수 중 어느 것이 더 효과적인지를 파악하는 방법론입니다..
특별히 A/B Test는 빠르게 업데이트와 변형이 가능한 IT 서비스의 장점을 극대화한 방식이라 할 수 있는데, 고객군별로 다른 방식의 서비스를 손쉽게 보여줄 수 있고 동시에 고객들이 각 서비스에 대해서 취하는 행동의 데이터를 모두 수집할 수 있다는 점에서 샘플을 통해 추측하는 방식보다 훨씬 사실에 가까운 실험이라 볼 수 있습니다.
실제 A/B Test의 구체적인 사례는 뷰저블 팀의 아래 사례를 참고하시면 더 좋을 듯 합니다.
https://brunch.co.kr/@beusable/17
오늘의 사례 : 트레바리
제가 오늘 분석해보고자 하는 서비스는 '트레바리'입니다.
트레바리는 독서모임 기반 커뮤니티 서비스로 특정 책을 중심으로 커뮤니티를 구성하여 정기적으로 독서모임을 진행하는 서비스입니다.
트레바리에 대한 자세한 설명은 위의 홈페이지를 참고하시면 됩니다.
오늘 분석하고자 하는 트레바리 홈페이지의 랜딩페이지는 고객들이 처음 트레바리에 접속해서 원하는 독서모임을 찾고, 독서모임에 대한 정보를 수집한 후 자신에게 맞는 독서모임을 예약하고 결제를 올릴 수 있는 페이지입니다.
특별히 오프라인 커뮤니티 모임(코로나 이후 온라인 모임도 활발하게 이루어지고 있습니다)에 대한 매칭 역할을 페이지가 수행하고 있기 때문에 페이지가 서비스에서 가지는 비중 또한 상당히 높은 편이라 볼 수 있습니다.
랜딩 페이지 분석
페이지는 기본적으로 스크롤 방식으로 페이지가 길게 늘여져 있는 방식임을 볼 수 있습니다. 그리고 모바일과 PC에 따라 형태가 조금씩 달라지지만 기본적인 블록 배열은 동일하다 할 수 있습니다.
블록 0 : 메뉴와 배너
맨 위 블록에는 기본적인 메뉴들이 배치되어 있습니다. '모든 클럽 보기'와 '다른 클럽 놀러가기' 등 기본적으로 랜딩 페이지의 목적 자체가 '원하는 클럽을 찾는 것'을 보여주듯이 클럽의 검색에 최적화된 메뉴들을 보여주고 있는 것을 알 수 있습니다. 거기에 '이벤트'와 새로운 서비스인 '트담트담'을 배치하고 있습니다. 그리고 우측 상단에 로그인을 할 수 있도록 하여 맞춤형 서비스가 진행되게 합니다.
블록 1 : 이미지광고
첫번째 나오는 블록은 롤링 방식으로 이미지가 바뀌면서 각종 클럽들에 대한 광고가 보여지고 있습니다. 클럽 광고 뿐만 아니라 아래 제시되는 '트레바리 활용법'이나 '나에게 꼭 맟는 클럽은 무엇일까?' 등 처음 트레바리에 참여한 이들을 위한 정보들도 보여지고 있습니다. 각 소개들에 대해서 별도의 썸네일을 제작하여 롤링 방식으로 보여주면서 굳이 스크롤을 전부 하지 않더라도 원하는 정보를 얻을 수 있도록 추천하는 방식이 보여지고 있습니다.
블록 2 : 독서모임
이후에는 각종 독서모임들이 섹션별로 나누어져서 소개되고 있습니다. 랜딩 페이지의 메인이라 할 수 있는 독서모임들에 대한 소개블록들인데요.
블록 배치 : 프로모션, 인기와 마감임박, 일반, 오픈예정
각 독서모임들은 각 모임들의 상황에 따라서 분류되어 제시되고 있습니다.
먼저 '프로모션' 섹션에서는 특별하게 운영되는 독서모임들을 제시하는 섹션으로 다른 섹션들보다 상단에 위치해서 홍보가 진행됩니다. 2021년 6월 28일 현재 기준으로는 강남, 안국 아지트에 이어 새롭게 오픈하는 '롯데백화점 잠실'의 독서모임들이 먼저 제시됩니다. 그리고 7월부터 가능해지는 8인 오프라인 모임에 맞춰 '8명이서 함께 하는 독서모임'이라는 이름으로 오프라인 독서모임에 대한 홍보가 이루어지고 있습니다.
그리고 인기 독서모임과 마감임박 독서모임을 따로 분류하여 사람들이 원하는 분류에 맞춰서 독서모임들을 제시하고 있습니다. 인기와 마감임박의 경우 다른 독서모임들에 비해 특별한 니즈들이 있기 때문에 보다 상단에 올리게 될 때에 더 많은 신청자들을 모을 수 있을 것으로 기대됩니다.
이후 일반 독서모임인 전문가와 함께하는 독서모임과 온라인 독서모임으로 섹션이 이루어져 있습니다. 다양한 독서모임들을 소개합니다.
이후 오픈 예정인 독서모임에 대한 오픈 알림을 받을 수 있도록 진행합니다. 이는 아직 오픈이 되지 않은 모임이기 때문에 소비자의 니즈를 바로 충족시키기보다, 오히려 아랫부분까지 스크롤을 내린 적극적 소비자들에게 제시하는 것이 합리적으로 보이기 때문입니다.
블록 3 : 트담트담
이후 현재 진행하고 있지 않지만 독서모임의 확장형 모임인 그룹 상담 커뮤니티 '트담트담'에 대한 홍보를 진행하는 섹션이 보여집니다.
트담트담의 경우 현재 모임을 모집중이진 않습니다. 하지만 그 아래까지 스크롤을 내린 고객들은 독서모임에서 니즈를 충분히 충족시키지 못한 고객들일 가능성이 높습니다. 따라서 독서모임과 다른 니즈를 충족시키는 트담트담에 대한 홍보를 통해 이후 모집때 대상이 될 수 있는 고객군에게 홍보를 진행합니다.
블록 4 : 블로그
블로그의 글들은 트레바리가 어떻게 진행되는지에 대해 상세하게 설명하고 있는 글모음이라 할 수 있습니다. 트레바리에 대한 인지도가 낮았던 당시에는 트레바리가 어떤 모임이고 어떻게 운영되는지를 상단에 위치시켜서 인지도를 높이려 했었다면, 이제는 기본적으로 트레바리를 충분히 인지하고 있는 고객들에게 최적화된 페이지를 구성하고 이에 대해 처음 알고자 하는 이들에게 정보를 제공하는 글들을 하단에 위치시켜서 배치하고 있습니다.
블록 5 : 트레바리 공지 및 정보
이후 나머지는 최신 정보와 함께 트레바리의 운영과 관련된 정보들을 담고 있습니다. 사회적 거리두기에 대한 내용이나 트레바리 채용, 자주 묻는 질문 등에 대한 내용들을 위치시키고 있습니다.
요약하자면, 트레바리는 기본적으로 '독서모임'을 찾고 접속할 수 있도록 페이지를 구성하고 있고 고객들이 원하는 독서모임을 간편하게 찾도록 하는 데에 중심점을 두고 있다는 것을 알 수 있습니다.
문구 및 정보 전달
기본적으로 각 독서모임들은 정사각형 틀 안에서 70%의 이미지와 함께 30%의 세줄 소개글로 구성되어 있습니다.
예시로 제시된 이영주 검사장님과 같이 셀럽들이 운영하는 클럽의 경우 각 샐럽에 대한 한줄 소개가 먼저 제시되고, 이후 굵은 제목 글씨로 모임의 제목이 제시됩니다. 그리고 그에 대한 짧은 소개글이 아래에 제시되죠.
그리고 모임장소와 첫 모임일이 제시되는 방식의 정보전달입니다.
이미지로 시선을 끌면서 모임의 주체, 제목, 내용에 대해서 짧은 글들로 정보를 전달하고 제일 하단에 장소와 시간을 제시하는 방식입니다. 고객들이 먼저 '내가 가고 싶은 독서모임'을 찾고 '나의 시간장소와 맞는가'를 따져보는 것을 비추어서 만들어진 디자인으로 추측됩니다.
동시에 좌측 상단에 '마감임박', 'NEW' 등의 태그를 통해 모임의 특별한 특징들을 제시하고 있습니다.
트레바리의 페이지 구성의 경우, 독서모임들에 대한 정보를 글과 그림 형식으로 전달하는 데에 초점이 맞춰져 있지 해당 내용에 대한 가격이나 전환 유도 등이 제시되어 있지 않습니다. 이는 트레바리가 '원하는 주제의 독서모임에 참여하세요'라는 방식의 스토리텔링을 가지고 있기 때문에 고객이 이를 상품으로 인지하고 가격과 품질 등을 비교하여 '구매'하는 것이 아니라, 원하는 주제와 내용의 독서모임에 '참여'하는 경험을 갖도록 유도하고 있음을 볼 수 있습니다.
개선해야 할 부분
앞선 내용들을 살펴보자면 '원하는 주제의 독서모임에 참여할 수 있도록 돕는 페이지'라는 컨셉을 가지고서 독서모임들의 정보를 전달하고 손쉽게 독서모임에 참여할 수 있도록 유도하는 것이 페이지의 목적임을 볼 수 있습니다.
이러한 목적에 비추어 보았을 때에 다음의 두가지 지점이 보다 개선할 수 있는 여지가 있을 것으로 보여집니다.
1. 나열식 독서모임 배열 : 원하는 독서모임을 찾기 어렵다
소비자 입장에서 독서모임을 찾을 때에 필요한 것은 '내가 원하는 주제'에 대해서 '내가 원하는 시간과 장소'에서 독서모임을 하느냐에 대한 정보일 것입니다. 이는 각 독서모임에 대한 소개 뿐만 아니라 독서모임들을 분류하고 큐레이팅 하는 데에도 동일하게 적용될 경우 소비자들의 편의가 월등하게 개선될 수 있습니다.
하지만 현재의 랜딩 페이지 구성은 '프로모션', '인기', '마감임박' 등 공급자 중심으로 페이지 구성이 진행되고 있음을 알 수 있습니다. 사람들에게 보다 많이 노출될수록 회사에 도움이 되는 방식으로 분류되어서 제시되고 있는 것이죠. 하지만 이 경우 고객들이 원하는 독서모임을 찾는 데에 있어서 도리어 불편함을 느낄 수 있습니다.
이와 비슷하게 많은 콘텐츠들을 배열해서 고객들에게 제시하는 네이버 웹툰의 경우, 업데이트 날짜에 맞추어서 '요일별 웹툰'을 깔끔하게 제시하고 있습니다. 이 경우, 자신이 원하는 웹툰의 업데이트 날짜에 맞추어서 간편하게 웹툰을 찾을 수 있고, 더 나아가 자신이 보는 웹툰과 동일한 날에 업데이트 되는 다른 웹툰도 찾아볼 수 있다는 점에서 고객 중심으로 배열하는 방식이라 할 수 있습니다.
따라서 트레바리의 경우에도, 주제별, 날짜별, 장소별 독서모임을 분류하고 시각화해서 간편하게 소비자들이 원하는 독서모임을 찾고 신청할 수 있도록 랜딩페이지를 업데이트 할 필요가 있습니다.
2. 독서모임카드 : 뭘 하고자 하는지 잘 모르겠다.
공급자 중심의 페이지 구성은 각 독서모임카드에서도 나타나기도 하는데요. 현재 제시되고 있는 이미지 썸네일 및 세 줄 소개의 경우에도 정확히 어떤 컨셉의 독서모임이 진행되고자 하는지 한 눈에 들어오지 않는다는 한계가 존재합니다. 그럴듯한 문구들로 독서모임들이 설명되지만 독서모임의 '정보'를 전달하는 데에는 도리어 문구들이 방해를 하는 것으로 보입니다.
세부 독서모임 내용을 살펴볼 경우, '지연된 정의'라는 책을 가지고 '과거 수사와 재판을 돌아보면서 논의한다'라는 내용이 들어 있음을 알 수 있습니다. 이러한 부분들이 독서모임 카드에 간단하게 제시될 경우, 보다 편리하게 소비자들이 독서모임의 성격과 특징을 파악하고 접속할 수 있을 것으로 보여집니다.
As is - To be
앞서 언급한 두가지 내용 중에서 A/B Test는 한 가지 변수를 정해서 하나하나 테스트를 진행해야 하기 때문에 먼저 '독서모임카드'에 대한 부분을 중심으로 A/B Test를 진행하고자 합니다.
앞서 제시한 '소비자 중심형 독서모임카드'를 만들기 위해서는 독서모임카드에 '독서모임컨셉'과 '첫번째 책', 그리고 '주제'를 중심으로 글 문구를 제시하고 이후 시간과 장소를 제시하고자 합니다. 결국 독서모임에서 중요한 것은 '어떤 목적'으로 '어떤 책'을 '누구와' 읽는가에 대한 부분일테니깐요.
기본적으로 클럽장이 제시할 수 있는 문구를 '한줄'로 줄인 후, '첫 모임책'과 '태그'를 제시하는 방식으로 독서모임카드를 제시하면 보다 많은 사람들이 원하는 모임을 찾아서 결제하는 방식들이 많아질 것으로 기대해보고자 합니다.
테스트 스케쥴링
테스트의 경우 아래와 같이 진행됩니다.
1. 각 독서모임카드 별로 기존 카드와 새로운 카드를 동시에 자료로 제작합니다.
2. 제일 하단의 '일반독서모임' 섹션을 새로운 카드로 리뉴얼해서 런칭합니다.
3. 일반독서모임 섹션에서 일어난 데이터를 분석해서 기존 일반독서모임 섹션 데이터 및 타 섹션 데이터와 비교합니다.
주요하게는 '클릭율, 지속시간, 결제율'을 중심으로 분석합니다.
4. 통계적 유의성(P-value)을 계산합니다.
5. 결과가 우수할 경우, 해당 리뉴얼을 다른 섹션에도 확장해서 반영합니다.
나가며
결국 A/B Test를 설계함에 있어서도 기존 서비스에 있어서 어떠한 측면에서 개선할 여지가 있는지를 파악함에 있어서도 어떤 '사업철학'을 가지고 접근해야 하느냐가 중요함을 새삼 느끼게 됩니다. 트레바리에 있어서도 트레바리가 진짜 '소비자들이 원하는 주제, 원하는 책을 읽는 모임을 쉽게 찾을 수 있는 것'을 지향할 때에 그에 대한 서비스 구성과 내용이 달라질 수 있음을 볼 수 있었습니다.
특히 IT 서비스가 가지는 빠른 업데이트와 데이터 분석, 그리고 소비자간 비교가 가능하다는 것이 얼마나 유연하고 기민하게 소비자의 니즈와 원하는 비전으로 프로덕트를 업그레이드하고 업데이트할 수 있는지를 보게 되는 듯 합니다. 따라서 데이터 분석과 이를 바탕으로 한 서비스 개선, 그리고 제품비전을 향한 개선이 빠르고 기민하게 제품의 혁신을 가져올 수 있을 것이라 기대하게 되었습니다.
