by
Apr 20. 2024
모수가 적을 경우 피해야 하는 실험
1차 스프린트 내용, Low-Hanging-Fruits
이번주 스쿼드팀 미팅에서 1회 차 스프린트에 대한 실험을 마무리하기로 했다.
(우리 팀이 스쿼드, 스프린트를 어떻게 진행하기로 했는지에 대한 내용은 이전 글을 참고해 주시면 감사하겠습니다.)
1회 차 스프린트 내용을 간단하게 구조화해 보면 다음과 같다.
문제점
서비스 5달 CC(Carrying Capacity)를 확인해 본 결과 40%가 넘는 리텐션에 비해 AU(Active User, 제품 구매 사용자)가 낮은 상황
문제 분석
우리의 제품을 구매한 고객들의 행동과 구매하지 않은 고객들의 행동 패턴은 어떤 차이를 보이고 있을까에
대한 데이터를 분석해 본 결과, 우리의 제품 페이지를 조회한 고객과 구매 간의 상관관계가 있음을 파악
가설
제품 페이지를 조회한 고객과 구매 간의 상관관계가 있으니, 고객들을 페이지 전환수를 늘리면 자연스럽게 AU도 늘릴 수 있을 것이다.라는 가설 수립
가설 검증을 위한 실험 방법
사용자가 처음 들어오면 보이는 메인 페이지의 기타 요소들의 위계가 제품 페이지로 전환될 수 있는 요소보다 위계가 높은 상황. 즉, 우리 목표 달성을 위해 위계질서가 재 정립되어야 함
HOW
어떻게 위계질서를 재 정립할지에 대한 분석
기존
메인 페이지
우리 서비스의 고객은 4060, AOS를 많이 사용해 기준을 AOS로 설정기존 메인페이지의 구조는 다음과 같다.
기존 메인페이지는 사용자가 첫 진입 시 제품으로 랜딩 될 수 있는 섹션이 한눈에 보이고 있지 않다.
메인 배너와 카테고리 버튼들이 화면 내에 위치상으로나 디자인 적으로 강조되고 있어, 사용자의 시선은 해당 요소들에 집중되고 있고, 상품 정보 탐색을 위해선 스크롤이나 추가 액션이 필요한 상황이었다.
이를 더 확실한 데이터로 판단하기 위해 GA데이터를 확인해 본 결과 우리의 예상은 적중했다.
메인 페이지 내에서 가장 클릭률이 많은 부분은 메인 배너와 카테고리 섹션이었고, 제품 페이지로의 유입도 카테고리 버튼 클릭 - 제품 탐색 - 제품 클릭의 Flow가 데이터상으로 많이 축적되어 있는 상태였다.
개선
메인 페이지
이에 우리 팀은 기존 페이지에서 다양한 프로모션과 제품 내용을 직관적으로 보여줄 수 있는 메인 배너의 클릭률은 그대로 유지하면서, 상단 띠 배너 제거와 카테고리 버튼의 강조점을 약하게 부여해 제품으로 랜딩 될 수 있는 섹션을 주어진 뷰포트에서 최대한 많이 보일 수 있도록 개선을 진행하고자 했다. 이렇게 된다면 카테고리 버튼의 클릭률을 자연스럽게 제품 섹션으로 분산시킬 수 있을 것이다 판단했다.
A/B Test
테스트 진행 및 결과
A 그룹과 B 그룹을 나눠 약 1달간 실험을 진행해 본 결과, A그룹이 B그룹보다 1.9%의 차이로 클릭을 더 많이 했지만, 구매까지의 퍼널과 해당 퍼널에서의 변수들 또 해당 차이가 유효하다고 판단하기 위해서는 실험군 당 10,855개의 데이터가 필요하기에 해당 실험은 실패했다고 판단할 수 있다.
회고
우리가 진행했던 실험은 *Low-Hanging-Fruits 실험으로 대량의 트래픽이 있지 않은 우리의 서비스 상황에는 적절하지 않다는 것을 느낄 수 있었다. 트래픽이 크지 않기에 결과를 얻기 위해선 많은 실험군이 액션을 취해야 하는데 그 데이터를 얻는 데에 시간이 많이 소요된다는 것을 느끼게 되었다.
Low-Hanging-Fruits : 직역하면 낮은 가지에 달려 있는 과일이라는 뜻, 의역해서 '쉽게 이룰 수 있는 목표나 성과'를 의미한다.
우리의 가설은 제품 조회수가 구매에 영향을 미칠 것이다라는 가설을 세웠지만, 구매까지의 퍼널을 고려하지 못한 상태로 메인 페이지에서의 행동에만 초점을 맞췄다. 그렇기에 변수 통제가 명확하게 이뤄지지 않아 초기에 설정했던 가설의 검정이 어려워지게 된 거 같다. 앞으로의 실험에선 변수에 명확한 통제와 각 퍼널에서 미칠 수 있는 영향들을 고려해 기획을 진행해야 명확한 실험을 진행할 수 있음을 느끼게 되었다.
