이것만 따라하면 우리팀도 그로스 문화 도입이 가능하다고?
https://brunch.co.kr/@2sin1/13
1. 실험 환경 및 팀 마인드셋 구축
2. 문제 정의
3. 가설 아이데이션
4. 가설 그루밍
5. 스코어링 및 실험 가설 선정
6. 실험 설계서 작성
7. 실험안 구현
8. QA 및 AA 테스트
9. 실험 운영
10. 결과 분석 및 인사이트 도출
11. 후속 가설 아이데이션
실험을 진행할 가설을 정했다면 이제 본격적으로 실험 설계서를 작성하게 됩니다.
일반적으로 실험 설계서에는 다음과 같은 내용들이 들어갑니다.
1. 가설 정의
‘A문제를 겪고 있는 B고객을 대상으로 C기능을 제공하면 D지표가 E% 개선될 것이다’와 같이 실험할 가설을 한 줄로 정의합니다.
2. 문제 정의 및 근거
‘할인 혜택이 눈에 띄지 않는다’와 같이 정의한 문제(Definition)를 적고 정량/정성 데이터 등의 근거(Validation)를 적습니다.
3. 솔루션 정의 및 근거
‘할인 혜택을 구매 버튼 밑으로 배치한다’와 같이 정의한 솔루션(Description)을 적고 레퍼런스, 체크리스트, 연구 논문 등의 근거(Rationale)를 찾아 적습니다.
4. 지표 설정
실험을 통해 측정할 지표를 적습니다. 지표는 크게 Primary Metric, Secondary Metric, Guardrail Metric 3가지를 적습니다.
Primary Metric은 이번 실험에서 개선하려고 하는 주요 지표입니다.
Secondary Metric은 Primary Metric의 변화, 즉 실험의 성공과 실패를 해석하기 위해 같이 측정해야 하는 지표입니다. 주로 Primary Metric의 선행 또는 후행 지표 등이 있습니다.
마지막으로 Guardrail Metric은 떨어져서는 안되는 지표로 주로 매출, 활성유저수와 같은 비즈니스 상위 지표가 됩니다. Primary Metric이 개선되었더라도 궁극적으로 Guardrail Metric이 떨어지게 되면 해당 실험은 실패로 판단해야 합니다.
또한 이러한 지표를 수집하기 위한 택소노미를 작성합니다.
5. 타겟 오디언스
실험을 진행할 타겟 오디언스를 정의합니다. 실험 지면에 들어오는 모든 고객으로 정하거나 연령, 성별, 구매 금액, 방문 횟수 등 고객 세그멘테이션을 통해 세부적으로 설정할 수도 있습니다.
6. 실험군 설계
실험군은 몇 개로 할 건지, 각 실험군은 어떤 모습으로, 어떤 기술을 활용하여 어떻게 구현할 것인지 등 상세하게 설계를 합니다. UI가 변경된다면 변경된 UI 디자인을 넣어도 좋습니다. 또한 대조군과 실험군에 각각 트래픽을 몇%로 분할(Split)할지, 어떤 기술로 분할할지도 정의합니다.
7. 실험 기간
실험 런칭일부터 종료일까지 실험 기간을 정합니다. 중요한 것은 실험 기간 중 타겟 오디언스의 모수를 예측하고 해당 모수로 통계적 유의성이 확보되는지 확인해야 합니다. 통계적 유의성이 확보되지 않는 모수라면 실험 기간을 늘리거나 트래픽을 더 늘릴 수 있는 방법을 찾아야 합니다. 실험 기간과 트래픽을 늘릴 수 없다면, 실험 전부터 해당 실험은 통계적 유의성을 확보하기 어렵기 때문에 실험의 결과도 참고용으로 활용할 것임을 팀에서 미리 인지하고 실험을 진행해야 합니다.
실험 설계서를 작성했다면 이제 실험을 실행하기 위한 구현과 QA를 해야 합니다.
1. 실험 설계서에서 정의한 솔루션에 맞게 UI 또는 기능을 구현합니다.
2. 수집해야 할 지표는 택소노미에 맞춰 이벤트 태깅을 진행합니다.
3. 타겟 오디언스에게 실험안이 노출될 수 있게 설정합니다.
4. 실험군/대조군 간의 트래픽 분할도 설계한 비율에 맞게 배분합니다.
5. QA를 통해 UI 또는 기능이 제대로 구현되었는지, 데이터는 정상적으로 수집되고 있는지, 트래픽이 비율대로 분배되고 있는지 등을 확인합니다. 특히 데이터 수집은 AA 테스트를 통해 QA를 합니다.
QA까지 이상 없이 진행하였다면 실험 기간에 맞추어 실험을 런칭합니다.
런칭 전 실험 런칭에 대해 유관부서 및 이해관계자들에게 필수적으로 공지해야 합니다.
특히 런칭 후 3시간은 실험안이 정상적으로 노출되고 있는지, 데이터가 정상적으로 수집되고 있는지 모니터링 하는 것이 중요합니다.
실험이 종료되었다면 결과에 따라 데이터를 분석하고 인사이트를 도출합니다.
1. 정량 데이터 분석
가장 먼저 해야 할 일은 Primary Metric 중심의 정량 분석입니다.
실험군과 대조군 간의 지표 차이를 확인하고 통계적으로 유의미한 차이가 있는지 검증합니다. 여기서 말하는 “유의미하다”는 것은 통계적 유의성(Statistical Significance)이 확보되었는지를 의미합니다.
또한 Guardrail Metric이 낮아지지 않았는지도 함께 확인해야 합니다.
2. 액션 플랜
실험 결과에 따라 액션 플랜을 결정하고 진행합니다.
실험군이 유의미하게 개선되었다면 실험안을 정식 배포하고 대조군이 이겼다면 기존안을 유지합니다. 만약 유의미한 차이가 없다면 논의를 걸쳐 결정을 합니다.
만약 실험군이 졌을 경우 Secondary Metric을 통해 왜 졌는지 원인을 분석합니다.
3. 정성 데이터 분석
정량 데이터만으로는 실험의 배경과 원인을 충분히 이해하기 어렵습니다.
따라서 실험 종료 후 해피콜, 유저 인터뷰 등을 진행하여 정성 데이터도 함께 수집 및 분석합니다.
또한 추가로 히트맵 등을 설치해두었다면 함께 분석합니다.
4. 인사이트 도출 & 공유
정량/정성 데이터를 종합하여 핵심 인사이트를 도출한 뒤 실험 결과 레포트를 작성하여 팀 내부에 공유하고 필요시 유관부서에도 공유합니다.
실험이 종료되고 인사이트를 도출하면 고객에 대해 새롭게 알게 되는 점이 생기고 자연스레 많은 실험 아이디어들이 생기게 됩니다.
이러한 아이디어들로 새로운 가설을 도출할 수도 있고 후속 실험에 대한 가설을 도출할 수도 있습니다.
이렇게 도출된 가설들은 가설 백로그에 추가되고, 이후 다시 한번 가설 그루밍 → 스코어링 → 실험 스프린트로 이어지게 됩니다.
이 과정들을 계속 반복하며 실험이 멈추지 않고 돌아가게 되며, 조직에 실험 사이클이 자리잡게 됩니다.
실험이 종료되었다면 꼭 회고를 진행해야 합니다.
이번 실험에서 좋았던 점은 무엇이었는지, 아쉬웠던 점이나 미흡했던 점은 무엇인지, 다음 실험에서는 어떻게 개선해서 실험을 진행할지 등에 대해 이야기하며 실험의 수준을 높여나가야 합니다.
또한 개별 실험 단위뿐 아니라 수개월 단위로 진행되는 상위 프로젝트 수준에서의 회고도 진행하는 것을 추천드립니다.