그로스 문화 도입 프로세스 11가지 (상)
이것만 따라하면 우리팀도 그로스 문화 도입이 가능하다고?
목차
1. 실험 환경 및 팀 마인드셋 구축
2. 문제 정의
3. 가설 아이데이션
4. 가설 그루밍
5. 스코어링 및 실험 가설 선정
6. 실험 설계서 작성
7. 실험안 구현
8. QA 및 AA 테스트
9. 실험 운영
10. 결과 분석 및 인사이트 도출
11. 후속 가설 아이데이션
1. 실험 환경 및 팀 마인드셋 구축
그로스 실험을 하기 위해선 실험을 할 수 있는 환경이 먼저 준비되어야 합니다. 샌드박스 구축이라고도 하는데요, 다음과 같은 6가지의 환경이 준비되어야 합니다.
1. A/B 테스트 환경
실험 지면의 트래픽을 대조군과 실험군으로 분기처리하고 조절할 수 있어야 합니다. 대표적인 A/B 테스트 툴로는 Optimizely, VWO, AB Tasty, 핵클 등이 있습니다.
2. 데이터 트래킹 환경
실험에서 측정하고자 하는 지표를 태깅하고 수집할 수 있어야 합니다. 보통 GTM으로 태깅을 하고 GA, Mixpanel, Amplitude 등 PA 툴을 연결하여 수집하며, A/B 테스트 툴에서 제공하기도 합니다.
3. 데이터 분석 환경
수집한 데이터를 바탕으로 통계적으로 유의미한 결과가 있는지 분석할 수 있어야 합니다. 수집된 데이터를 Looker Studio나 Tableau에 연결하여 확인할 수도 있으며, A/B 테스트 툴에서 제공하는 기능을 이용하거나 PA 툴에서 데이터를 직접 확인하여 분석할 수도 있습니다.
4. 유저 세그멘테이션 및 CRM 환경
특정 유저 그룹에 타겟팅이 필요한 경우 유저를 세그멘테이션하고 타겟팅 할 수 있어야 합니다. Braze 등 CRM 툴을 사용하여 실험을 타겟팅 하여 진행할 수 있습니다.
5. 실험 프로세스 환경
아이데이션 -> 가설 설정 -> 실험 설계 -> 운영 -> 결과 분석 및 인사이트 도출 -> 다음 실험 등 실험 프로세스가 정립되고 이에 맞는 실험 설계서 등이 준비되어야 합니다. 또한 이러한 실험 히스토리를 관리하여 배움이 축적되어야 합니다. 때에 따라선 플레이북을 만들기도 합니다.
6. 그로스 마인드 셋
이러한 기술적인 환경 구축 외에도 실험 전 구성원들에게 ‘실험의 80%는 실패할 것이며, 실패에서 고객에 대해 학습해야 한다’는 실험 마인드셋을 심어주는 것도 매우 중요합니다.
심지어 여기서 말하는 ‘실패’란 통계적으로 유의미한 변화를 발견하지 못한 것이며 지표 하락이 아닙니다.
구성원들이 심리적 안전감을 가지고 실험에 임할 수 있는 분위기가 조성되어 있어야 합니다.
2. 문제 정의 - 실험 지면/퍼널 선정, 목표 지표 설정
그로스 실험의 목표는 문제를 해결하여 목표 지표를 개선/달성하는 것입니다. 따라서 실험을 하기 위해서는 제일 먼저 문제를 정의해야 합니다.
우리 서비스의 주요 지표(e.g. 구매 전환율, 장바구님 담기 전환율)가 벤치마크 대비 낮은 게 문제일 수도 있고, 특정 퍼널에서 급격하게 이탈이 발생하는 것도 문제가 될 수 있습니다.
이렇듯 보유하고 있는 정량/정성 데이터를 뜯어보며 문제가 있는 지점을 찾아야 합니다.
중요한 것은 여기서 정의한 문제(Problem Definition)들은 모두 가설이라는 점이며, 이 가설을 뒷받침할 만한 정량/정성 데이터 등 근거(Validation)가 있어야 합니다.
또 한 가지 중요한 점은 과연 이 문제가 해결할 가치가 있는 비싼 문제인가 하는 점입니다.
프로덕트에는 항상 여러 문제가 동시에 존재하지만 리소스는 한정되어 있기 때문에 문제의 우선순위를 정해야 합니다. 우선순위의 기준은 여러 개가 있을 수 있지만 중요한 기준 중 하나가 바로 ‘비싼 문제’인가하는 점입니다.
여기서 비싼 문제란, 개선을 했을 때 우리의 주요 지표(주로 매출)에 큰 영향을 줄 수 있는 문제입니다.
트래픽이 많이 몰리는 지면이거나 이탈률이 높은 지면의 문제는 비싼 문제일 가능성이 높습니다.
이렇게 문제 가설을 정의하는 과정에서 우리가 실험을 해야 할 지면이나 퍼널, 목표 지표 등이 같이 설정 되게 됩니다.
3. 가설 아이데이션
문제 가설을 정의했다면 이를 해결할 솔루션 가설도 도출해야 합니다.
모든 아이데이션 단계가 그렇듯 가설 아이데이션 단계에서도 가장 중요한 것은 어떠한 제약도 하지 않고 마음껏 발산을 해야 합니다.
또한 하나의 문제 가설에 하나의 솔루션 가설만 있지 않습니다. 하나의 문제 가설을 해결할 수 있는 솔루션 가설은 여러 개가 있을 수 있습니다. 따라서 최대한 많은 솔루션 가설을 뽑아내는 것이 중요합니다.
가설 아이데이션은 ‘A문제를 겪고 있는 B고객을 대상으로 C기능을 제공하면 D지표가 E% 개선될 것이다’ 정도로 적어주시면 됩니다.
아이데이션 단계는 정답보다 선택지를 많이 만들어보는 것이 목적입니다. 너무 정교하게 쓰려고 고민하지 말고 한 문장으로 가볍게 써보시는 것을 추천드립니다.
추가로 솔루션 가설의 아이디어를 얻을 때는 넛지를 비롯한 인지심리학이나 업계의 체크리스트 등을 찾아보시는 것을 추천드리며, 챗GPT를 활용하여 넛지나 인지심리학을 기반으로 솔루션 가설을 도출해달라고 하는 것도 많은 도움을 얻을 수 있습니다.
4. 가설 그루밍
가설 그루밍 단계는 말 그대로 가설을 다듬고 정제하는 단계입니다.
앞선 아이데이션 단계에서는 발산에 집중하여 진행되기 때문에 조금은 애매하게 정의된 부분도 있고 날 것의 내용들도 있을 겁니다. 이렇게 애매한 부분들을 명확하게 정의하는 등 날 것의 가설을 실험을 위한 논의가 가능한 수준으로 다듬어 주시면 됩니다.
이와 같이 가설을 다듬는 과정에서 내용이 중복되거나 같이 실험하면 좋은 가설들은 통・폐합되기도 하며,
반대로 하나의 실험으로 진행하기 어려운 실험들은 별도의 실험으로 분리되기도 합니다.
이러한 그루밍을 정기적으로 진행하며 백로그를 관리해 주는 것이 중요합니다.
특히 이전에 실험을 진행하며 고객에 대해 학습한 내용을 반영하여 백로그의 가설들을 수정 및 추가해 주어야 합니다.
5. 스코어링 및 가설 선정
가설을 다듬어 정리된 가설 리스트가 나왔다면 스코어링을 진행하여 가설의 우선순위를 정하고 이번 스프린트에서 실험할 가설을 선정하게 됩니다.
스코어링은 ICE 스코어링 기법이 가장 많이 활용되는데요, ICE의 뜻은 각각 아래와 같습니다.
I: Impact - 실험이 성공했을 때, 즉 지표가 개선되었을 때 제품/비즈니스에 미치는 영향력
C: Confidence - 이 실험이 성공할 것이라는 자신감
E: Ease - 실험안 구현 난이도
각 항목에 대해 팀원들과 함께 논의하여 점수를 매기게 되며, 각 점수의 총합을 기준으로 하거나 평균을 기준으로 하여 순위를 매기면 됩니다.
스코어링을 진행할 때 3가지 팁은 다음과 같습니다.
1. 다른 팀원의 의견에 영향을 받지 않기 위해 각 항목 별로 3초 정도 다 같이 마음속으로 점수를 정하는 시간을 가진 뒤 동시에 말하기
2. 빠른 진행을 위해 점수대가 비슷하게 분포되어 있다면 넘어가고 극명하게 다른(e.g. 3점과 8점) 점수가 나왔을 때 논의를 하여 합의점 찾기
3. 모든 가설 리스트에 대해 스코어링을 진행한 뒤 조정 타임 가지기
이렇게 스코어링을 진행한 후에 가장 높은 우선순위로 나온 가설을 가지고 본격적으로 실험을 준비하게 됩니다.
https://brunch.co.kr/@2sin1/14