인스타그램의 AARRR 분석과 A/B test (2)
그로스 해킹-(3) A/B test를 인스타그램에서 진행한다면?
인스타그램으로 A/B test 설계해보기 2탄!
(1탄 내용은 앞의 게시글에서! https://brunch.co.kr/@mingsunny/2)
퍼널 별로 A/B test 해볼만한 과제를 찾아보았고, 그중에서 ‘인플루언서를 추천할 때, 게시글을 함께 보여주면 팔로우를 쉽게 할 것이다’ 를 가설로 설정하여 A/B test를 설정해보려고 한다
A/B Test 설계
1) 가설
신규 사용자에게 인플루언서 및 지인을 추천할 때, 게시글을 함께 보여주면 팔로우하는 계정이(인당 팔로우 수) 5% 증가할 것이다.
인스타그램 아이디나 닉네임만으로는 본인임을 알기 어려운 경우가 많다. 특히 기존 유저들에게는 익숙하지만, 신규 유저들에게는 낯선 인플루언서의 아이디들이 많이 있다.
신규 유저는 인플루언서의 계정 이름과 닉네임만 보고 누구인지 추측하기 어려울 수 있다.* 참고 : 가정과 가설은 다르다. 가설은 “A이면 B일 것이다.”
2) 목표
신규 사용자가 회원가입 직후 인플루언서 및 지인을 팔로우 하는 수, 즉 인당 팔로우 수를 5% 높인다.
3) 기간
일주일 (회원가입한 사용자 수에 따라 A/B test 계산기를 통해 산정한다)
4) 대상
신규 가입을 하는 사용자들
5) 대조군과 실험군
- 대조군 : 기존과 동일하게 화면을 노출한다.
- 실험군 : 아래와 같이 화면을 노출한다.
- 비율은 일주일간 실험을 진행해도 유저 수가 충분하다면, 대조군 80 : 실험군 20으로 설정하고자 한다. 실험 화면으로 노출하게 되면 한 스크롤에 추천할 수 있는 인물의 수가 줄어들게 됨으로 조심스럽게 접근하는 바이다. Impression 대비 click 수도 함께 보는 것이 좋을 것 같다.
실험군 : 팔로우할 사람을 추천하면서, 그 게시글을 최대 10개까지 함께 보여준다.6) 지표
- 핵심지표 : 회원 가입 직후 추천된 영역에서의 인당 팔로우 수.
- 보조지표 :
1) 회원 가입 직후, 추천된 영역에서의 사용자 기준 팔로우 전환율
2) 추천된 영역에서 계정 클릭률
3) 접속 시간과 접속 횟수 : 해당 영역으로 인해 리텐션에는 영향을 미치는지 확인하기 위함
4) 각 유저 당 총 팔로우한 수
- 중단지표 (가드레일 지표) : 팔로우할 사람을 추천하는 페이지에서 이탈율이 대조군에 비해 유의미하게 낮다고 판단되는 경우 (95% 신뢰구간으로 추정)
실험을 진행하고 지표를 분석할 때, 아래와 같은 경우가 있을 수 있다.
(1) 지표를 분석할 때 유의미한 결과이지만 목표에 도달하지 못하는 경우
--> 적용한 뒤, 목표를 도달하기 위한 다른 실험을 추가적으로 진행해본다.
(2) 실험군과 대조군 사이의 위너는 있지만 통계적으로 유의미하지 못한 경우
--> 모수를 늘려 실험을 더 진행해본다.
(3) 실험군과 대조군 사이의 위너도 정하지 못한 경우
--> 왜 그런지 원인을 찾아 실험을 다시 설계한다.
- A/B test의 목적이 인스타그램의 아하모먼트를 어떻게 높이면 좋을지에 대해서 부터 생각했다는 점
- 적절한 가설을 세우고, 핵심지표와 보조지표를 선별해보았다는 점
- 가드레일 지표도 세워보았다는 점
이런 부분들은 실제 A/B 테스트를 진행하는데 있어서도 꼭 명심하면서 진행하면 좋겠다고 생각했다.
제품을 성장시키기 위해, 데이터 기반의 이런 A/B test는 적극적으로 활용해보고 싶다.
