A/B 테스트 세팅 전 알았다면 좋았을 것들.
A/B TEST 천재가 되자 되자, 실험왕찐천재가 되자 되자
이 글의 bgm으로는
공부왕찐천재의 <천재가 되자>를 권합니다.
천재가 되자 되자
nobody's perfect
안 해서 하는 후회만 남기지 마
- 천재가 되자 가사 中
A/B 테스트 천재가 되자 되자
최근 대선 후보 분들이 공부왕찐천재 채널에 출연해 큰 화제였다.
약속한 차례대로 안철수 후보님은 원주율을, 윤석열 후보님은 이차방정식을, 이재명 후보님은 도형의 닮음을 맡아 딱딱한 수학을 쉽고 재밌게 알려주셨고, 콘텐츠를 보는 내내 나는 또 한 번 멘토의 중요성을 실감했다.
어려울수록 기초부터 차근차근 시작하며, 스스로 모르는 것이 해결될 때까지 잘 질문하는 것이 중요하다.
그리고 나는 해당 콘텐츠를 보며 A/B 테스트를 떠올렸다. 최근 한 PO님의 의뢰로 핵클 UT에 참여했었는데, 대답을 하면서도 모르는 것이 많아서 스스로 조금 답답했다. PM은 공부해야 할 것이 왜 이렇게 많을까?!
그러다 핵클에서 쿠팡 출신의 시니어 PO, 데이터 사이언티스트 분과의 커피챗을 주선해 주셨고, '잘 질문할 수 있는' 기회가 될 것 같아 신청했다. 평일 오전이라 근무시간과 겹쳐 처음에는 신청하지 못했는데, 다행히 CPO님께서 사내 슬랙을 통해 관심 있는 분들의 참여를 권장해 주셔서 무사히(?) 참석할 수 있었다.
여기어때, 쏘카, 토스, 지그재그, 팀스파르타 등 다양한 스타트업의 PO, DA분들과 함께 할 수 있었고, 그렇게 커피챗에서 얻은 두 가지의 배움을 공유하려 한다. 처음에는 이걸 내가 미리 알았다면 좋았을 텐데 하는 아쉬움도 있었지만, 커피챗에 참여했다는 액션을 통해 얻은 배움이니 앞으로도 직접 부딪혀가며 경험하고 배워나가려 한다 :')
1. 사용자 식별자
사용자 행위 기반의 A/B 테스트 목표 측정을 위해서는 테스트에 노출되는 유저를 식별하는 기준이 명확해야 한다.
비로그인 유저일 경우 deviceID로 구분할 수 있고, 로그인 유저일 경우 서비스 내 회원정보 (= 사용자 지정 식별자)로 구분할 수 있다.
출처: Hackle 서비스 가이드예전에 핵클로 특정 영역 클릭 시 노출되는 화면을 A vs B로 실험한 적 있는데, 그때 한 고객분이 왜 PC로 들어갔을 때와 스마트폰으로 들어갔을 때의 화면이 다른지 여쭤보신 적이 있었다. A/B TEST를 고객에게 들켰다는 마음에 당황했던 기억이 난다.
당시에는 식별자를 가장 익숙한 deviceID로 했었는데, 돌이켜보면 데스크톱 + 모바일 웹에서 비/로그인 분기 없이 전체 유저를 대상으로 했으니 쿠기 값 기반의 PCID가 적절했을 것 같다. 임팩트 있는 실험이었음에도 새로운 사실을 알고 나니 아쉬움이 생겨버렸다 ^_ㅠ,,
2. A/B Test Trigger Sync
실험 문서 작성할 때 ATF/BTF를 체크하여 테스트 트리거에 대한 싱크 맞추기.
ATF는 'Above The Fold'의 줄임말로,
진입 시 노출되는 첫 화면과 영역들을 뜻한다.
BTF는 'Below The Fold'의 줄임말로,
스크롤을 내려야 노출되는 화면과 영역들을 뜻한다.
예를 들어 클래스101 메인 페이지의 ATF를 살펴보자. 동일한 홈도 데스크탑과 모바일 웹의 ATF에 노출된 영역들이 다르기 때문에, 실험 세팅 전 개발자 분과 ‘메인페이지에 유입된 유저‘가 아닌 ‘메인페이지의 어떠한 영역이 노출된 유저’로 커뮤니케이션하여 테스트 트리거에 대한 싱크를 맞추는 것이다.
A/B 테스트 천재가 되자 되자
실험왕찐천재가 되는 그날까지,
나의 공부는 계속된다.
커밍 쑨.
