AB test 이전에, 서비스에 대한 이해가 우선이다

A/B 테스트 이전에 서비스를 구조적으로 이해하자

사실 많은 사람들이 AB 테스트에 대해서 오해하는 부분이 있다. 

일단 테스트를 통해 서비스에서 변경한 부분이 긍정적이 수치 상승을 일으킨다고 보일 때 거기서 AB 테스트를 종료하는 것이다. 하지만 이는 장기적으로 보았을 때 매우 매우 좋지 않은 결과를 축적할 수 있다. 단기적으로는 빠른 테스트와 실행을 통해 서비스의 지표들이 올라가는 듯 하지만, 어느 시점이 지나가 그 수치들이 하락하는 그런 결과 말이다.

왜 그럴까?
빠르고 정확한 AB 테스트는 서비스 성장의 빛과 소금이 아니던가? 

개인적으로는 테스트를 할 때 설정한 목표가 너무 근시안적이고 한정되거나, 아니면 수치는 증가 시키나 서비스의 장기적 전략으로 볼 때 고객들에게 서비스의 다른 기능들과 상반된 시그널 혹은 유저 경험을 제공할 때 문제가 생긴다고 생각한다.

간단히 생각해보자. 예를 들어 상품 Click Through Rate (CTR, 예를 들어 메인 페이지에서 상품 클릭률)을 올리고 싶다고 해보자. 이를 위해서 수치를 올리기 가장 좋은 방법은 상품 가격이 0으로 표시되도록 하는 것이다. 이 무슨 미친 짓인가 하지만 당신의 웹브라우저에 뜨는 광고들을 보라! 가끔씩 "아이패드가 무료"라는 광고가 뜨지 않는가! 

위에서 처럼 이렇게 단 하나의 핵심 지표를 가지고 AB 테스트를 실행하는 경우 팀의 성과는 올릴 수 있지만 전반적인 서비스에는 좋지 않은 영향을 끼칠 수 있다. 물론  unique user view count 같은 서비스 성장에 쓸모없지만 보기 좋은 지표를 서비스 전반의 핵심 지표로 사용한다면 얼씨구나 좋아라 할 수도 있겠지만 말이다 (실화이다). 그렇다면 어떻게 팀이 목표로 한 서비스 지표는 올리면서  서비스 전반에 좋은 영향을 줄 수 있을까? 

이렇게 생각한다면 당신은 아직 초보이다! 질문이 잘못되었다! (당신은 함정카드를 발동시켰다!)

사실 AB 테스트 이전에 가장 중요하게 생각해야 할 것은 아래와 같다

1. 서비스 전반을 수치적으로 이해하고, 

2. 그 수치들이 어떻게 연결되어 있으며, 

3. 이에 기반해, 내가 맡은 서비스의 기능을 통해 어떤 수치를 높이면 가장 효율적으로 서비스가 전략적 목표로 성취할 수 있는지 

4. 그리고 그렇게 특정 수치를 높이면 다른 서비스 부분들에 어떤 영향을 미치고

5. 마지막으로 그런 부가적인 영향을 어떻게 수치적으로 이해할 수 있는지 알아봐야 한다

다시 말해서 아래의 생각 플로우를 타야 한다는 것이다

서비스 구조 이해 ->
서비스 구조 측정 ->
신의 한 수 (어떤 수치를 올릴까?) ->
부가적 영향 정의 ->
연관 수치 정의

위의 과정들을 완료해야만 AB 테스트의 목적과 결과를 올바르게 이해할 수 있다. 문제라면 이런 과정들이 (특히 1,2,4,5번) 생각보다 많은 시간과 지식을 요구하다 보니 그냥 보기에 대충 가장 있어 보이는 수치 정해 가지고 테스트를 진행하는 경우가 많다. 이럴 경우 AB 테스트의 진정한 목적인 "배움"을 간과하고 그냥 수치 올리고 끝나버리는 테스트가 줄줄이 만들어진다. 나중에는 테스트는 많이 했는데 배운 것은 없고, 또 왜 수치가 올라가지 않는지 이해하지도 못한다. 

좋은 소식은 1,2,4,5번 프로세스는 초기에 1~2번만 하면 다음 테스트를 할 때 그렇게 시간이 많이 들지 않는다는 것이다. 이미 머릿속에 서비스 구조와  지표들의 연관관계가 박혀있는데 (개고생을 통해) 그것들을 다시 처음부터 조사할 필요는 없지 않은가!

따라서 AB 테스트를 할 때 통계적 정밀성과 빠른 실행도 중요하지만, 

서비스 구조에 대한 이해를 선행하도록 하자!