AB테스트 좋죠. 근데 결과는 어떻게 분석하죠?(1)

A와 B중 당신의 선택은?

  직장인이라면, 아마 AB테스트는 거의 연말정산 급으로 친숙한 단어일 겁니다. 저 역시 예외가 아닙니다. 이전 직장에서 저는 마케터도, 개발자도, 디자이너도 아니었지만 꽤 많은 AB테스트를 설계하고 진행한 경험이 있습니다. 사람들은(저 포함) 대부분 AB테스트를 굉장히 쉽게 이야기하지만, 무엇보다 어려운게 AB테스트라고 생각합니다. 

'변수를 통제하고 트래픽을 유입시킨 후,
A안과 B안중 어떤게 더 나은지 결정한다.' 

  이것은 제가 어렴풋이 알고 있던 AB테스트의 개념입니다. 변수를 통제하고, 트래픽을 동일하게 붓는 거까지는 문제가 되지 않습니다. 할만 하거든요. 문제는 마지막, '결정'입니다. '1000명 테스트했는데, B안이 클릭율이 1.5% 높았으니 B안으로 결정해야할까? 1000명은 너무 적은가?' 혼자 머릿 속으로 별 생각을 다 하다가 어느새 마음 속으로는 답을 정해버리기도 했습니다. 

그렇지만 이건 테스트의 의미가 없고 답정너밖에 되지 않는다는 생각이 듭니다.  결국 주변의 데이터 분석가를 붙잡고 물어봤습니다.

'아 이거는 귀무가설을 기각하지 못 했네요 다시 테스트해야겠어요' 

   

  그 뒤로 몇 분간 설명을 들었지만 잘 이해가 가지 않았습니다. 처음 듣는 용어도 어렵고 시간은 부족했기 때문에 결국 분석가와 함께 몇 차례의 테스트를 끝냈습니다. 그리고 결국  '귀무가설을 기각하는' 테스트 결과가 나오게 되고 AB테스트가 마무리되었던 아주 어설프고 미숙했던 경험이 있었습니다. 그렇지만 그랬던 저도 이제는 혼자서 AB테스트를 세팅하고 결과를 쉽게 분석할 수 있습니다. 굉장히 좋은 Tool들이 있고 그걸 사용하기 위한 아주 약간의 통계 개념을 알면 할 수 있습니다!

  다음 편에서는 조금 머리아플 수 있겠지만 (지극히 문과생이 바라보는) 통계적 관점에서 AB테스트에 대해 살짝 이야기해보려고 합니다. 앞으로는 더 현명하고 효율적으로 많은 분들이 AB테스트를 했으면 하거든요. 이 글은 2편으로 마무리하려고 합니다. 여러 꿀팁과 Tool을 다음편에서 공유드리겠습니다.