A/B Test와 통계
A/B 테스트는 동일한 사항에서 변수를 1개만 바꿨을 때 사람들의 반응을 보는 것을 말한다. 디자인, 마케팅 등 다양한 곳에서 쉽게 사용될 수 있는 방법이다.
출처 : optimizely.com위 이미지를 보면, A안에서는 빨간색 / B안에서는 초록색 으로 배너 색상을 정했을때 전환율(혹은 클릭율 등)이 23% 대 37% 로 B안이 더 효과가 좋다고 얘기할 수 있다. 100명이 각각의 시안을 보았을때, A안 23명 / B안37명이 전환(혹은 반응)이 되었기 때문에.(흔히 그렇게 얘기한다.)
이때, 결과를 통계적 지식을 활용하여 한번 더 살펴볼 필요가 있다. (실제 테스트의 차이가 유의미하게 나오지 않을 경우가 많고, 유의미하게 보인다고 해서 무조건 신뢰할 수는 없기 때문이다.)
A/B Test는 추론통계를 활용한 방법이다. 여기서 추론통계는 자신의 이론이나 가설을 증명하기 위해서 사용되는 방법으로 전체 데이터 중 일정한 표본을 추출 -> 분석 -> 추론의 과정을 거친다. (A/B Test는 모든 사람이 아닌 일부 사람들에게 무작위로 진행된다. 즉, 위에서 얘기한 일정한 표본(대상)에게만 진행된다.) 스타트업에서 A/B Test를 한다면 주로 페이스북과 인스타를 이용한다. 두 곳의 모든 대상에게 실험을 진행하는 건 불가능하기 때문에 추론통계를 이용한다. 이 말은 결국, A/B Test는 Fact라기보단 확률이고 수치가 얼마나 유효한지를 보는것이다.
위 이미지처럼 "빨간색vs초록색 배너의 전환율을 보겠다" ( 더 정확히는 빨간색 배너의 전환율이 높을것이다.)라는 가설이 나온다면, 그 가설에 따른 결과를 얼마나 믿을 수 있는지 정해야한다. 왜냐하면, 추론 통계가 fact가 아니기 때문이다. 실험 결과가 실제 데이터에 얼마나 맞을 지 확신해야하기 때문이다. 이를 유의수준을 설정한다고 하고, 주로 95% 신뢰구간을 이용한다. 그리고 이를 이용하여 실험 결과를 계산해야한다. 먼저, 실험마다 표본의 평균이 달라질 수 있다. (실제 페이스북 광고를 돌려보면, cpi 등이 매번달라진다. 표본이기 때문일 것이다.) 그렇기 때문에 표본 평균의 표준 오차를 계산해야한다. 위 공식을 이용하여 표준 오차를 구하고, 이를 토대로 결과값에 대한 표본 평균의 95% 신뢰구간을 구해야한다. 이를 이용하여, 표본 평균의 범위가 어느정도인 지 알 수 있다. 그리고 다른 표본과의 비교가 쉬워진다.
사실 위 과정은 굉장히 압축된 설명이다. 실제로는 더 많은 개념을 공식과 함께 예제를 풀어보면서 정확히 이해해야하지만 생략하였다. 또, 이 과정을 대신 계산해주는 Tool이 많다.
출처) AB Testguidehttps://abtestguide.com/calc/ 는 위 visitor (표본) 과 conversion(전환 혹은 반응), 그리고 confidence(신뢰구간)을 입력하면, 위에서 얘기한 수치가 자동으로 계산된다. 그리고 A안 B안이 얼마나 효과적인지도 알려준다. 이를 이용하여 좀 더 수치적으로 실험 결과를 분석할 수 있다.
