AB 테스트 샘플 사이즈와 비율 설정 가이드

신뢰할 수 있는 AB 테스트를 위한 필수 준비 사항

Jan 4. 2025

AB 테스트 비율 설정의 중요성

AB 테스트는 다양한 마케팅 활동과 제품 개선에 필수적인 요소입니다. 효과적인 실험 설계를 위해서는 적절한 샘플 사이즈와 실험군/대조군 비율 설정이 중요합니다. 단순히 1:1 비율을 사용하는 대신, 실험 목표에 맞는 최적의 비율을 설정하여 비용 효율성을 높이고 결과 해석의 신뢰도를 강화할 수 있습니다.

일반적으로 1:1 비율을 사용하지 않는 경우는 크게 두 가지입니다.

특히, 실험의 결과보다 비즈니스 성과가 우선할 때 적정한 실험군/대조군 비율 설정이 실무에서 큰 고민이 될 수 있습니다.

샘플 사이즈와 비율 설정의 주요 요소

AB 테스트의 신뢰성과 통계적 유의미성을 확보하려면 실험군과 대조군의 비율 설정뿐 아니라, 최소 샘플 사이즈의 정확한 계산이 필요합니다. 샘플 사이즈는 AB 테스트 결과의 신뢰도를 결정하는 핵심 요소로, 충분하지 않을 경우 결과가 통계적으로 유의미하지 않을 위험이 있습니다.

일반적으로 필요한 샘플 사이즈는 다음 요소에 따라 결정됩니다.

실무 예제 - 첫 구매 전환 캠페인

이 개념을 이해하기 쉽게 가상의 실무 예제를 통해 설명을 해보겠습니다. 대한민국 최고의 패션 플랫폼 '지구재구'의 마케터는 가입자의 첫 구매 전환율을 높이기 위한 캠페인을 설계하려고 합니다.

캠페인 성과를 측정하기 위해 AB 테스트를 진행하기로 했지만, 한 가지 고민이 있습니다. 해당 캠페인은 실험 목적을 넘어서 첫 구매 전환 유저 수를 빠르게 확대하는 것이 중요하기 때문에 담당 마케터는 실험군의 비율을 확장하여 캠페인을 진행하기로 하였고, 유의미한 결과 해석을 위해 최소한의 대조군 설정을 위한 계산을 하고자 합니다.

첫 번째 단계로 실험 기간, 실험군과 대조군을 포함한 총 샘플 사이즈를 확인하는 것입니다. 지구재구의 하루 평균 가입자가 1천 명 수준이고, 해당 캠페인을 7일간 진행한다면 총 샘플 사이즈는 7천 명으로 예상이 됩니다.

그리고 현재의 첫 구매 전환율이 30% 수준이라고 했을 때, 실험군에게 기대되는 최소한의 목표 구매 전환율을 35%로 설정을 합니다. 이때 처치 효과가 반영된 실험군의 전환율은 35%가 되는 것이고, 대조군은 기존의 첫 구매 전환율 수준이 30%로 정할 수 있습니다.

앞서 목표로 설정한 첫 구매 전환율 차이 5%p에 대한 effect size를 계산하기 위해 Cohen's h 공식을 사용할 수 있습니다.

위 수식의 p1과 p2는 각각 대조군과 실험군의 첫 구매 전환율입니다. 이 공식을 사용하면, 두 비율 간의 차이를 단순히 빼는 것이 아닌, 아크사인 변환 후 차이를 구하는 방식으로 계산합니다. 이는 두 비율 간의 차이가 적어도 표준화된 값으로 나타나도록 하기 위한 방법입니다. 따라서 이 공식을 사용하면, 효과 크기를 소수점 형태로 정량화 할 수 있습니다.

유의 수준(α)과 검정력(Power)은 각각 0.05와 0.8로 설정하는 것이 일반적입니다. 이는 테스트의 신뢰성과 통계적 유의미성을 확보하기 위한 기본 설정입니다. 이후, 실험군과 대조군의 비율을 정해야 합니다.

담당 마케터는 먼저 실험군 비율을 90%, 대조군 비율을 10%로 설정한 뒤 각 그룹의 샘플 사이즈가 적정 수준인지 계산했습니다. 그 결과 실험군 90% 비율로 계산할 경우 실험에 필요한 총 샘플 사이즈의 수가 7,644로 설정된 효과 크기와 유의 수준으로는 총 샘플 사이즈 내에서 유의미한 결과를 얻기 어렵다는 것을 알 수 있습니다.

앞서 실험군 비율을 90%로 설정한 경우, 유의미한 결과를 얻기에는 총 샘플 사이즈가 부족하다는 결과가 나왔습니다. 이를 보완하기 위해 실험군 비율을 80%로 낮추고, 대조군 비율을 20%로 늘려 다시 계산을 진행합니다.

실험군 80% 비율로 계산한 결과, 실험에 필요한 총 샘플 사이즈는 4,301명으로 산출되었습니다.이는 총 샘플 사이즈가 요구치를 충족하므로 해당 설정으로 실험을 수행할 수 있는 조건이 마련되었습니다.

AB 테스트는 데이터 기반 의사결정의 핵심 도구로, 효과적인 실험 설계를 위해 적정 샘플 사이즈와 실험군/대조군 비율 설정은 필수적입니다. 실험 목표와 자원의 한계를 고려한 최적의 비율과 샘플 사이즈 설정은 단순한 테스트를 넘어 실질적인 비즈니스 성과를 창출할 수 있는 토대를 제공합니다.