A/B 테스트의 함정과 인공지능(AI)으로 극복하기
기존의 그루비는 A/B/C(비노출) 테스트를 제공하여 더 좋은 최적안을 발굴하는 기능을 제공해왔습니다. 마케터는 이를 통해 최적의 안을 발굴할 뿐만 아니라 캠페인 효과에 대한 검증까지도 가능했는데요.
그럼에도 그루비가 A/B 테스트 자동화 기능을 제공하게 된 이유는 무엇일까요? A/B 테스트에는 몇 가지 함정이 존재하기 때문입니다.
그루비의 A/B 테스트 자동화 기능이 궁금하다면? >>
# 함정 하나, “A/B 테스트를 하는 동안 발생하는 기회 비용”
다양한 가설을 세우고 A/B 테스트를 할 때, 테스트 그 자체로 비용이 발생합니다. 예를 들어, A안과 B안의 노출 비율을 동일하게 50:50으로 설정하고, 3일간 캠페인을 운영하였습니다. 결과는 A안의 전환율이 더 높았고, A안에서 발생한 매출이 1,000만원인 반면 B안에서 발생한 매출이 500만원이었습니다. 마케터는 결과를 확인하고 이런 생각을 하게 됩니다.
“처음부터 A안이 100%으로 노출되었으면 500만원의 매출이 더 나지 않았을까?”“
테스트 기간을 1일로 하고, 전략을 바꿨다면 전환율이 더 높지 않았을까?”
이러한 문제는 그루비 서비스를 제공하면서 안타까웠던 점이기도 합니다. 캠페인 운영 초기 그루비 팀은 고객사 담당자분들께 그루비 A/B/C 테스트를 활용하여 캠페인 효과를 검증하는 것을 권장드립니다. 그러나 테스트 기간 동안에 발생하는 손실이 걱정되어 테스트를 적극적으로 활용하지 못하는 경우가 발생하기 때문입니다.
그렇다면 손실을 최소한으로 하려면 테스트 기간을 얼마로 해야할까요?
# 함정 둘, “특정 시점에서의 테스트 결과가 유효한 기간은?”
통계에서는 표본의 크기가 작아질수록 결과의 신뢰성이 낮아집니다. 따라서 충분한 테스트 기간이 필요하며, 테스트 기간이 너무 짧으면 잘못된 선택을 할 수도 있습니다.
그럼 반대로 테스트 기간이 길수록 결과의 신뢰성이 높을까요?
답은 “No” 입니다! 테스트 기간이 너무 길면 시기적인 변수(시즌성 등)를 반영하지 못해 데이터를 흐리게 만들기도 합니다. 지금 당장은 A안이 효과적이지만 몇 년에 걸쳐서 서서히 B안이 높아진다면 이러한 결과는 어떻게 해석해야 할까요?
A/B 테스트는 결코 쉬운 테스트가 아닙니다. 테스트를 오래 한다고 해서 반드시 성공하는 것도 아니며, 제대로 하지 않으면 잘못된 의사결정을 할 수 있기 때문입니다.
이 문제를 해결하기 위해 그루비 AI는 ‘A/B 테스트 자동화’ 기능을 제공하게 되었습니다.
그럼 그루비 AI는 어떤 알고리즘으로 A/B 테스트 자동화를 똑똑하게 하는지 알아볼까요?
# MAB(Multi Armed Bandit) 알고리즘
그루비는 A/B 테스트를 최적화 하기 위해 Multi-Armed Bandit(이하 MAB) 알고리즘을 사용하고 있습니다.
MAB는 슬롯머신을 ‘외팔이 강도(One-Armed bandit)’라고 부르는 데서 기인한 용어입니다. ‘수익율이 각기 다른 여러 대의 슬롯머신에서 수익을 최대화하기 위해서는 어떤 슬롯머신에 손잡이를 내려야 하는지’에 대한 문제를 ‘손잡이를 여러 개 가진 슬롯머신’에 빗대어 MAB(Multi-Armed Bandit)라고 부르게 되었습니다.
MAB 알고리즘은 한정된 시간과 예산으로 어떤 슬롯머신이 돈을 딸 확률이 높은지 매번 최적의 옵션을 선택하고 탐색하면서, 실시간으로 각 옵션의 결과값을 통해 수익을 극대화하는 전략입니다.
그루비의 A/B 테스트 자동화는 ‘전환 손실의 최소화, 전환 기회의 최대화’를 실현하기 위해 MAB 알고리즘에 기반하여 A/B 테스트와 실시간 성과 최적화를 동시에 수행합니다. 테스트가 진행되는 동안 성과가 낮은 캠페인은 노출을 줄이고 가장 뛰어난 성과를 보일 것으로 예측한 캠페인을 더 많이 노출하여 성과를 극대화 할 수 있습니다.
지금까지 A/B 테스트에 숨어있는 함정을 시작으로 그루비AI가 A/B 테스트 자동화를 제공하게 된 이유, 그리고 어떻게 똑똑하게 A/B 테스트 자동화가 가능한지 살펴보았습니다. 마케터분들, 이제 A/B 테스트에 함정에 빠지지 말고 맘껏 테스트 하세요!
