brunch

You can make anything
by writing

- C.S.Lewis -

by 플래티어 PLATEER Sep 17. 2020

A/B 테스트의 함정과 인공지능(AI)으로 극복하기

기존의 그루비는 A/B/C(비노출) 테스트를 제공하여 더 좋은 최적안을 발굴하는 기능을 제공해왔습니다. 마케터는 이를 통해 최적의 안을 발굴할 뿐만 아니라 캠페인 효과에 대한 검증까지도 가능했는데요.


그럼에도 그루비가 A/B 테스트 자동화 기능을 제공하게 된 이유는 무엇일까요? A/B 테스트에는 몇 가지 함정이 존재하기 때문입니다.


그루비의 A/B 테스트 자동화 기능이 궁금하다면? >>


함정 하나, “A/B 테스트를 하는 동안 발생하는 기회 비용”


다양한 가설을 세우고 A/B 테스트를 할 때, 테스트 그 자체로 비용이 발생합니다. 예를 들어, A안과 B안의 노출 비율을 동일하게 50:50으로 설정하고, 3일간 캠페인을 운영하였습니다. 결과는 A안의 전환율이 더 높았고, A안에서 발생한 매출이 1,000만원인 반면 B안에서 발생한 매출이 500만원이었습니다. 마케터는 결과를 확인하고 이런 생각을 하게 됩니다.


“처음부터 A안이 100%으로 노출되었으면 500만원의 매출이 더 나지 않았을까?”“
테스트 기간을 1일로 하고, 전략을 바꿨다면 전환율이 더 높지 않았을까?”


이러한 문제는 그루비 서비스를 제공하면서 안타까웠던 점이기도 합니다. 캠페인 운영 초기 그루비 팀은 고객사 담당자분들께 그루비 A/B/C 테스트를 활용하여 캠페인 효과를 검증하는 것을 권장드립니다. 그러나 테스트 기간 동안에 발생하는 손실이 걱정되어 테스트를 적극적으로 활용하지 못하는 경우가 발생하기 때문입니다.


그렇다면 손실을 최소한으로 하려면 테스트 기간을 얼마로 해야할까요?


함정 둘, “특정 시점에서의 테스트 결과가 유효한 기간은?”


통계에서는 표본의 크기가 작아질수록 결과의 신뢰성이 낮아집니다. 따라서 충분한 테스트 기간이 필요하며, 테스트 기간이 너무 짧으면 잘못된 선택을 할 수도 있습니다.

그럼 반대로 테스트 기간이 길수록 결과의 신뢰성이 높을까요?


답은 “No” 입니다! 테스트 기간이 너무 길면 시기적인 변수(시즌성 등)를 반영하지 못해 데이터를 흐리게 만들기도 합니다. 지금 당장은 A안이 효과적이지만 몇 년에 걸쳐서 서서히 B안이 높아진다면 이러한 결과는 어떻게 해석해야 할까요?


A/B 테스트는 결코 쉬운 테스트가 아닙니다. 테스트를 오래 한다고 해서 반드시 성공하는 것도 아니며, 제대로 하지 않으면 잘못된 의사결정을 할 수 있기 때문입니다.


이 문제를 해결하기 위해 그루비 AI는 ‘A/B 테스트 자동화’ 기능을 제공하게 되었습니다.


그럼 그루비 AI는 어떤 알고리즘으로 A/B 테스트 자동화를 똑똑하게 하는지 알아볼까요?


# MAB(Multi Armed Bandit) 알고리즘


그루비는 A/B 테스트를 최적화 하기 위해 Multi-Armed Bandit(이하 MAB) 알고리즘을 사용하고 있습니다.

MAB는 슬롯머신을 ‘외팔이 강도(One-Armed bandit)’라고 부르는 데서 기인한 용어입니다. ‘수익율이 각기 다른 여러 대의 슬롯머신에서 수익을 최대화하기 위해서는 어떤 슬롯머신에 손잡이를 내려야 하는지’에 대한 문제를 ‘손잡이를 여러 개 가진 슬롯머신’에 빗대어 MAB(Multi-Armed Bandit)라고 부르게 되었습니다.



MAB 알고리즘은 한정된 시간과 예산으로 어떤 슬롯머신이 돈을 딸 확률이 높은지 매번 최적의 옵션을 선택하고 탐색하면서, 실시간으로 각 옵션의 결과값을 통해 수익을 극대화하는 전략입니다.

그루비의 A/B 테스트 자동화는 ‘전환 손실의 최소화, 전환 기회의 최대화’를 실현하기 위해 MAB 알고리즘에 기반하여 A/B 테스트와 실시간 성과 최적화를 동시에 수행합니다. 테스트가 진행되는 동안 성과가 낮은 캠페인은 노출을 줄이고 가장 뛰어난 성과를 보일 것으로 예측한 캠페인을 더 많이 노출하여 성과를 극대화 할 수 있습니다.

지금까지 A/B 테스트에 숨어있는 함정을 시작으로 그루비AI가 A/B 테스트 자동화를 제공하게 된 이유, 그리고 어떻게 똑똑하게 A/B 테스트 자동화가 가능한지 살펴보았습니다. 마케터분들, 이제 A/B 테스트에 함정에 빠지지 말고 맘껏 테스트 하세요!


AI 마테크 솔루션 그루비로 A/B 테스트 자동화하기 >>

매거진의 이전글 인공지능(AI)은 A/B 테스트를 어떻게 최적화할까?

매거진 선택

키워드 선택 0 / 3 0

댓글여부

afliean
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari
브런치 시작하기

카카오계정으로 간편하게 가입하고
좋은 글과 작가를 만나보세요

카카오계정으로 시작하기
다른 SNS로 가입하셨나요?