brunch

You can make anything
by writing

C.S.Lewis

by 플래티어 PLATEER Sep 17. 2020

인공지능(AI)은 A/B 테스트를 어떻게 최적화할까?

현업 마케터라면 한 번쯤 들어봤을 ‘A/B 테스트’. '스플릿 테스트(Split test)’라고도 불리는 이 테스트 방법은 A 버전과 B 버전 등 2가지 이상의 시안을 무작위로 노출하여 최적안을 선정하는 실험 방법이죠.

# A/B 테스트는 왜 필요할까요?

가설을 직관이 아닌 ‘데이터’로 증명 가능하기 때문입니다. 예를 들어, 광고 배너를 제작할 때에도 디자인에 대해서 누구나 가설을 세울 수 있지만 이를 실제로 증명하기는 어렵습니다. 마케터라면 대부분 이런 경험도 있으실 텐데요, 기대했지만 막상 실행해보니 성과가 발생하지 않았거나 혹은 전혀 예상하지 않았지만 성과가 크게 증가했던 경험 말이죠.

그렇기 때문에 대부분의 마케터가 A/B 테스트를 할 때 이런 고민을 하게 됩니다.

노출 비율은 어떻게 조정해야 할까?

CVR(전환율) 차이가 1% 차이인데 좋은게 맞을까?

어느 정도 기간을 두고 조정을 해야할까?

매일 체크해야 할까?

판단을 잘못 내린 것은 아닐까?

그루비의 ‘A/B 테스트 자동화’는 이러한 마케터들의 고민을 해결해줄 수 있는 기능입니다. 그럼 ‘A/B 테스트 자동화’가 왜 필요한지, 그리고 마케터에게 무엇을 제공하는지 살펴볼까요?

# 인공지능(AI)로 A/B 테스트 자동화로 고민의 시간 줄이기

A/B 테스트 자동화의 핵심 키워드는 이것입니다.

전환 손실의 최소화, 전환 기회의 최대화

그루비 고객사의 베타 테스트 사례를 살펴보며, A/B 테스트 자동화에 대해 자세히 설명드리겠습니다.

여성의류 쇼핑몰 리얼코코는 새벽 시간대 전환율을 개선하기 위해 캠페인을 진행했습니다.

캠페인 내용은 구매 전환이 낮은 오전 2시~오전 7시에 리얼코코를 방문한 고객이 평균 페이지뷰 이상 보고 있을 때 구매를 유도하는 메시지를 노출하는 것이었습니다.

<A/B 테스트 자동화 캠페인 사례 (여성의류 쇼핑몰 리얼코코)>

접속 유형 : PC/모바일

타겟팅 조건 : 2페이지 뷰 이상

목표 : 구매

노출 기간 : 4일 (매일 오전 2시~7시 사이)

이 캠페인의 A/B 테스트를 ‘수동(기존 방식)’과 ‘자동(업데이트 기능)’ 2가지 방법으로 진행했습니다.

A/B 테스트 수동 진행 → A:B:C = 40:40:20

A/B 테스트 자동화 진행 → A:B:C 노출 최적화 (※ C는 비노출을 의미)

각각 4일간 진행한 2개의 캠페인은 어떤 차이가 있었을까요?

먼저, 기존 방법대로 수동으로 A/B 테스트를 진행한 캠페인의 일자별 노출 비중과 전환율을 살펴보겠습니다. 수동으로 노출 비율을 고정하여 A/B/C 테스트를 할 경우 전환율의 성과와 상관없이 노출 비율이 고정으로 유지됩니다.

반면 A/B 테스트를 자동으로 진행한 경우는 어떨까요?

자동화의 경우 각 A, B, C안의 전환 성과에 따라 전환 성과가 좋은 안의 노출을 더 늘려줍니다. 수동으로 테스트했을 때와 큰 차이는 전환 성과를 실시간으로 탐색(Exploration)하여, 최선의 선택(Exploitation)을 한다는 것입니다.

위의 A/B 테스트 자동화 그래프에서 확인할 수 있는 것처럼, 전환 성과가 높은 B안의 노출이 가장 높습니다. 그러나 그루비 AI는 계속해서 전환율을 탐색하며 A안의 전환 성과가 높고 낮아짐에 따라 A안의 노출을 조정합니다. 최대의 전환 기회를 만들기 위해 계속해서 탐색하고, 최선의 선택을 하는 것이죠.

# 똑똑한 AI의 핵심은 ‘정확한 예측’ 그리고 ‘최선의 선택’

그렇다면 그루비 AI는 어떻게 최대의 전환 기회를 만들기 위해 움직이는 것일까요?

A/B 테스트 자동화를 진행했던 또 다른 캠페인의 노출과 컨버전의 변화를 통해 살펴보겠습니다.

캠페인을 시작하는 초기에는 A안, B안, C안의 비슷한 수준으로 노출하여 전환 성과를 탐색(Exploration)합니다. 그러던 중, 지속적으로 B안의 전환이 높은 성과를 보이면서 3일차부터 점차 B안의 노출량을 증가시킵니다. 전환 수를 최대화하기 위해 최선의 선택(Exploitation)을 하게 된 것이죠.

대부분의 마케터들이 A/B 테스트에서 이렇게 성과가 확인되면, B안을 좋은 안이라고 판단을 내리고 이시점(4-5일차)에서 A/B 테스트를 마치게 됩니다. 정말 A/B 테스트가 끝이 났다고 확신할 수 있을까요?

동일한 캠페인을 이어 진행하던 중, 7일차부터 A안의 전환율이 점점 올라가는 모습이 발견됩니다. 그루비 AI는 ‘예측’을 통해 A안의 노출량을 서서히 증가시켰고, 9일차에 A안의 전환율이 가장 높은 타이밍에 A안의 노출량 또한 최대치로 늘리게 됩니다. 이처럼 성과는 웹사이트를 방문한 고객이나 혹은 다른 외부 변수에 따라 일정하지 않고 달라질 수 있기 때문에, 최적화가 되는 시점은 실시간으로 변할 수 있습니다.

A/B 테스트 자동화 기능이 전환 손실을 최소화하고 전환 기회를 최대화할 수 있는 이유는 바로 그루비 AI의 ‘정확한 예측’과 그리고 ‘최선의 선택’ 때문입니다.

AI 마테크 솔루션 그루비로 A/B 테스트 자동화하기 >>

keyword