마케터라면 꼭 알아야 할 A/B 테스트 설계 주의사항
폰트, 카피 문구, 날짜, 시간 등 여러 사소한 사항들이 성과에 미칠 수 있는데요. 하지만 직접 해보기 전까지는 어느 것이 효율이 좋을지 정확히 알 수 없죠. 괜히 '직감'을 따랐다간 안 좋은 결과를 불러올 수 있기 때문에 추측이나 가정에 의존하는 대신 'A/B 테스트'를 진행해 보는 것이 좋은데요.
그렇다면 A/B 테스트란 무엇일까요? A/B 테스트는 기존 안 A와 한 개 이상의 대체안(실험 안) B를 서로 비교하여, 어떤 것이 효과가 좋은지 비교하는 방식을 말해요. 이 테스트에서 중요한 점은 A와 B 두 가지를 비교하는 데 사용자의 행동에 영향을 미칠 수 있는 하나의 변형을 제외하면 나머지는 동일하게 유지해야 한다는 것이에요. 또 이 밖에 여러 주의 사항들이 있는데요. 오늘 엠포스에서는 마케터라면 꼭 알아야 할 A/B 테스트 설계 시 주의사항을 살펴볼게요!
테스트할 변수는 하나만 선택
웹페이지나 이메일 최적화, 컨텐츠 제작 등 테스트하고 싶은 변수는 복수로 존재하는데요. 하지만 효과를 측정하기 위해서는 하나의 '독립변수'로 분리시켜 퍼포먼스를 측정해야 해요. 여러 요소가 섞이면 정확히 어떤 요소가 퍼포먼스에 변화를 주었을지 파악할 수 없기 때문이에요. 주의할 점으로는 때때로 단일 변수가 아닌 복수의 변수를 한 번에 테스트(다변량 테스트) 하는 경우가 더 적절할 수도 있으니, 상황에 맞게 선택해야 해요.
목표 확인
테스트를 수행하기 전에 기본이 될 지표를 반드시 하나만 고르고 집중해야 해요. 해당 변수가 테스트의 '종속 변수'가 되는 것인데요. A/B 테스트가 끝날 때까지 해당 변수를 항상 유념해야 공식적인 가설과 예측에 기반하여 테스트의 결과를 검토할 수 있어요.
Control 과 Challenger를 만들기
위의 1번과 2번에서 원하는 실험 결과를 얻기 위한 독립 변수와 종속 변수를 선택했다면! 다음은 독립변수와 종속변수에 대한 정보를 활용하여 Control로 설정한 기존 버전을 테스트해보아야 해요. 웹 페이지를 테스트하는 중이라면, 새로운 Control을 생성할 필요 없이 변경사항이 반영되지 않은 기존의 페이지를 사용하면 되고, 랜딩 페이지를 테스트하는 중이라면 Control은 보통 사용하는 랜딩 페이지의 디자인과 카피로 설정됩니다. 그렇다면 여기서부터 업데이트 버전, 'Challenger'라고 불리는 버전을 구축해야 하는데요. 웹사이트나 랜딩 페이지, 혹은 이메일 등 Control과 비교하여 대조하며 A/B 테스트를 하는 것이에요. 예를 들어 랜딩 페이지에, 유저의 리뷰나 추천 글을 노출하여 차이를 만들 수 있을지 궁금하다면 추천 리뷰가 없는 Control 페이지를 먼저 생성한 후 추천 리뷰가 있는 페이지를 만들어 보는 것이죠.
하나의 캠페인에는 하나의 테스트만 운영
하나의 캠페인을 위해 한 가지 이상의 테스트를 동시에 진행하면, 정확하게 동일한 에셋(광고 제목, 설명, 이미지, 로고 등)이 아닐지라도 실험의 결과를 복잡하게 만들 수 있어요. 예를 들어 랜딩 페이지로 곧바로 이어지는 이메일 캠페인을 A/B 테스트하면서 랜딩 페이지도 A/B 테스트한다고 가정해 보았을 때, 어떤 부분이 리드가 상승했는지 구분할 수가 없기 때문이에요. 그렇기 때문에 한 번에 하나의 테스트만 운영하는 것이 결과를 명확하게 알 수 있어요.
시간의 영향을 피하고 싶다면, 두 가지 버전 동시에 테스트
시간, 요일, 달 등은 마케팅 캠페인 성과에 큰 영향을 미치는데요. 한 달 동안 A 버전을, 이어지는 달에 버전 B를 운영한다고 가정해 볼게요. 성과가 변해도 디자인 때문인지, 혹은 다른 달에 운영했기 때문인지 파악하기가 어렵게 돼요. 그러므로 A/B 테스트를 운영할 때에는 두 가지 버전을 동시에 진행하는 것이 좋아요. 하지만 이 상황에서 유일한 예외는 시간, 요일, 달 등 타이밍 그 자체를 테스트하는 경우예요. 이메일 발송을 위한 최적의 타이밍 혹은 시간을 찾는 A/B 테스트라면 상황이 달라지겠죠!
충분한 시간
유효한 표본 크기를 모으기 위해서는 테스트를 충분히, 그리고 오래 진행하여야 해요. 그렇지 않으면 두 버전 사이에 통계적으로 유의미한 차이가 있는지 구별하기 어렵기 때문인데요. 테스트를 진행하는 '충분한 시간'은 회사마다, 그리고 A/B 테스트를 어떻게 실행하는지에 따라 달라져요. 통계적으로 중요한 결과를 얻기 위해서 한 시간이 걸리는 회사도, 혹은 몇 주가 걸리는 회사도 있기 때문이에요. '통계적으로 중요한 결과를 얻는데 얼마만큼의 시간이 필요한가?'를 좌우하는 요소는 바로 '트래픽'이에요. 따라서 자사 웹사이트의 트래픽이 많지 않다면 A/B 테스트에 더 많은 시간이 소요될 수 있어요.
A/B 테스트를 진행할 때 또 하나의 방법으로는 실사용자에게 피드백을 요청하는 방법이 있어요. A/B 테스트는 정량적 데이터와 많은 관련이 있는데요. A/B 테스트를 운영하는 동안 사용자들에게 설문지나 투표 형식을 활용하여 피드백을 수집해 보면 신뢰도 있는 인사이트를 얻을 수 있으니 이 점도 같이 참고해 주세요! 여기까지 A/B 테스트 설계 시 주의해야 할 사항에 대해 알아보았어요. 다음 컨텐츠에서는 A/B 테스트 이후에 취해야 할 단계에 대해 알아볼게요:)
