A/B 테스트의 몇 가지 원칙
스플릿 테스트 | SPLIT TEST | A/B TEST
데이터 기반의 의사결정이 중요한 시대입니다.
그리고 의사결정을 하기 위한 최소한의 데이터를 확보하는 방법으로 A/B 테스트를 선택하는 기업과 팀이 늘어나고 있습니다.
그동안 미디어와 서비스에서 다양한 A/B 테스트 또는 스플릿 테스트하며 배운 A/B 테스트의 몇 가지 원칙에 대해 소개하겠습니다.
A/B 테스트 (스플릿 테스트) 구조도스플릿이란 나눈다는 의미를 뜻합니다.
일반적으로 A/B 테스트라고 많이 부르지만, 스플릿 개수에 따라 A/B/C 테스트나 A/B/C/D 테스트가 될 수도 있습니다.
가설 설정
가설을 설정하는 중요 원칙은 2가지가 있습니다.
첫 번째, 가설은 검증 가능하게 설정해야 한다는 것입니다.
A를 실행하면 B가 증가할 것이다. (X) | A를 실행하면 B가 10% 증가할 것이다. (O)
두 번째, 가설은 데이터를 기반으로 설정해야 한다는 것입니다.
가설은 논리적인 유추를 통해 설정해야 하기 때문에, 근거(데이터)가 없이 설정해서는 안됩니다. 단, 가설을 설정하기 위한 데이터가 없을 경우에는 가설 설정을 위하여 데이터 수집 목적의 단기적인 테스트를 진행하거나, 다른 레퍼런스와 아이디어를 참고해서 가설을 설정할 수도 있습니다.
변수 정의 (독립/종속)
- 독립 변수
독립 변수는 원인에 해당하는 변수입니다.
A/B 테스트에서는 테스트를 하고자 하는 영역을 의미하며, A/B 테스트의 A와 B에 해당합니다.
- 종속 변수
종속 변수는 결과에 해당하는 변수입니다.
테스트를 통해 개선하려고 하는 영역을 의미합니다.
독립 변수별 성과 확인
독립 변수인 A와 B 중 무엇이 더 종속 변수를 많이 개선 또는 변화시켰는지를 확인하는 과정을 의미합니다.
기존 성과 비교 검증
윗 단계인 독립 변수별 성과 확인으로 A/B 테스트를 종료하는 경우도 많이 있지만, 테스트를 통해 얻은 성과가 기존에 진행하던 미디어/서비스 성과와 비교하였을 때에도 우수한지 검증할 필요가 있습니다.
그리고 기존 성과 대비해서도 우수하다면, 해당 테스트를 전체적으로 적용할 지에 대한 의사 결정을 할 수 있습니다.
지금까지 가설 설정 - 변수 정의 (독립/종속) - 독립 변수별 성과 확인 - 기존 성과 비교 검증까지, A/B 테스트 (스플릿 테스트) 구조도에 따라 A/B 테스트 설계 시 고려해야 할 점을 설명드렸습니다.
마지막으로 A/B 테스트를 처음 설계하시는 분들을 위하여 독립 변수와 종속 변수로 지정할 만한 요소와 기타 주의 사항들을 말씀드리겠습니다.
독립 변수로 지정할 만한 요소
랜딩 URL 또는 링크 / CTA 버튼 내 문구 / 타이틀 또는 소구 포인트 / 이미지 또는 디자인 / 타겟 연령 또는 성별 또는 관심사 / 캠페인 목표 / 비딩
종속 변수로 지정할 만한 요소
링크 클릭 수 또는 클릭률 / 앱 오픈 수 (유입 수) 또는 오픈율 / 회원가입 수 또는 가입률 / 예약 수 또는 예약률 / 구매 수 또는 구매율 / 그 외에 현재 중요한 KPI나 Goal
지금까지 A/B 테스트의 몇 가지 원칙에 대해 설명했습니다.
A/B 테스트는 무엇보다 설계가 가장 중요합니다. 설계가 잘 못 되었을 경우 좋은 결과가 있더라도 그 결과를 확신하기 어렵기 때문입니다.
꼼꼼하게 설계된 A/B 테스트를 통해 좋은 성과를 거두시기 바랍니다.
