A/B test 제대로 해야 하는 이유

프로덕트 매니저, 또는 데이터 기반 결정을 내리고 싶은 분이라면 누구나 한 번쯤 은 A/B 테스트를 들어보셨을 겁니다. A/B 테스트는 결정을 매우 효율적으로 만들어 주는데요.

A/B테스트는 두 그룹으로 나누어, 각기 다른 버전을 부여하고 어떤 쪽이 더 효율적으로 작동하는지를 비교하는 작업입니다. PM은 A/B 테스트를 제대로 이해하여 이를 설계하고, 흔히 발생하는 오류를 발견하는 눈을 가지고 있어야 합니다.

1. A/B 테스트 과정

먼저 유저 중 일부를 랜덤 하게 두 그룹으로 분할하여, 각 그룹에 다른 버전을 작동시켜 그 결과를 비교할 수 있습니다.

일주일 이상 각각 다른 세 가지 버전을 작동시켜, 어떤 것이 가장 효율적으로 작동하는지를 확인하는 A/B/C 테스트도 가능합니다. 이 경우에는 유저를 세 그룹으로 나누어야 합니다. 유저의 반응과 결과를 분석하여, 어떤 버전이 가장 선호되는지를 ㅍ판단할 수 있습니다. 이러한 테스트는 프로그램의 효율성과 잠재적인 발전을 위한 결정을 내리는 데에 도움을 줍니다.

2. A/B 테스트의 중요성

A/B 테스트는 왜 진행해야 할까요? 우리는 테스트를 통해 단순히 더 나은 기능을 가리는 것뿐만 아니라, 변화가 전체적인 사용자 경험과 궁극적인 비지니스 지표에 어떤 영향을 줄 수 있는지 판단할 수 있습니다. 구체적인 이유를 조금 더 살펴볼까요?

첫째, A/B 테스트를 통해 우리는 데이터 기반 의사결정을 내릴 수 있습니다.

테스트를 통해 의사결정을 내리는 데에 강력한 데이터를 얻을 수 있기에, 가정과 직관에 대한 의존도를 줄일 수 있습니다. 동시에 유저의 선호와 행동 양식, 반응을 실제로 확인할 수 있습니다. 이 과정에서 PM은 유저에 대한 인사이트를 얻을 수도 있죠.

둘째, 어떤 변화가 더 나은 결과를 만들어 냈고, 사용자 경험을 향상시키는 동시에 비지니스 목표를 달성하는지를 파악하여 지속적으로 발전할 수 있습니다.

특정 유저 그룹을 대상으로 한 테스트는 사용자의 만족도와 참여도를 높이는 프로덕트를 만드는 데에 도움이 된다는 장점도 있습니다.

마지막으로, 실제로 변화를 시도하기 전, 전체 집단보다 작은 집단을 대상으로 테스트를 진행하면, 더 큰 집단을 대상으로 했을 때 발생할 수 있는 문제를 줄일 수 있습니다. 아직 증명되지 않은 변화에 투자될 리소스의 낭비를 막을 수 있다는 경제적 효율성도 가집니다. A/B 테스트를 정기적으로 하는 회사 또는 프로덕트의 경우, 테스트로 얻은 데이터를 기반으로 유저가 원하는 것을 더 빠르게 적용할 수 있다는 점에서 큰 경쟁력을 가집니다.

하지만 A/B테스트에도 단점은 있습니다.

A/B테스트에 참여하는 그룹은 반드시 랜덤 하게 구성되어야 합니다. 그렇지 않은 경우 선택 편향이 발생해서 모든 유저의 사용자 경험을 대표하기 어려운 데이터를 얻게 됩니다. 너무 작은 사이즈의 그룹을 설정하는 것도 피해야 합니다. 유저 행동을 정확하게 대변한다고 하기 어렵기 때문이죠. 또, 그룹을 너무 세분화하면 곤란합니다. A/B/C 이상으로 너무 많은 그룹으로 쪼개게 될 경우 어떤 변화가 결과에 영향을 주었는지 도출하기 어렵고, 불특정한 결과를 만들 수 있습니다.

따라서,

1. 테스트 참여 그룹을 랜덤 하게 결정할 것

2. 그룹의 사이즈를 너무 작게 설정하지 말 것

3. 3단계 이상으로 너무 세분화하지 않을 것

의 원칙을 바탕으로 그룹을 구성해야 합니다.

결과 해석 시 시즌 / 프로모션 기간과 같은 외부 영향을 고려하지 않을 경우 결괏값을 잘못 해석하는 문제가 발생할 수 있습니다.

또 데이터를 가공할 때, 데이터를 조금만 건드려도 중요한 패턴을 잘못 이해할 수 있으니 데이터 분석에서 주의가 필요합니다. 또, 충분한 시간을 갖지 않고 원하는 결과를 얻었을 때 섣불리 테스트를 중단할 경우, 업데이트 및 변화의 장기적 영향을 제대로 이해하기 어렵습니다.

A/B 테스트를 통해 효율적인 의사결정을 내리면 좋겠죠?

참고

https://medium.com/design-bootcamp/what-is-a-b-testing-a-guide-to-a-b-testing-2a5c52f1bd66

What is A/B Testing: A Guide to A/B Testing