A/B 테스트 & MVT(다변량 테스트)

모바일이나 인터넷 서비스를 이용하는 고객의 만족도를 측정하는 방법은 인터뷰, 설문조사, UT 등

다양하다. 하지만 가장 좋은 방법 중 하나는 실제 서비스를 통해 의도하는 목적이 전환율과 같은 

구체적인 수치로 향상되어 가는 걸 보는 것이다. 그런 관점에서 본다면 A/B 테스트와 MVT가 좋은 방법론이 될 수 있다. 특히 좁은 화면에서 고객이 필요로 하는 사항을 처리하게 해야 하는 모바일 환경에서 이들 방법론은 더욱 각광받고 있다.

A/B 테스트(A/B Test)

A/B 테스트는 특정 목적을 지닌 웹페이지의 일부 항목을 바꿔 2가지로 만들어 고객이 이용하는 행태를 서로 비교해 어디가 더 좋은 결과를 보여주는지 테스트하는 것이다. 프로모션 페이지의 배너 클릭률, 회원가입 폼의 변화에 따른 회원가입 성공률, 장바구니의 구매전환율 등 다양한 곳에서 테스트할 수 있다. A/B 테스트는 해당 페이지의 배경색, 안내 문구나 설명, 글자 크기, 아이콘의 크기, 색상, 위치 등 레이아웃과 구성 요소 등을 바꿔서 테스트 가능하다. 

꼭 2개가 아니라 3개로 만들어 할 수 있는데 해당 페이지들에 트래픽을 균등하게(2개면 50%씩, 3개면 33%씩) 나눠주고 거기에 대한 결과를 확인해서 어떤 페이지 구성이 가장 효과적인지 찾을 수 있다. 시차를 두지 않고 같은 시간대, 동일 기간 동시에 테스트를 진행해야 휴일, 날씨, 사회적 이슈 같은 변수들에 의해 왜곡되지 않은 결과를 얻을 수 있다. 또 기간이나 테스트 대상 인원이 너무 적으면 유의미한 결과를 얻을 수 없지만 테스트에 필요한 기획, 디자인, 개발 공수와 테스트 이후 분석할 작업량 등을 고려해 적절한 수준으로 테스트하는 게 중요하다.  

MVT(Multivariate Test, 다변량 테스트)

A/B/C 3가지 타입을 만들어 테스트를 수행하는 경우에 A/B/C테스트라고도 하지만 통상적으로는 그냥 A/B 테스트라고 한다. 하지만 이 보다 더 큰 여러 가지 변화를 복합적으로 준 뒤 테스트하는 경우 이를 MVT(다변량 테스트)라고 한다. 테스트할 페이지의 여러 요소를 동시에 바꿔 테스트할 경우이다. 

예를 들어 주문서의 주문 버튼과 색상, 문구가 각각 3가지 타입이 있다면 3X3X3=27로 총 27가지 타입으로 테스트를 한다. 하지만 MVT의 경우 특별히 의미를 찾고 검증할 필요가 있는 테스트가  아니라면 필요 이상의 설계, 준비, 분석작업이 발생할 수 있고 변수가 너무 많으면 유의미한 결과를 분석하기 힘들 수도 있어 주의가 필요하다.

[참고] 카이제곱검정

A/B테스트든 MVT든 변화를 준 내용이 정말 유의미하게 영향을 준 것인지 아니면 변화를 준 내용과 관계없는 단순한 오차인지 검증을 위해 통계학에서는 카이제곱검정을 활용하기도 한다. 실제 영향 유무와 상관없이 우연 또는 오차에 의해 발생하는 차이의 확률을 통계에서는 P- 값이라고 하는데, 이 수치가 5% 이하일 때 우연 또는 오차가 아닌 특정 요인에 따른 상관관계가 있다고 판단한다.