성공적인 A/B테스트를 위한 유저 리서치 설계
가장 비싼 유저 리서치 = A/B 테스팅
2년 전 현재의 회사로 이직했을 당시, 글로벌 리서치 전문 기관인 Speero로부터 사용자 리서치와 A/B 테스트에 관한 교육을 받은 적이 있다. 사실 실무를 하며 익히 알고 있던 내용이었지만, 체계적으로 정리된 프레임워크를 통해 다시 보니 리서치 방법론의 전체적인 지도가 머릿속에 선명하게 그려지는 유익한 시간이었다.
조금 시간이 흐른 교육 자료이지만, 여전히 실무 경험이 필요한 디자이너나 리서처들에게는 훌륭한 나침반이 될 것 같아 그 핵심 내용을 공유해 보려 한다.
들어가며: A/B테스트의 성공은 리서치 설계에서 결정된다.
많은 팀이 데이터 기반 성장을 꿈꾸며 A/B 테스트를 진행한다. 하지만 안타깝게도 상당수의 테스트는 유의미한 지표 변화를 끌어내지 못하는 '플랫(Flat)'한 결과로 끝나거나, 비즈니스에 실질적인 기여를 하지 못한다.
사실 A/B 테스트는 사실 사용자 리서치 방법론 중 가장 많은 비용과 시간이 드는 ‘비싼’ 도구이다. A/B 테스트는 디자인 솔루션이 성공적인지 아닌지 확인하는 툴이자, 수십가지의 리서치 방법중 하나이다. 그렇기에 A/B 테스트가 플랫하게 끝나더라도 그게 끝이 아니라 테스트에서 얻은 데이터로 다음 이터레이션(iteration)을 준비할 수 있다.
아무튼 다른 저렴한(?) 사용자 리서치를 실험 프로세스에 유기적으로 통합하여 '성공할 수 있는 솔루션과 가설'을 먼저 만들어야 한다.
1. 리서치의 세 가지 목적: Explore, Focus, Validate
리서치는 현재 프로젝트의 상태와 가지고 있는 데이터에 따라 탐색(Explore), 집중 (Focus), 검증(Validate)으로 나누어진다.
탐색 (Explore): 해당 프로덕트를 사용하는 사용자의 문제가 무엇인지 모른다면 사용자 인터뷰, 정량적 데이터 분석을 통해서 사용자의 문제를 탐색하고 파악하는 단계이다. 프러덕트의 규모에 따라 다르지만 분기마다, 아니면 6개월에 한번씩 하는 것을 추천한다.
집중 (Focus): 발견된 특정 이슈나 기회를 더 깊게 파고드는 단계이다. 탐색단계에서 발견된 문제가 얼마나 사용자와 비즈니스에 심각하게 영향을 미치는지(NNgroup Severity Level) 파악하고 우선 순위를 정하는 것이다.
검증 (Validate): 가장 우선순위가 높은 문제를 해결하기 위해 제안된 솔루션이 실제로 효과가 있는지 확인하는 마지막 관문이다. 주로 프로토타입을 통해 사용자(8-10명 사용자) 테스팅을 통해 이루어진다. .
2. '무엇'과 '왜'를 믹스하여 A/B 테스트의 성공률 높이기 (Mixed Methods)
A/B 테스트는 유저가 "무엇(What)"을 하는지는 명확히 보여주지만, "왜(Why)" 그런 행동을 하는지는 말해주지 않는다. 이전 글에서 많이 다루었던 정량적 정성적 데이터의 차이와 특징이다.
행동 데이터(Behavioral): A/B 테스트처럼 높은 신뢰도로 현상을 보여준다.
태도 데이터 (Attitudinal): 인터뷰처럼 깊은 인사이트로 행동의 이유를 설명한다.
이 두 가지를 결합하면 A/B 테스트 결과에 대한 확신을 높일 수 있다.
이 표는 각 리서치 방법이 행동 데이터와 태도 데이터 중 무엇을 수집하기에 적합한지 보여준다.
행동과 태도 데이터들이 서로 시너지 효과를 얻기위한 리서치 방법 믹스매치3. 리서치 설계 시 반드시 고려해야 할 것
실행 가능한 리서치를 위해 디자이너는 다음 요소를 고려해보아야 한다.
목적: 지금이 탐색, 집중, 검증 중 어느 단계인가?
데이터 타입: 정성, 정량 혹은 둘 다 필요한가?
시그널의 강도: 이 데이터로 어떤 의사결정을 내릴 수 있는가?
리소스: 현재 가용한 시간과 예산 내에서 최선인가?
개인적으로 너무 유익하였던 테이블- 리서치의 목적에 따라 사용하는 리서치 방법과, 리서치를 하는데 드는 시간과 비용을 한눈에 보여주는 리서치 방법론 표마치며: 훌륭한 디자이너는 가장 효과적인 '리서치 도구'를 고른다
A/B 테스트는 가장 믿을 만한 리서치 도구이자 솔루션을 검증하는 방법이다. 하지만 이 도구 역시 한계는 있다. 성공적인 프로덕트 디자이너는 가장 비싼 방법론인 A/B 테스트를 런칭하기 전, 여러 도구들을 사용하여 해당 솔루션의 효과를 예측해볼 수 있다. 그리고 그 솔루션의 가지고 있는 부작용(Guardrail metrics) 까지도 말이다.
모든 이미지 출처: Speero
