brunch

매거진 기획자의 UX 이야기

라이킷 19 댓글 1

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 여행하는 기획자 Sep 06. 2023

A/B 테스트는 어떻게 해야 할까?

A/B Test의 방법과 주의해야 할 점들에 대하여

2023년은 일 년 내내 데이터를 시각화하는 프로젝트를 진행하고 있다. 데이터로 사람의 취향을 예측하는 내용들을 위주로 기획을 하고 있다. 상반기에는 주로 기획과 디자인을 위주로 작업하는 것으로 계획을 삼았다가 개발까지 넘어가면서 변수가 어마어마하게 많아지고 있다.

개발로 넘어가면 일정 상 안 되는 것들이 많아진다. 기획에서 구현하려고 했던 것들의 20% 정도 구현을 하기도 만만치 않다. 빠지는 기능이 많아지면 디자인 수정도 대폭 이뤄진다. 이때부터 혼란이 생긴다. 사용자들의 반응률을 높이고는 싶은데 어떻게 기획하고 디자인을 해야 관심도가 올라가는 것일까? 내 감각만 갖고 선택하기엔 너무 위험하다. 이때 근거 있는 설득을 위해, 정량적 데이터를 얻기 위해 A/B 테스트를 수행한다.

A/B 테스트를 실행하면 좋은 UX의 경우 사용자가 오랫동안 머물 것이고, 그 반대의 경우 쉽게 떠나갈 것이다. 서비스가 출시 후, 혹은 출시 전 수행되는 전체 환경 테스트에 비해 훨씬 저렴한 비용과 노력으로 사용자 반응을 확인해 볼 수 있어 필요할 때마다 A/B 테스트를 수행한다.

그럼 A/B 테스트는 어떻게 수행하는 것일까?

1. A/B 테스트를 하기 위해서는 먼저 목표가 있어야 한다. 요즘 진행하고 있는 데이터 시각화 프로젝트의 목표는 '사용자의 높은 클릭 유도'이다. 사용자가 클릭을 해서 내가 원하는 액션을 취하도록 만드는 것이 목표이다.

2. 그런 다음 가설을 세우는 것이다. 위 프로젝트의 경우 좀 더 직관적인 세그먼트 변화를 보여주기 위해서는 원 안에 컬러 변화를 줘야 할 것이다. 이를 위해 2가지 A안, B안의 UI 시안을 제작하였다.

3. 테스트를 위해 두 가지 변수를 만들어 프로토타입을 동시에 공유한다.

4. 결과를 측정한다. 참여도, 전환수, 종료율, 이탈률 등등 여러 가지 성능을 측정하는 항목들이 있다. 위 프로젝트의 경우 참여도와 를 측정 항목으로 삼았다. 주요 목표에 따라 적합한 한 두 가지의 측정 항목을 선정하여 어떤 버전이 나은지, 더 나은 성과를 내는 것이 무엇인지 확인을 하고 조치를 취하면 된다.

출처:https://designforfounders.com/

잘못된 A/B 테스트를 하는 경우 (A/B 테스트를 할 때 검토해야 하는 사항들)

1. 시점에 대한 오류

테스트를 수행할 땐 동시에 하는 것이 필요하다. 시간 차이를 두고 A번 테스트를 한 다음 뒤이어 B테스트를 하면 오류가 발생할 확률이 높다. 테스트를 할 땐 무조건 동시에 접근하는 것이 중요하다. 테스트를 수행할 때도 '언제' 동시에 수행하였는지 남겨주는 것이 필요하다.

2. 실험자 선정에 대한 오류

한 번은 임원들에게만 보여주고, 다른 한 번은 실무진에만 보여줘 의견을 듣는 경우가 있다. 남자에게 보여주고, 다음은 여자에게 의견을 받는 경우도 있다. 이렇게 역할, 성별 등으로 나눠 의견을 전달받으면 제대로 된 피드백을 알기 어렵다. 특정 인원의 의견에 동조하거나, 집단의 분위기, 성향에 따라 결과가 달라지기 때문이다. 따라서 A/B Test를 수행할 땐 실험자를 균등하면서 무작위로 나눠 이야기를 들어보는 것이 필요하다.

좌(A), 우(B) UI 시안의 AB 테스트 일부

3. 목적에 대한 오류 (정말 테스트가 꼭 필요한 것인가?)

굳이 테스트가 필요하지 않은 경우가 있다. 인간인이상 너무나 당연한 인지 결과를 보여주는 것들이다. 글자보다는 그림에 반응을 하고, 무표정보다는 웃는 사진, 일반 사물보다는 아기나 아름다운 여성에 반응한다라는 통상적인 개념들은 테스트를 안 해도 아는 것들이다. 일부러 정량 데이터를 얻기 위해 테스트를 위한 테스트를 한다면 비효율적인 접근이 될 것이다.

4. 대조군에 대한 오류

테스트 대조군이 너무 다를 때도 목적이 모호해진다. 갑자기 메인 페이지와 결재하기 페이지를 테스트한다면 왜 테스트를 하는지 모호해진다. 화면상 버튼 클릭을 통해 사용자의 액션율을 올린다면 같은 화면을 대조하고, 프로세스의 개선이 필요하다면 같은 프로세스로 접근하는 것이 필요하다. 목적이 무엇이냐에 따라 대조군을 적절하게 구분하는 것이 특히 중요하다.

언제 A/B 테스트를 하는가?라고 묻는다면 기회가 되는대로 자주 하는 것이 좋다고 생각한다. 한 기획자나 디자이너가 생각하는 방향과 실제 사용자들이 느끼는 차이가 있기 때문이다. 물론 테스트를 할 때 그만큼 비용과 시간이 소요되긴 하지만, 결과적으로는 서비스를 빠르게 추진하는 원동력이 된다. 다음 포스팅에서는 내가 A/B 테스트를 할 때 어떤 툴을 활용하면서 테스트를 하는지, A/B테스트에 대한 유명한 예시들에 대한 이야기를 좀 더 자세히 해봐야겠다.

(혹시 A/B 테스트 관련하여 알고 싶으신 내용이나 공유해주시고 싶으신 사례가 있으시다면 언제든지 알려주세요 :))

keyword