A/B 테스트와 사용성 테스트 UT 언제 어떻게 할까
디자인 프로세스에서의 테스트 활용법
사용자 피드백을 어떻게 받지?
제품을 개선하려면 사용자 피드백이 필수다. 이때 가장 보편적으로 A/B 테스트와 사용자 테스트(UT)라는 두 가지 방법이 많이 쓰인다. 하지만 이 둘을 언제 어떻게 쓰는게 좋을지 감이 잘 오지 않는다면? 적절하게 사용할 수 있는 꿀팁을 소개한다.
A/B 테스트
A/B 테스트는 두 개 이상의 버전을 비교하여 데이터 기반으로 더 나은 선택을 찾는 방법이다. 예를 들어, 웹사이트의 버튼 색상을 빨간색과 파란색으로 나누어 테스트해보고, 더 많은 클릭을 유도하는 색상을 선택하는 식이다.
출처: Uxcel특징
다수의 사용자에게 두 가지 버전을 무작위로 보여주고, 성과를 비교한다.
정량적인 데이터(클릭률, 전환율 등)를 기반으로 의사결정을 한다.
사용자의 의견을 직접적으로 받기 보다 행동 데이터를 분석하는 방식이다.
언제 쓰면 좋을까?
이미 구축된 제품에서 특정 요소(버튼, 문구, 레이아웃 등)의 효과를 비교하고 싶을 때
빠르게 실험하고, 확실한 데이터를 얻고 싶을 때
소규모 변경 사항을 최적화하는 과정에서
사용성 테스트 UT
사용자 테스트(UT, Usability Testing)는 실제 사용자가 제품을 사용하는 모습을 관찰하고 피드백을 받는 과정이다. 정량적인 데이터보다는 사용자의 생각, 감정, 경험을 깊이 있게 탐색하는 것에 주안점을 둔다.
출처: Nomesa특징
사용자가 특정 과업을 수행하는 동안 행동을 관찰하고, 어려움을 파악한다.
정성적인 피드백(사용자의 불편함, 기대, 감정 등)을 수집한다.
인터뷰, 설문, 화면 녹화, 음성 기록 등을 활용한다.
언제 쓰면 좋을까?
새로운 기능이나 제품을 출시하기 전 사용자 반응을 알고 싶을 때
UX 문제를 찾아내고 개선 방향을 정할 때
제품의 전반적인 사용성을 평가할 때
쉽게 말해, A/B 테스트는 "이 중에서 뭐가 더 나을까?"를 판단하는 용도이고 사용성 테스트는 "왜 불편할까?"를 분석하는 용도라고 이해할 수 있다.
더블 다이아몬드에서 어떤 단계에 속하지?
디자인 프로세스에서 흔히 사용하는 더블 다이아몬드(Double Diamond) 모델은 발견(Discover) → 정의(Define) → 개발(Develop) → 전달(Deliver) 4단계로 나뉜다. 하지만 이 과정은 절대적인 순서가 아니라 비선형적이며, 상황에 따라 반복되거나 병행될 수도 있다.
따라서 특정 방법론이 특정 단계에서만 쓰인다고 단정할 순 없다. 그럼에도 불구하고 쉽게 이해하고자, 일반적으로 사용자 테스트(UT)와 A/B 테스트는 다음과 같은 방식으로 활용되는 보편성을 소개한다.
출처: UXcollective사용성 테스트 UT
UX 문제를 찾거나, 새로운 아이디어를 테스트할 때 활용된다.
예를들어, 초반에 페르소나와 사용 시나리오를 만들기 위해 사용성 테스트를 진행하거나, 아이디어 설계 후 테스트로 진행할 수 있다.
문제 정의(Define), 솔루션 도출(Develop), 솔루션 구현(Deliver) 단계에서 주로 쓰인다.
A/B 테스트
기능이 이미 개발된 상태에서, 최적의 디자인을 찾기 위해 사용된다.
예: 앱의 가입 버튼 위치를 바꿨을 때 전환율이 어떻게 변하는지 확인한다.
솔루션 구현(Deliver) 단계에서 주로 쓰인다.
A/B 테스트 & UT 꿀팁
A/B 테스트
너무 많은 요소를 동시에 바꾸지 않는다. → 한 번에 하나씩 실험해야 원인을 명확히 알 수 있다.
충분한 샘플 크기를 확보한다. → 데이터가 적으면 신뢰할 수 없는 결과가 나온다.
KPI를 명확히 설정한다. → 클릭률, 전환율 등 무엇을 개선하려는지 정하고 시작한다.
사용성 테스트 UT
테스트할 때 질문을 유도하지 않는다. → "이거 불편하죠?"가 아니라 "이걸 어떻게 사용하시나요?"라고 열린 질문으로 물어야 한다.
사용자의 행동을 관찰하는 것에 집중한다. → 이때 행동 변화가 일어나는 "트리거"를 찾는게 핵심!
테스터 수에 부담을 가지지 말자. → 5만 테스트해도 주요 UX 문제를 발견할 수 있다고 NN그룹은 말한다.
마무리
A/B 테스트와 사용자 테스트는 각기 다른 목적과 방식이 있는 만큼, 적절한 시점에서 활용하는 것이 중요하다. 제품 초기라면 사용성 테스트로 문제를 발견하고 개선 방향을 잡고 제품이 어느 정도 완성된 후라면 A/B 테스트로 최적화를 진행할 수 있다. 이 두 가지 방법을 잘 활용하면 사용자 경험을 효과적으로 개선할 수 있다. 무작정 실험하기보다, 목적을 명확히 하고 전략적으로 접근하는 것이 핵심이다.
<refer>
https://www.nngroup.com/articles/ab-testing-usability-engineering/
https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/
