UT의 추억 : 망했던 사용자 테스트의 기억
플러스엑스 챌린지#12
by
Jul 29. 2023
혜택이 너무 적고 잘 보이지도 않아요.
망했다. 야심 차게 준비했던 UT에서 고객들이 모두 같은 반응만을 보인다. A타입과 B타입에 대한 개편안에 대해 의견을 들어봤어야 하는데, 앱에 대한... 금융상품 자체에 대한 성토회가 되어버렸다. 애써 진행자가 원래의 질문흐름으로 돌아오려고 하지만, 이미 흘러가 버린 흐름을 원상복구 시키는 것은 쉽지 않았다. 어떻게든 준비한 질문들과 사용자들의 행동 모니터링을 마지막으로 마무리되었다. 처참한 기분으로 지하철에 올라타며 생각했다. '어떻게 해야 좋은 사용성 테스트를 할 수 있을까' 그리고 이 고민을 이번 플러스엑스 챌린지를 들으며 어느 정도 해결해 볼 수 있었다.
이전에 사용성 분석을 위한 휴리스틱 평가에 대해 알아보았는데, 해당 평가가 UI/UX 리서치팀이 타사 서비스들을 벤치마킹 하는 것이라고 한다면, 사용성 테스트(UT)는 타깃 사용자들이 앱을 사용하는 것을 관찰하면서 실제로 어떻게 사용하는지 관찰하고, 질문을 한다. 주로 아래와 같은 상황에서 활용된다.
- Problmes : 서비스의 문제점과 개선점을 파악하고 싶을 때
- Prototype : 프로토타입의 사용성을 검증하고 싶을 때
- User : 사용자가 서비스를 어떻게 사용하는지 이해하고 싶을 때
그렇다면 구체적으로 어떻게 진행이 될까? 아래 프로세스와 같이 준비, 진행, 분석으로 나눠볼 수 있다.
UT의 준비, 실행 그리고 분석과정 준비
UT의 준비는 진행의 목적을 바탕으로 테스트 진행 시 사용할 자료를 만들고, 멤버와 장소를 섭외하는 과정으로 이루어져 있다. 개인적으로는 준비과정에서 타깃 사용자 설정 및 리쿠리팅이 가장 중요한 것 같다. 진행했던 UT에서 참여한 사람들이 우리 서비스에 대해서도 구체적으로 모르는 듯한 모습을 보면서 현타가 온 적이 있었기 때문이다.
(1) 목적 설정 : 사용성 테스트를 진행하는 목적을 정한다.
(2) 타깃 사용자 설정 : 인구통계학적 변수 및 서비스 이용 변수들을 활용해 세그먼트를 정한다.
- 서비스 이용 변수 : 행동패턴, 체류시간, 이용빈도, 숙련도, 디바이스 등
(3) 태스크 및 시나리오 설정 : 평가를 진행할 구체적인 태스크 및 시나리오를 설정한다.
(4) 시용성 테스트 측정 및 항목 및 평가기준 설정 : 앞서 선정한 태스크를 어떤 항목으로 평가하고, 측정할 것인지 정한다.
- 이때 정량적, 정성적 지표들을 고려하고, 휴리스틱 평가 원칙들도 활용해 볼 수 있다.
(5) 사용성 테스트 활용 자료 만들기 : 개인정보수집/이용동의서, 보안서약서, 설문지/인터뷰지 등 활용할 문서를 만든다.
(6) 대상자 리쿠르팅 : 직접/리쿠르팅 업체를 통해 대상자를 모집한다. 사전 설문조사를 통해 대상 적합성을 평가할 수 있다. 7명이 적정하며, 적어도 3-5명은 참여해야 의미 있는 인사이트를 뽑을 수 있다.
(7) 멤버 구성 및 장소 선정 : PL, UX디자이너로 3명 정도가 참여하며, 진행자 1명과 기록자 2명으로 구성된다.
진행
UT는 유의사항을 안내하고, 테스트 진행/관찰/마무리로 이어진다. 이때 사용자들이 서비스를 사용하며 생각하는 것을 말할 수 있도록 안내하고, 문제가 있어 보이는 지점들에 대해 체크하는 것이 중요하다.
(1) 유의사항 안내 : 본격적인 진행에 앞서 동의서/사전 설문, 과정 및 기법을 안내한다.
- 테스트과정 안내 : 평가과정, 촬영/녹화, 질문 기회가 있음에 대해 안내한다.
- Think Around 기법 안내 : 사용자가 서비스를 사용하며 머릿속으로 생각하는 것을 입으로 말하게 유도한다.
(2) 사용성 테스트 진행 : 사용자에게 영향을 줄 수 있는 직접적인 질문보다 중립적인 질문으로 진행한다.
(3) 사용성 테스트 관찰 : 태스크를 수행한 시간을 기록하고, 대상자의 '행동'을 중심으로 분석한다.
(4) 마무리 인터뷰 진행 : 서비스에 대한 전반적 질문과 더불어 사용자가 망설이거나 주저한 지점들에 대해서도 질문한다.
분석
마지막으로는 관찰한 내용들을 정리하고, 분석하는 것이다. 이를 바탕으로 UT의 목적에 부합하는 인사이트를 도출해야 한다.
(1) 관찰내용 정리하기 : 영상을 보며 오류/조작 횟수를 정리하며 관찰 중 놓친 부분은 없는지 점검한다.
(2) 관찰내용 분석하기 : 대상자의 행동에서 문제점을 도출한다.
(3) 가이드라인과 비교 : 수행시간, 플로우, 오류 횟수, 사용자행동 기록을 바탕으로 가이드라인과 비교할 때 무엇이 부족한지 파악한다.
(4) 인사이트로 연결 : 사용자의 문제점을 바탕으로 그 원인이 무엇인지 분석한다.
이번 파트의 요약