Maze로 UT 진행하기 [결과편]
Maze로 사용성 테스트를 진행해보자!
2편의 Maze를 실험참가자들에게 공유하고 실험을 진행하였습니다. 실험이 끝나고 실험 결과를 분석하는 과정에 대해 이야기 해보겠습니다.
실험이 종료되면 우선 실험참가자들에게 감사 인사를 보내고, Maze 대시보드에서 Results 페이지로 이동하여 결과를 확인합니다. 결과를 확인하는 단계는 Results와 Report 두 단계가 있습니다.
1. 실험 결과 확인 - Results
먼저 Results 단계입니다. Results tab은 모든 응답의 합산 값, Testers tab은 실험참가자 개별 응답입니다.
Result - Results tab을 살펴보겠습니다. 가장 상단에는 Confidence가 있습니다. 얼마나 많은 실험참가자가 응답하였는지에 대한 내용으로 Maze에서는 많은 인원을 권장합니다. 그러나 이 기준에 맞추기보다는 계획했던 실험 설계에 맞는 인원을 대상으로 실험을 진행하는 것이 좋습니다.
그다음은 각 Task 별 응답 확인입니다. 왼쪽에서 Task를 누르면 해당 Task 응답을 보여줍니다. 예시로 만든 Maze는 3명이 참가했고, 모두 Yes로 대답했습니다. 그 결과를 크고 직관적으로 보여줍니다. Multiple Choice 응답과 Open Question도 응답을 직관적으로 보여줍니다.
Prototype test 결과입니다. 다른 Task에 비해 봐야 하는 항목들이 조금 더 많습니다. 가장 위부터 4개의 항목으로 구성되어 있습니다.
Direct Success : 실수 없이 바로 실험 설계자가 의도한 대로 Prototype을 작동시켰음을 의미합니다. Task 성공이며, Direct Success 비율이 높을수록 잘 설계된 UX일 확률이 높습니다.
Mission unfinished : Task 실패. Prototype에서 실험 설계자가 의도한 Flow대로 UI를 사용하지 못하고 포기하였을 때 기록됩니다. 실험참가자가 ‘업무 중단하기’ or ‘작업 끝내기’를 눌렀을 때에 해당합니다. 이 비율이 높을수록 잘못 설계된 UX일 확률이 높습니다.
Misclick rate : Prototype에서 정상적으로 눌러야 하는 UI를 누르지 않고 다른 화면을 클릭한 비율을 말합니다. Misclick rate 비율이 높으면 사용자가 UI를 혼란스러워한다는 의미이며, Direct Success와 Mission unfinished 두 항목을 같이 보고 판단하여야 합니다. Task 성공은 했으나, 잘못 클릭한 비율이 높다 or 잘못 클릭한 비율이 높고 중도 포기 비율도 높다는 것과 같은 해석을 내릴 수 있습니다.
Avg duration : 실험 응답에 걸린 시간의 평균값입니다. 이 시간이 길수록 실험참가자가 Task를 완료하는 데에 걸린 시간이 길다는 의미입니다. 응답 완료에 걸린 시간이 길다는 것은 여러 해석을 내릴 수 있습니다. 실험참가자가 집중하지 못했거나, 다른 일이 있어 응답이 느렸거나, 실제 UI가 복잡하거나 등의 판단을 내릴 수 있습니다.
Mission paths는 Task를 성공하거나 실패한 실험참가자의 클릭 영역 히트맵을 확인할 수 있는 공간입니다. 아래 Path 1 공간의 UI 위에 Hover 하는 경우 View path heatmaps 버튼이 나옵니다. 이 버튼을 누르면 성공과 실패의 경우를 분류하여 실험참가자가 어떤 공간을 많이 클릭하였는지 히트맵을 확인할 수 있습니다.
Direct success : 설계자의 의도대로 Prototype path를 실험참가자가 잘 따라 성공한 경우입니다.
Indirect success : 설계자의 의도대로 따라오지는 못했지만, 다른 Path를 따라 성공적으로 프로토타입의 마지막에 도달한 경우입니다.
Mission unfinished : 실험참가자가 Task를 완료하지 못하고 포기한 경우입니다.
View path heatmaps 버튼을 누르면 히트맵을 확인할 수 있는 공간이 나옵니다. 한 공간의 클릭 횟수가 많을수록 붉은색으로 표시됩니다. 또한, 프로토타입 UI 위에서 영역을 지정하면 해당 영역에서의 정보만을 따로 표기해 줍니다. 유료 버전에서는 Clips tab에서 실험참가자의 액션을 영상으로 확인할 수도 있습니다.
이제 Testers tab을 살펴보겠습니다. 여기서는 실험참가자 개별 응답을 볼 수 있는 공간입니다. 왼쪽에서 참가자를 선택하면 General에 사용한 브라우저, OS, 언어부터 언제 시작했는지, 얼마나 걸렸는지 등의 정보를 보여줍니다. 아래 Responses 구간에서는 각 Task 별 응답을 보여주고 Prototype path를 클릭하면 이 참가자의 Path를 확인할 수 있습니다. Results tab에서 전체 응답을 살펴보고 특이한 응답 혹은 주목할 만한 응답을 한 참가자를 고른 후 Testers tab에서 확인하는 순서로 실험 결과를 살펴보는 것이 좋습니다.
2. 실험 결과 확인 - Report
Report는 실험 결과를 다른 사람들과 공유하기 편하게 구성된 단계입니다. 아래 링크를 클릭하면 Test를 위해 만들어 둔 Maze의 Report 예시를 확인하실 수 있습니다.
https://app.maze.co/report/New-maze-3/l4yeillgpk7zl/intro
Yes/No, Multiple Choice, Open Question 등의 단순 질문 Task는 응답 결과를 간략하게 보여주는 화면을 제공하고, Prototype test Task는 Results 단계에서 보여준 것과 같이 Direct success, Mission unfinished, Misclick rate, Avg duration 등을 보여줍니다. Results와 다른 몇 가지가 있는데 Mission paths에서 path를 진행하며 몇 명의 유저가 성공하였는지, 어떤 구간에서 중도 포기한 사용자가 몇 명인지를 보여줍니다.
또한, Success Metrics 그래프로 성공과 실패 비율을 직관적으로 확인할 수 있게 하고, Usability Breakdown에서 화면별 완료까지 걸린 시간, Misclick 비율 그리고 Usability Score를 보여줍니다.
Usability score는 Maze가 제공하는 여러 정보(Exit Rate, Misclick 등)를 종합하여 Maze가 각 화면의 사용성 점수를 계산해 주는 것입니다. 계산방식에 대한 보다 디테일한 정보는 아래 링크에 담겨있습니다.
Optimal Path Analysis는 Path 별 사용성 개선이 필요한지, 다시 설계해야 하는지 등을 Maze에서 계산하여 조언해 주는 공간입니다. Summary와 Full Analysis로 나누어져 있고 Summary에서는 ‘Screen to rework’와 같이 변경이 필요한 path를 보여주고, Full Analysis에서는 위에서 보여준 데이터들을 종합하여 보여줍니다.
Maze에서 제공하는 Usability score와 Optimal Path Analysis의 Summary에서 구분한 개선이 필요한 Path를 참고하기만 해도 제품의 치명적인 사용성 문제를 발견하고 개선할 수 있습니다. 물론 Maze가 제공하는 결과를 재해석하고 우리의 상황에 맞는 데이터들에 집중하는 것이 올바른 태도이지만 Maze가 가공해 제공하는 값들도 충분히 활용할 가치가 있습니다.
여기까지 Maze에서 실험의 결과를 확인하는 Results와 Report 단계를 살펴보았습니다. 앞으로는 제가 직접 실험을 진행하고 얻었던 특이한 경험 및 좋은 실험을 위한 주의사항에 대하여 이야기하겠습니다.
읽어주셔서 감사합니다. :)
