Maze로 UT 진행하기 [진행편]
Maze로 사용성 테스트를 진행해보자!
1편에서 Maze의 Template를 수정하여 실험 준비를 완료하였습니다. 이제 실험 계획 수립 단계에서 예상한 실험 참가 인원에게 Maze를 공유하고 실험을 진행하는 과정을 살펴보겠습니다.
1. 실험 참가자 모집
실험 계획 수립 단계에서 실험에 투입할 수 있는 예상 리소스를 계산해 두었다면 실험 참가 인원을 어느 정도 모집해야 하는지 대략 파악할 수 있습니다. 실험이 처음이고 실험 진행 및 분석에 참여하는 인원이 적다면 실험 참가자도 비교적 적은 인원을 모집하는 것이 좋고, 실험 숙련도가 높은 진행자가 충분한 지원을 받을 수 있는 상태라면 넉넉한 실험 참가자를 대상으로 실험을 진행하여도 좋습니다.
한가지 분명히 해야 하는 점은 한 번의 실험으로 완벽한 결과를 얻어내기 힘들다는 것입니다. 그러므로 실험에 조금 미흡한 점이 있더라도 그 사실을 인지하고 다음 실험에서 계속 보완해 나가는 것이 중요합니다. 적당한 실험 참가 인원은 대략 8명~15명 정도이며, 이보다 많으면 30~40명도 좋습니다. 그러나 100명 단위 또는 그 이상의 큰 규모의 UT를 진행하는 것에 대해 절대 반대하지는 않으나 한 번의 실험에서 저 정도의 규모로 진행하는 것은 비효율적이며 보다 작은 규모로 빠르게 진행하는 것이 보다 수월하고 효과적인 UT라 생각합니다.
실험 참가 인원을 정하였다면 리크루팅을 진행합니다. 보통 사내 혹은 지인을 통해 모집하며, 외부 동아리, 커뮤니티 등에 실험 참가를 모집하는 글을 공유하여 참가자를 모집합니다. 지인이나 동료의 경우 친분만으로도 실험에 참여해주는 경우가 있으나 외부에서 모집되는 인원은 확실한 혜택이 있지 않은 이상 실험에 적극적으로 참여해 주지 않는 경우가 많습니다. 이런 현상을 막기 위해서 실험 참가 인원에게 소정의 사례를 지급하는 것이 좋습니다.
모집이 완료되면 참가하는 인원들의 대략적인 특성들을 기록하면 좋습니다. Maze는 실험 참가자의 간략한 정보를 수집할 수 있는 기능을 제공하지만, 초반에 세웠던 실험 계획에 적합한 정보를 수집하기 위한 추가적인 방법을 도입하는 것이 좋습니다. 쉬운 예로 Maze task에 사용자의 대략적인 신상정보(연령대, 직업군 등)을 묻는 질문을 추가하는 방법입니다. 실험참가자의 특성에 따라 실험 결과를 분류하는 등 활용 가치가 높기 때문에 되도록 수집하는 것을 권장합니다.
실험에 대해 간략한 안내를 하는 것도 좋습니다. 실험 기간 및 실험이 종료되는 기준, 어떻게 참여하면 되는지 등의 내용을 포함하여 공유하는 게 좋습니다. 온라인 실험의 경우 정해진 시간까지 실험 참가자들이 대기하고 있다가 정확한 시간에 동시에 실험을 시작하는 방식과 우선 실험 참가 링크를 전달하고 편한 시간에 자유롭게 접속하여 실험을 진행하게 하는 방식이 있습니다. 이외에도 여러 방법이 있을 수 있으니, 본인의 상황에 가장 적합한 실험 방법을 선택하여 수행하는 게 좋겠습니다.
2. 실험 공유
실험을 위한 Maze가 완성되고 실험참가자 섭외가 완료 되었으면, Maze 제작 화면의 우측 상단 Start testing 버튼을 눌러 Live(Share 단계) 상태로 이동할 수 있습니다. Share 단계에서는 실험참가자에게 Maze 링크를 전달하고 참가자들의 상태를 관리하는 공간으로 4가지 기능을 제공합니다.
a. Copy maze link : 실험에 참여할 수 있는 링크를 생성해 줍니다. Link option으로 Tester tracking과 Unique session을 제공합니다. 가장 기본적인 기능이며 저 또한 이 기능으로 실험참가자들에 링크를 전달하였습니다.
b. Send Reach Campaign : 캠페인을 제작해 E-mail을 보낼 수 있는 기능입니다. 유료 사용자에게만 제공합니다.
c. In-Product Prompt : 라이브 웹사이트에서 실험에 참여할 수 있게 하는 기능입니다. 새로 추가된 기능으로 현재 동작 중인 사이트에 코드를 집어넣어 작동시키는 기능입니다.
https://maze.co/product-updates/en/in-product-prompts
d. Hide from our Panel : Maze를 통해 사용자를 리크루팅 하는 기능입니다. 원하는 조건을 입력하면 그에 맞는 Pool size를 모여주고 단가를 안내합니다. 실험참가자를 모집하기 어려운 경우 사용하면 유용합니다.
3. 실험 진행
실험참가자들은 공유한 링크를 통해 Maze에 들어와 실험에 참여할 수 있습니다. 가장 첫 페이지는 Welcome Screen으로 간단한 안내가 나오게 됩니다. 이후 실험 제작 단계에서 준비한 Task들을 하나씩 수행하면 Thank you Screen을 마지막으로 실험을 마치게 됩니다.
실험 Task 중 Prototype Test를 주목해야 합니다. 우리가 검증하려 하는 Prototype을 직접 사용하게 하는 Task이고 집중해서 진행하게 하여야 하는 Task입니다. 온라인 실험의 특성상 사용자를 집중, 성실하게 참여하게 하는 뾰족한 방법이 없으나, Task 지문을 흥미롭게 작성하거나 하는 등의 간접적인 방법을 통해 약간이나마 보완할 수 있습니다.
하나 더 주목해야 하는 것은 ‘업무 중단하기’ or ‘작업 끝내기’입니다. 실험참가자가 Prototype Test 진행 중 막히는 경우 이 버튼으로 Task에서 탈출할 수 있습니다. 이는 UI에서 해야 하는 다음 동작을 찾을 수 없다는 것으로 중대한 사용성 문제에 해당할 수 있기 때문에 Prototype의 문제나 실험 설계 오류로 인해 작업 불가 상태가 되지 않게 신경 써야 합니다.
4. 진행 상태 확인
실험참가자에게 링크를 모두 공유하고 실험 시작을 알렸다면 Share 대시보드에 진행 사항이 기록됩니다. 섭외한 인원이 모두 응답할 때까지 기다리고 실험 참가가 늦는다면 연락하여 진행을 부탁하는 것이 좋습니다.
사전에 약속된 실험참가자들이 모두 응답을 완료하였다면 실험을 종료합니다. 3편에서 Maze 대시보드의 Share에서 Results로 이동하여 실험 결과를 확인해보겠습니다.
읽어주셔서 감사합니다. :)
