외부 업체를 통한 사용성 테스트 진행하기 (3)
실행 및 짧은 회고
목차 소개
1. 외부 업체를 통한 사용성 테스트 진행하기 (1) - 사용성 테스트를 진행하게 된 배경과 업체 선정 과정
2. 외부 업체를 통한 사용성 테스트 진행하기 (2) - 사용성 테스트 실행 준비
3. 외부 업체를 통한 사용성 테스트 진행하기 (3) - 실행 및 짧은 회고
드디어 사용성 테스트 시리즈의 마지막 글입니다. 이번 글에서는 사용성 테스트 실행 과정과 짧은 회고를 담았습니다.
사용성 테스트 수행
조사 대상자 정의, 문항 설계, 이미지 작업 등 여러 준비 끝에 드디어 총 3개의 사용성 테스트를 수행했습니다.
정량조사
정량조사는 설문조사를 통해 이루어졌으며, 저희가 작성한 초안을 바탕으로 업체에서 최종적으로 47개의 질문을 포함한 설문조사를 구성해 줬습니다. 이 설문조사는 만 25~44세의 총 1,000명의 응답자를 대상으로 이틀 동안 진행이 되었고, 설문조사 종료 후에는 업체에서 정량조사 최종 보고서를 작성하여 전달해 줬습니다.
정량조사의 응답자는 성별과 연령을 균형 있게 설정해 진행되었습니다. 이를 통해 보험 정보 탐색 니즈와 보험 전문 서비스 이용 현황을 파악하고자 하였으며, 결과적으로 보험이해도에 따라 차이가 나타난다는 것을 확인할 수 있었습니다.
정성조사 1(비대면 UT)
비대면 UT 진행 시에는 저희가 작성한 초안을 바탕으로 업체에서 프로토콜을 작성해 주었어요. 프로토콜은 일종의 태스크 수행 가이드라인으로 각 태스크의 진행 방식, 태스크 항목별 질문 문항, 응답 항목, 태스크 성공 가이드라인 등으로 구성되어 있었습니다. 태스크별 질문 문항은 객관식과 주관식으로 이루어져 있었으며 효율성, 사용성, 정보제공성, 가시성, 개선점등을 평가하기 위한 내용으로 구성되어 있었습니다.
비대면 UT는 총 68명의 응답자를 대상으로 5일 동안 진행되었습니다. 테스트를 완료한 후에는 업체에서 응답자들의 태스크 수행 녹화본과 함께 응답자들의 태스크 성공 여부, 수행 시간, 이동 경로, 특이사항 등을 함께 전달해 주었습니다. 이러한 자료들을 통해 사용자들이 어떤 태스크를 어려워하는지, 어떤 기능을 선호하고 있는지, 어떤 부분에 대해 부정적인 피드백을 주는지 등을 파악할 수 있어서 매우 유익했어요.
정성조사 2(대면 UT)
대면 UT도 비대면 UT와 유사하게 저희가 작성한 초안을 바탕으로 업체가 진행 순서와 함께 태스크별 모더레이터의 질문으로 구성된 프로토콜을 작성해 주었습니다. 이를 통해 대면 UT를 통해 알아보고자 하는 것을 앱 진입부터 단계별로 잘 파악할 수 있도록 정리해 주었습니다. 응답자와 모더레터가 대면하여 1:1로 진행되기 때문에 각 태스크 항목별로 모더레이터가 알아보고자 하는 것을 질문 형식으로 작성해 주었어요.
총 6명의 응답자를 대상으로 이틀 동안 진행되었고, 진행 후에는 영상 녹화본과 스크립트, 최종 보고서를 전달받았습니다. 대면 UT는 저희 팀도 참관할 수 있도록 하여, 이틀 연속으로 참관하는 경험을 했습니다. 참관을 통해 사용자가 서비스를 직접 사용하면서 피드백을 주는 내용들을 들으며, 서비스의 방향성과 개선점에 대해 다양한 인사이트를 얻을 수 있었어요. 대면 UT에서는 모더레이터가 분위기를 이끌어가는 것이 크기 때문에 모더레이터의 역량에 따라 응답의 퀄리티가 많이 달라질 수도 있을 것 같다는 생각을 했습니다.
조사 종료 후 사후 작업
사용성 테스트를 진행하며 저희 팀에서는 중요한 프로젝트이지만 다른 팀에서는 사용성 테스트를 진행하고 있다는 것을 모를 수 있기 때문에 진행하는 과정을 틈틈이 슬랙 채널에 공유했어요. 총 3차례의 사용성 테스트가 종료된 후 업체 측으로부터 최종 결과 보고서를 전달받았습니다. 이후 내부 PT를 요청하여 사용성 테스트의 결과를 사내에 공유했습니다.
내부적으로는 사용성 테스트의 결과를 바탕으로 내부 보고서를 작성하는 작업을 진행했습니다. 저희가 진행한 업체에는 자체 애널리틱스를 보유하고 있어서 테스트 결과를 직접 분석해 볼 수 있었어요. 이를 통해 나온 결과를 분석하고 저희가 세운 가설과 대조해 보며, 다양한 논문과 자료를 참고하여 보고서를 작성했습니다. 이렇게 만들어진 최종 보고서까지 발표한 후 사용성 테스트 프로젝트를 완료하였습니다.
짧은 회고
사용자 피드백을 들어볼 기회가 없어 아쉬웠는데 전문 업체를 통해 사용성 테스트를 진행할 수 있게 되어 정말 좋았습니다. 세 개의 테스트가 거의 동시에 진행되어 조금 정신없었지만 조사 대상자 정의부터 문항 설계까지 깊이 있는 프로세스를 경험해 볼 수 있어 유익했습니다.
특히 대면 UT 참관을 통해 사용자들이 직접 서비스를 사용하면서 피드백을 주는 모습을 본 것은 정말 좋은 경험이었습니다. 이틀 동안 하루 평균 6시간 정도 진행되었는데 모더레이터분이 지친 기색도 없이 매끄럽게 진행을 해주시는 모습이 인상적이었어요. 요즘은 내부 리서처를 통해 자체적으로도 사용성 테스트를 많이 수행하는 것 같은데 다른 회사는 어떻게 진행하는지 궁금합니다.
아직은 서비스에 실 사용자가 많지 않아서 내부 데이터의 양이 유의미할 정도로 많지는 않은데 많은 데이터를 다루는 회사는 사용성 테스트와 데이터 분석을 어떻게 진행하는지도 궁금하네요.
짧은 일정임에도 좋은 결과를 얻을 수 있도록 애써 주신 외부 업체 매니저분들과 팀에게 감사드리고, 유의미하고 유익한 경험을 할 수 있게 해 준 회사에게도 감사드립니다.
저의 첫 브런치 글인 ‘외부 업체를 통한 사용성 테스트 진행하기’ 글을 읽어주셔서 감사합니다. 부족한 부분들도 있겠지만 이 글이 누군가에게 조금이나마 도움이 되었으면 좋겠습니다 :)
