사용성 테스트 계획
사용성 테스트 계획
usability.gov의 사용성 테스트 계획 번역한 글입니다.
Planning a Usability Test
사용성 테스팅의 각 라운드에서 해야 할 첫 번째 단계 중 하나는 테스트 플랜을 짜는 것입니다. 플랜의 목적은 여러분이 무엇을 할 것인지, 어떻게 테스트를 시행할 것인지, 어떤 수치를 수집할 것인지, 몇 명의 참가자를 테스트할 것인지, 어떤 시나리오를 이용할 것인지 문서로 기록하는 것입니다.
일반적으로, 사용성 전문가는 플랜의 주요 요소를 결정하기 위해 사이트 혹은 제품의 오너와 개발자 팀의 멤버들을 만납니다. 보통, 사용성 전문가들은 그다음에 플랜을 짜는데, 이는 매니지먼트와 나머지 팀에게 전달됩니다. 모든 사람들이 코멘트를 달고 최종 플랜에 대한 의견이 모이면, 사용성 전문가는 플랜에 최종 결정사항을 반영하여 수정합니다.
Elements of a Test Plan
사용성 테스트 플랜에는 다음과 같은 요소들이 들어가야 합니다.
1. 범위
무엇을 테스트하는지 보여주세요: 웹사이트, 웹 애플리케이션 혹은 제품의 이름을 주세요. 테스트에서 제품의 어느 정도까지 테스트할 것인지 구체화하세요.
2. 목적
이 테스트에 대한 고민, 질문, 목표를 밝혀냅니다. 이 부분은 개괄적인 내용 일 수도 있습니다. 예를 들어, “유저가 프로토타입의 홈페이지에서 중요한 정보를 찾을 수 있는가?” 같은 것입니다. 아니면 구체적일 수도 있습니다; 예를 들어 “유저가 현재 위치에 있는 검색 박스를 쉽게 찾을 것인가?” 같은 것입니다. 각 테스팅의 라운드에서, 아마도 각각 집중해야 할 몇 가지 전반적인 고민과 구체적인 고민들이 있을 것입니다. 바로 이런 고민들이 사용성 테스트를 위해 만든 시나리오를 이끌어야 합니다.
3. 스케줄 & 장소
언제 어디서 테스트를 할 것인지 명시하세요. 만일 스케줄 셋을 가지고 있다면, 하루에 몇 개의 세션을 진행할 것인지, 각 세션의 시간은 어떻게 되는지도 적습니다.
4. 세션
세션, 세션의 길이(보통 1시간에서 90분)를 표현합니다. 참가자들을 스케줄링할 때는, 여유 시간을 두는 것을 잊지 마세요. 보통 환경을 리셋하고, 관찰자들과 세션을 리뷰하고, 약간 늦게 끝나거나 늦게 도착한 참가자가 있는 세션에 완충작용을 하도록 각 세션 사이에 30분 정도의 여유시간을 둡니다.
5. 장비
데스크톱, 랩탑, 모바일/스마트폰 등 테스트에서 사용할 장비의 유형을 명시하세요. 만일 관련이 있다면, 모니터 사이즈나 해상도, 오퍼레이팅 시스템, 브라우저 등에 대한 정보도 넣으세요. 또한 만일 테스트 세션을 녹화하거나 오디오 녹음을 계획 중이거나, 특별한 사용성 테스팅 툴과 accessibility 툴을 사용한다면, 그 역시 명시합니다.
6. 참가자
모집하게 될 테스트를 받을 참가자의 수와 유형을 명시합니다. 이 참가자들을 어떻게 선정했는지 설명하고, 부록에 스크리너를 넣는 것을 고려해보세요.
7. 시나리오
테스팅에 들어가는 태스크의 수와 유형을 명시하세요. 일반적으로, 60분의 테스트에서는, 데스크톱이나 랩탑 테스팅에 대략 10개(+/-2개)의 시나리오가 나와야 하고, 모바일/스마트폰 테스트에는 8개(+/-2개)의 시나리오가 나와야 합니다. 팀원들이 적절한 태스크를 고를 수 있도록 그 이상을 플랜에 넣어도 됩니다.
8. 지표
주관적 지표: 세션 전 물어볼 질문(예: 백그라운드 설문지), 각 태스크 시나리오가 완료된 후 물어볼 질문(태스크에 대한 편의성과 만족도)과 모든 테스트가 완료되었을 때 질문할 전반적인 편의성, 만족도, 향후 이용 가능성/추천 가능성 질문을 넣습니다.
9. 정량적 지표
테스트에서 측정하게 될 정량적 데이터를 명시합니다. (예. 성공적 완료율, 오류율, 태스크 당 시간)
10. 역할
사용성 테스팅에 참가하게 될 스태프들과 각각의 역할에 대해 리스트를 만들어 넣습니다. 사용성 전문가는 세션의 퍼실리테이터가 되어야 합니다.
Identifying Test Metrics
다음은 여러분이 테스팅 진행 중에 모으려고 할 만한 몇 가지 지표들입니다:
1. 성공적 태스크 완료율
각 시나리오는 참가자에게 일반적인 태스크에서 이용될 수 있는 구체적 데이터를 얻어낼 것을 요구합니다. 시나리오는 참가자가 답을 찾거나 태스크 목표를 완료했음을 보여줄 때 성공적으로 완료됩니다. 일부 경우에는, 참가자에게 선다형 문제를 줄 수도 있습니다. 테스트 플랜에 질문 및 답변을 넣어야 하고, 노트 테이커와 관찰자를 제공하는 것을 잊지 마세요.
2. 심각한 오류
참가자는 태스크를 완료할 수 없는 것을 심각한 오류라고 합니다.
3. 심각하지 않은 오류
심각하지 않은 오류는 참가자가 극복한 오류로 참가자의 성공적 태스크 완료 능력에 영향을 미치지 않습니다. 예를 들어, 잘못된 내비게이션 메뉴 아이템을 열거나 컨트롤을 부정확하게 사용하는 등의 탐색 행동이 심각하지 않은 오류입니다.
4. 에러 프리 비율
어떤 오류도 없이 태스크를 완료한 참가자의 비율
5. 태스크 당 시간
참가자가 태스크를 완료하는 데 걸린 시간
6. 주관적 측정
이 평가는 참가자가 만족도, 이용 편의성, 정보 찾기 편의성 등에 스스로 점수를 매기는 것으로, 5점에서 7점 리커트 척도로 점수를 매김
7. 좋아요, 싫어요, 추천사항
참가자는 그 사이트에서 가장 좋아했던 것이 무엇인지, 가장 싫어한 것이 무엇인지, 사이트 개선을 위해 추천할 사항 등을 제공합니다.
