2.1 사용성 테스트_Think Aloud
Think Aloud 방법론-개념, 장단점, 방법
UX&U
이 글은 1. 사용성 테스트 와 이어집니다.
사용성 테스트에서 사용성을 평가하는 방법(Usability evaluation methods, UEM)에는 다양한 방법이 존재한다.
사용성 테스트는 크게 두가지 타입으로 나뉘어 질 수 있는데, 언제 수행되는지(시점) 그리고 테스트의 목표에 따라서 구분될 수 있다.
1. Formative testing - 제품이 개발되고 있을 때 문제를 고치고 진단하기 위해서 수행된다. 보통은 작은 연구로 진행되고 개발 도중에 반복적으로 수행된다.
2. Summative testing - 제품 제작이 거의/ 완전히 완료 되었을 때 제품이 요구사항을 충족하는지를 검증하기 위해서 수행되며 일반적으로 통계적 유효성을 위해서 많은 참가자들을 대상으로 시행한다.
Formative testing의 사용성 테스트 방법론 중 대표적으로 Think aloud protocol이 있다.
Think aloud protocol의 개념과 기원
Think aloud는 간단하게 말하면 사용자가 과제를 진행하면서 자신의 생각을 말하는 방법론이다.
Think aloud protocol의 기원은 인지 심리학에 있다. 인지 심리학에서는 인간의 정보처리 시스템에 대한 이론을 테스트 하기 위한 방법론으로 주로 사용되어 왔고 주로 엄격한 실험 환경에서 진행되어왔다. 하지만 인지 심리학에서는 think aloud가 무의식이나 자동적인 정보 프로세스를 나타내지 않는다는 점, think aloud가 생각 과정의 순서를 바꾼다는 점, think aloud 자체가 인지적 과정에 방해가 될 수 있다는 점으로 많은 비판을 받아왔다.
하지만 1980년대를 기점으로 Ericsson 과 Simon을 중심으로 본격적으로 가이드라인과 응답의 분석방법이 재정립되면서 다수 사용되기 시작하였고 1990년도 부터 HCI, 사용성 테스터 등에게 옹호되면서 많은 사람들로부터 주목을 받게 되었다. 또한 technical communication을 공부하였던 Boren and Ramey(2000)는 사용성 테스트를 위한 think aloud 방법을 고안하였고 많은 사용성 테스트가 think aloud 방법론을 사용하기 시작하였다.
Think aloud protocol의 장점 및 프로세스
가장 큰 장점으로는 적은 수의 참가자로 사용성 문제를 알아낼 수 있다는 것이다. 또한 제품을 사용하면서 실시간으로 응답을 확인하기 때문에 실제 그 당시의 생생한 사용자의 반응을 얻어낼 수 있다는 장점도 있다. 노인을 대상으로 한 사용성 테스트일 경우에는 이 think aloud의 장점이 더욱 부각되는데, 단기 기억(short term memory)에 어려움을 겪고 있는 노인들의 경우 실제로 사용한 이후 질문을 하는 인터뷰 형식은 많은 양의 데이터를 잃을 수 있지만 think aloud의 경우 이런 한계를 극복할 수 있다.
Think aloud의 순서는 다음과 같다.
1. 대표 모집단에서 참가자를 얻는다.
2. 참가자들에게 해당 시스템과 관련된 과제를 수행하도록 요구한다. 그리고 동시에 자신의 생각을 말로 표현하도록 요구한다.(예를 들면, 나는 버튼을 찾고 있는데... 여기 있네요...이제 어떻게 해야할지 모르겠어요...등과 같은 표현을 하도록 요청한다.)
보통 주어지는 과제는 다음과 같다.
과제: 당신은 현재 친구와 호캉스를 가려고 합니다. Google 지도를 사용하여 1박에 20만원이면서 동대문역 근처에 있는 호텔을 찾아보세요.
참가자가 think aloud 연구에 참여하는 예시는 하단과 같다.
https://www.youtube.com/watch?v=g34tOmyKaMMc
3. 참가자들이 과제를 수행하는 것을 관찰하고 노트를 적는다. 그리고 이 일련의 과정을 flow chart로 옮기면 더 좋다.(예, 버튼을 찾는다->버튼을 찾아 클릭하였다->이후에 무엇을 할 지 몰라한다.)
실험 중 노트를 적을 떄 다음과 같은 포맷으로 적으면 유용하다.
수행 시간/ 과제 수행 프로세스/행동, 표정, 언어 관련 관찰 항목/ 과제 성공 여부
4. 만일 필요하다면 참가자들이 계속 말을 할 수 있도록 유도한다.(참가자들은 대부분의 경우 과제에 몰입하거나 과제의 동선을 벗어나기 때문이다.)
Think aloud protocol의 단점 및 주의사항
하지만 think aloud의 단점도 확실히 존재한다.
1. 참가자가 혼자 말하는 방식은 계속 지속하기에는 부자연스럽기 때문에 과제 수행에 영향을 미칠 수 있다.
2. think aloud의 방법론은 각 분야마다 그 절차와 분석 방법이 천차 만별이기 떄문에 연구자의 능력에 많은 영향을 받는다.
단점을 최소화하고 제대로 데이터를 얻기 위해서는 다음과 같은 주의사항도 꼭 숙지해야 한다.
1. 연구자는 모든 사용성 테스트에서도 마찬가지이지만 참가자들에게 이 테스트는 현재 참가자님을 테스트하기 위해서가 아닌 시스템의 사용성을 증진시키기 위함이라고 강조하여야 한다.
2. 연구자는 과제를 할 때 중간에 개입을 하여 과제의 프로세스를 방해하지 않도록 한다.
3. 연구자는 지속적으로 사용자가 말을 할 수 있도록 유도해야한다(지금 무슨 생각하고 계신가요? 왜 그렇게 생각하세요?) 등의 물음을 통해 지속적으로 말을하도록 해야 많은 데이터를 얻을 수 있고 think aloud protocol의 장점을 최대한 살릴 수 있다.
4. 연구자는 이야기를 하다가 침묵을 지키거나, 음...(verbal fillers)의 표현 역시 굉장히 의미있는 데이터이기 때문에 체크를 해둘 필요가 있다. 사람들은 과제가 어렵거나 막힐 때 침묵을 지키는 경우가 있는데 보통 뇌는 언어화보다 인지적 프로세스를 더 우선시하는 경향이 있기 때문이다. 따라서 이러한 verbal fillers가 있는 경우 과제가 어렵거나 시스템 사용이 어렵다는 것을 내포할 수 있다.
5. 연구자는 think aloud를 할 때 사용자의 언어적 응답 뿐만이 아니라 행동, 표정 등에 대해서도 주목할 필요가 있다. 언어로 표현되지 않는 감정들 생각들이 무의식적으로 나타날 수 있는 방식이 행동과 표정이기 때문이다.
6. 실제로 과제를 수행하기 전에 연습 과제를 수행하여 실전에서는 어색하지 않도록 하는 것도 좋다.
think aloud 방식은 매우 다방면에서 쓰이고 또한 많은 변형들이 존재한다. 다음 글에서는 이 think aloud의 변형에 대해서 소개하고자 한다.
출처
-Cooke, L. (2010). Assessing concurrent think-aloud protocol as a usability test method: A technical communication approach. IEEE Transactions on Professional Communication, 53(3), 202-215.
-Barnum, C. M. (2020). Usability testing essentials: Ready, set... test!. Morgan Kaufmann.
-Bolle, S., Romijn, G., Smets, E. M., Loos, E. F., Kunneman, M., & van Weert, J. C. (2016). Older cancer patients’ user experiences with web-based health information tools: a think-aloud study. Journal of medical Internet research, 18(7), e208.
-Peute, L. W., de Keizer, N. F., & Jaspers, M. W. (2015). The value of Retrospective and Concurrent Think Aloud in formative usability testing of a physician data query tool. Journal of biomedical informatics, 55, 1-10.
https://www.youtube.com/watch?v=bcfqmx2hnUQ
https://www.youtube.com/watch?v=pxsJkAk_eo0
