2.2 사용성 테스트_Think Aloud
Think aloud-CTA, RTA
이글은 2.1 사용성 테스트_Think Aloud 와 이어집니다.
Think aloud 방식에는 Concurrent Think Aloud(CTA)와 Retrospective Think Aloud(RTA)가 존재한다.
CTA(Concurrent Think Aloud)는 미리 정해져 있는 과제를 수행하면서 동시에 자신의 생각을 말로 표현하도록하는 방법론이다. 이렇게 언어화된 사용자의 작업 기억의 내용을 나타내는데 이를 통해서 시스템의 사용성이나 풍부한 유효한 데이터를 얻을 수 있다는 장점이 있다.
RTA(Retrospective Think Aloud)의 경우 CTA의 변형이라고 볼 수 있는데 CTA의 단점을 보완하기 위해서 고안되었다. CTA는 작업을 하면서 동시에 자신의 생각을 언어화시키기 때문에 사용자의 과제 수행을 늦추고 방해할 수 있는 가능성이 있고 이는 시스템의 효과성이나 효율성 측면의 사용성 신뢰도(Reliability)에 영향을 미치 수 있다. 이를 보완하기 위해서 RTA는 과제를 다 수행한 후에 자신의 행동을 기록한 영상을 보면서 그 당시 과제를 하면서 느꼈던 생각이나 느낌을 다시 기억하여 말하도록 한다.
이 두가지 방법론의 장점과 단점에 대해서 언어, 심리 연구에 기반하여 비교를 해보자면 아래와 같다.
-CTA
장점: 과제 중의 행동에 대한 더 반영적인(더 합리화되지 않은) 설명을 발견할 수 있음
단점: 과제와 동시에 말하도록 시키기 때문에 과제 수행을 늦추고 방해가능성이 있음
-RTA
장점: 과제 수행에 영향을 미치지 않음
단점:기억과 생각의 복기 과정은 타당성(validity)에 문제를 야기 가능(ex. 사후 합리화)
CTA의 수행을 위한 스크립트를 보면서 진행되는 방식에 대해 살펴보자.
\인사말
시작하기 전에 세션에 대해 설명드리도록 하겠습니다.
세션은 60분동안 진행되고 진행 중 질문이 있으시다면 언제든지 말씀해주시기 바랍니다.
\연구 설명
이 연구는 00님이 웹사이트/모바일 어플리케이션에 대해서 사용하시면서 느끼거나 생각하시는 것들을 공유하는 자리입니다. 제가 어떤 행동들을 해달라고 요청할 것인데 그럼 이런 행동이나 활동을 수행한 다음의 느낌이나 생각에 대해서 이야기를 해주시면 됩니다.
\참가자가 진행 내용
이 연구를 하는 목적은 이 웹페이지/모바일 어플리케이션을 어떻게 개선하면 사용자들이 사용하기 쉽게 사용할 수 있을지 알아보기 위함입니다.
요청한 행동을 하면서 어떤 생각을 하고 있는지에 대해서 입으로 소리내어 말씀해주시면 감사하겠습니다.
예를 들어서 어떤 버튼을 클릭할 경우 어떤 동작이 일어나기를 기대했는지 혹은 어떤 것을 읽고 있는지 제가 알 수 있도록 입으로 소리내어서 얘기해주시면 감사하겠습니다.
참가자님의 작은 피드백도 디자인이 발전하는데 굉장히 많은 도움이 될 것으로 예상되기에 자유롭게 말씀해주시면 감사하겠습니다.
\진행시 참가자 유의사항
이제 제가 웹사이트/모바일 어플리케이션 사용과 관련해서 몇가지 행동을 해달라고 부탁드릴 텐데요 어떤 것들은 길고 어떤 것들은 짧을 수 있습니다. 이 행동들을 할 때 평소에 어플리케이션 사용하는 것처럼 해주시면 됩니다. 제가 없고 집에서 자유롭게 하고 있다고 생각하고 진행하시면 됩니다.
요청드린 행동을 완료하거나 혹은 그만하고 싶다고 생각이 들 때면 자유롭게 말씀해주시면 됩니다. 예를 들어 제가 참가자님께 로그아웃을 요청드리면 참가님은 해동을 완료 후 "로그아웃을 완료했습니다." 이렇게 말씀해주시면 됩니다. 그러면 다음 활동으로 넘어가도록 하겠습니다.
\연구의 목적 재고지
다시 말씀드리지만 이 연구는 어떤 형태로든 사용자님을 평가라하려는 것이 아닙니다. 그러니 편하게 자유롭게 진행하시면되고 어플리케이션과 관련된 행동을 하시면서 어떤 생각이 들었는지 만일 수행하기 어렵다면 어떤점이 어려운 이런것들을 말씀해주세요.
\마무리(동의서 내용 재고지)
참가자님이 이제 과제를 수행하시면 저는 메모를 할 것이고 대부분의 시간동안 조용히 앉아서 있을 예정입니다. 가끔씩은 과제 와중에 개입하거나 질문을 할 수도 있고 다른 활동을 하도록 유도할 수도 있습니다. 이 모든게 연구의 과정이니 알아두셨으면 좋겠습니다.
또한 아까 동의서에 작성하신대로 저희가 나눈 대화에 대해서 녹화를 진행할 예정입니다. 괜찮으신가요?
출처
-Cooke, L. (2010). Assessing concurrent think-aloud protocol as a usability test method: A technical communication approach. IEEE Transactions on Professional Communication, 53(3), 202-215.
-Barnum, C. M. (2020). Usability testing essentials: Ready, set... test!. Morgan Kaufmann.
-Bolle, S., Romijn, G., Smets, E. M., Loos, E. F., Kunneman, M., & van Weert, J. C. (2016). Older cancer patients’ user experiences with web-based health information tools: a think-aloud study. Journal of medical Internet research, 18(7), e208.
-Peute, L. W., de Keizer, N. F., & Jaspers, M. W. (2015). The value of Retrospective and Concurrent Think Aloud in formative usability testing of a physician data query tool. Journal of biomedical informatics, 55, 1-10.
https://www.youtube.com/watch?v=pxsJkAk_eo0
