사용성 테스트 시 유저 관찰하는 요령
사용성 테스트 배우기 #6
사용성 테스트 시 유저 관찰하는 요령
UXmatters에 올라온 Jim Ross의 글 User Research Is Unnatural, Part II: Making User Research More Natural을 전문 번역한 글입니다.
짧게 간첩 활동을 해보거나 진정한 에스노 그라피를 하는 사람들과 몇 년을 살아보면, 유저 리서치는 언제나 뭔가 부자연스러울 것이다. 이 시리즈의 파트 1에서는 다음을 포함하여, 현실적인 유저 행동을 관찰하지 못하게 하는 유저 리서치의 부자연스러운 측면에 대해 얘기해 보았다.
· 우리가 뽑은 사람들의 대표성
· 사례비의 영향
· 리서치 장소
· 참가자에게 유저 리서치를 설명하는 방식
· 태스크의 사실성과 의미성
· 프로토타입의 fidelity
· 씽킹 얼라우드의 영향
· 퍼실리테이터의 존재와 행동
· 관찰자의 존재
· 녹화 기술의 중요성
유저 리서치의 이러한 부자연스러운 측면의 부정적인 영향을 최소화하고, 더현실적인 결과를 얻기 위해, 유저 리서치를 가능한 자연스럽게 유지할 수 있도록 우리가 할 수 있는 것들이 많이 있다. 이제, 이 시리즈의 파트2에서는 유저 리서치를 좀 더 자연스럽게 보이게 만들기 위해 당신이 할 수 있는 것들을 얘기해 볼 것이다.
스스로 참가자가 되어본다
참가자가 유저 리서치를 하는 동안 어떤 일을 겪을 것인지 공감하는 데 직접 참가자가 되어 보는 것보다 더 나은 방법은 없다. 당신이 자격을 얻을 수 있는 포커스 그룹과 사용성 테스팅, 온라인 연구 및 다른 리서치 활동에 자원해보자. 물론, 보통은 우리의 전문성 때문에 실제 연구 참가자가 될 자격이 안되니까, 파일럿 테스트에 참여하거나 리서치 세션의 총 연습에 참여하거나 하는 것이 동료 리서처들을 돕고 우리 스스로도 유익한 경험을 얻을 수 있는 훌륭한 방법이다. 리서치 테이블에서 반대편에 앉아봄으로 얻게 될 인사이트에 매우 놀랄 것이다. 당신이 배운 것을 연구에 적용해라.
실제 사람을 뽑는다
리크루팅 회사 데이터베이스에 있는 전문적 리서치 참가자들 대신 실제 유저의 기존 소스에서 대표 참가자들을 뽑아라. 기존 리스트에서 고객이나 직원을 뽑거나 웹사이트, 매장, 다른 조직에서 고객을 뽑아라.
재미로 뽑지 않는다
그냥 완벽하게 들리는 말로 관찰자에게 인상을 심어줄 수 있는 사람을 뽑지 말고, 실제 유저를 대표하는 사람들을 뽑아라. 각 유형의 참가자를 포함시키면 보다 대표적인 그룹을 얻으면서도, 충분히 흥미로운 비디오 클립을 받을 수 있다.
형식적인 것은 최소화한다
연구의 세부 사항으로 들어가기 전에 세션을 시작하면서 각 참가자들과 격식에 얽매이지 않는 관계를 맺어라. 해당 연구에 대해 설명을 할 때, 갑작스럽게 딱딱한 태도로 돌변하지 말고, 격식에 얽매이지 않는 톤을 유지하라.
또한. 당신이 입는 옷은 리서치 세션의 격식 정도를 정해주며, 참가자가 당신을 어떻게 인식하는지 정해준다. 참가자와 상황에 따라 적절하게 복장을 갖춰라. 대부분의 경우 참가자보다 약간 격식을 차려입는 것이 가장 좋다. 하지만, 만일 참가자보다 훨씬 더 격식을 차려입으면, 더 심각한 분위기를 만들어 버리게 되고, 그들은 당신을 심각하게 받아들이고 불편함을 느끼게 될 것이다.
적절한 기대치를 세운다
1. 리서치를 왜 하는지 설명한다
참가자들은 리서치를 왜 하는지 잘 모른다. 때문에 리서치 목적을 명확히 설명하는 것이 필요하다.
2. 부자연스러움을 인정한다
당신이 하는 연구가 부자연스럽거나 어색해 보일 수도 있다는 측면을 참가자에게 터놓고 인정하라. 예를 들면, “네, 당신이 상상할 수 있듯이, 이 거울 뒤에는 사람들이 있습니다, 하지만 그들은 저와 당신과 마찬가지로 평범한 사람들입니다.” 이렇게 하는 것은 당신이 그들의 불편함을 공감하고 있음을 보여준다. 유머 있게 비격식적으로 하는 것은 불편한 상황을 녹일 수 있는 훌륭한 방법이다.
3. 평범한 언어로 쓴 동의서를 사용한다
동의서는 간단해야 하며, 읽기 쉬워야 하고, 평범한 언어로 쓰여야 하며, 친절하면서도 비격식적인 톤으로 쓰여야 한다. 참가자의 권리에 집중하고, 그들의 권리를 서명하여 양도받는 데 집중하지 않고, 법무팀이 이 동의서를 법적인 문서로 바꾸게 내버려두지 말아야 한다.
당신이 누군지에 대한 설명과 더불어서, 당신의 회사에서 무엇을 하는지 간단하게 설명하고 해당 연구를 소개한다. 이는 각 세션마다 시작할 때 설명하는 소개를 할 필요를 최소화할 수 있다. 직접 이 정보를 요약해줄 수도 있지만, 동의서에 연구에 대해 이미 소개했다면, 말할 것이 훨씬 줄어들 것이다.
4. 당신이 배우는 것을 어디에 쓸지 설명한다
각 참가자로부터 얻은 정보를 어떻게 사용할 것인지, 그들의 코멘트를 무기명으로 처리할 것인지, 누가 연구 결과를 보게 될 것인지 분명하게 설명한다. 특히 리서치를 관찰하거나 결과를 읽어보게 될 동료가 상사로부터 참가자를 보호하는 데 주의해야 한다. 참가자가 직원이고 동료들이 리서치 결과를 보게 될 때 이는 더 중요해진다. 참가자들이 그들이 한 코멘트 때문에 받을 수 있는 보복이나 다른 부정적인 결과로부터 안전하게 보호하도록 주의해야 한다.
5. 녹화 기록에 뭐가 기록될 것인지 명확히 밝힌다
녹화가 노트 필기 목적이라고 설명하고 이 프로젝트 일을 하는 사람들만 볼 것이라고 설명한다. 이 두 가지 모두 동의서와 초반 소개에서 참가자에게 설명하는 것이 가장 좋다.
6. 진실된 피드백을 원함을 분명히 밝힌다
어떤 사람들은 부정적인 피드백을 주는 것을 불편해하기 때문에, 당신은 진실된 의견, 부정적인 것과 긍정적인 것 모두 찾고 있음을 참가자에게 다시 확인시켜주는 것이 중요하다. 만일 당신이 디자이너가 아니거나 당신이 평가하고 있는 것을 당신이 소속된 회사에서 디자인하지 않았다면, 그 사실을 강조해서 참가자가 당신을 불쾌하게 만들지 않고 자유롭게 말할 수 있음을 알게 하라.
두 방법 중 어떤 방법을 쓰건, 디자인을 수정하려고 계획하고 있음과 어떤 변화를 만들지 배우려는 것이 리서치 목표임을 분명하게 밝혀라.
필요시 씽크 얼라우드를 사용한다
비록 참가자들이 태스크를 수행하면서 씽크 얼라우드를 하는 것을 관찰하는 것이 자연스러운 행동을 반영하지는 않지만, 참가자가 하고 있는 것과 생각하고 있는 것을 이해하는 훌륭한 방법이다. 이는 사람들이 태스크를 수행하는 데 영향을 미치긴 하지만, 많은 경우에 그 이점이 단점보다 훨씬 크다. 만일 태스크 당 소요시간이나, 완료율, 아이트래킹 데이터, 혹은 다른 수치를 측정하지 않고 있다면, 참가자가 씽크 얼라우드 하게 하는 것은 정성적 정보를 수집하는 훌륭한 방법이다.
1. 자연스러운 행동을 관찰하는 것이 중요할 때는 씽크 얼라우드를 사용하지 않는다
현실적 태스크 수행을 관찰하고 태스크 당 소요 시간, 오류율, 완료율과 같은 수치를 수집하거나, 아이트래킹 데이터를 수집하는 것이 더 중요할 때, 씽크얼라우드 방법을 쓰지 말아라. 대신, 개입 없이, 참가자가 태스크를 스스로 완수할 수 있게 하라. 후속 질문을 나중에 던지거나, 참가자가 태스크를 완료한 후에 그들이 한 것에 대해 말하게 하는 회상적 씽크얼라우드 접근법을 활용할 수 있다.
2. 참가자가 씽크얼라우드 할 수 없을 때 그들을 귀찮게 하지 않는다
당신 스스로 참가자가 되어볼 때 배울 수 있는 가장 중요한 것 중 하나는, 태스크를 수행하고 씽크얼라우드 하고 질문에 답하는 걸 모두 한 번에 하는 것이 얼마나 어려운지 아는 것이다. 태스크가 인지적으로 어려울 때, 씽크얼라우드 해달라는 질문이나 요청으로 참가자를 방해하게 되면 굉장히 귀찮고 짜증 날 수 있다. 참가자가 태스크에 집중할 수 있게 하고, 일이 쉬워질 때 후속 질문을 던져라.
3. 쉽게 씽크얼라우드 하지 못하는 참가자를 귀찮게 하지 않는다
씽크 얼라우드를 정말 못하거나 본래 조용한 참가자를 만난 때를 인지하는 것도 중요하다. 참가자가 씽크 얼라우드 할 때, 그들이 하는 발언의 양과 질이 반드시 같을 필요는 없다. 그들이 조용한 유형이라는 걸 인지하고, 그들이 원한다면 조용히 하게 내버려 둬라. 이런 사람들을 데리고는, 대신 그들의 행동에 주목하며 인사이트를 얻기 위해 추가 질문을 던져라.
현실적인 테스트를 이용하라
참가자가 일반적으로 하지 않는 일을 해달라고 요청하지 말아라. 당신이 뽑은 대표 유저들이 수행하기에 태스크가 현실적인지 확인하라.
1. 태스크를 개인화한다
사용성 테스팅 동안 모든 참가자들이 수행하는 미리 정해진 태스크에 덧붙여서, 참가자가 자신의 태스크를 선택하게 하거나 태스크에 의미 있는 맥락을 부여하도록 해주는 것은 가치 있는 일이다. 한 가지 옵션은, 기본적으로 모든 참가자에게 미리 정해진 태스크를 동일하게 사용하되, 그들이 개인화할 수 있게 허락해주는 것이다.
예를 들어, 이커머스 사이트에서 구매를 하는 것이 태스크라면, 참가자가 그들이 구매하고 싶어 하는 것을 정하게 해준다. 또 다른 옵션은, 참가자에게 해당 사이트에서 일반적으로 무엇을 하는지 물어본 다음에, 그것을 중심으로 태스크를 만드는 것이다. 이 두 가지 옵션 모두, 참가자들이 의미 있는 태스크를 수행하게 해줌으로, 당신이 추가적인 인사이트를 얻을 수 있게 해줄 것이다.
2. 참가자를 당황스럽게 하지 않는다
참가자에게 어떤 당황스러운 일이나 불편한 일도 해 달라고 해선 안된다. 대부분의 사람들은 자신이 연구에 자원할 때 당신을 위해서 무엇을 해줘야 할지 잘 모른다. 그들이 원하면 언제든지 세션을 끝낼 수 있다고 말해줄 지라도, 그럴 용기를 가진 사람은 거의 없다. 대부분은 그냥 그 당황스러운 연구가 흘러가는 동안 조용히 고통스러워하고 있는다. 마치 내가 Heathrow 공항에서 몇 시간 동안 내 주변에서 4명이라는 많은 사람들이 쫓아다녔을 때 내가 고통스러워했던 것처럼 말이다. 만일 대부분의 사람들이 당황스러워할 일을 당황스러워하지 않는 사람을 뽑았다면, 그 참가자가 다른 사람들을 얼마나 대표할 수 있는지 걱정해 보아야 한다.
프로토타입을 제대로 설명한다
낮은 fidelity의 프로토타입일수록 퍼실리테이터의 설명이 많이 필요하다. 우리는 프로토타입의 성격을 이해하고 있지만, 대부분의 참가자들은 무엇을 기대해야 할지 또는 어떻게 우리의 프로토타입과 상호작용 해야 할지 알지 못한다. 낮은 fidelity의 프로토타입을 쓸 때는, 참가자에게 그것이 최종 디자인이 아님을 명확하게 설명하고, 견본 텍스트와 이미지 사례를 보여주고, 모든 링크와 기능이 작동하지 않음을 알아 두게 하라. 필요한 경우, 끼어들어서 참가자의 행동에 대한 반응으로 어떤 일이 일어날지 설명하라.
1. 적절한 수준의 세부 사항을 프로토타입에 제공한다
낮은 fidelity의 프로토타입에는 참가자가 자신이 보고 있는 것을 이해할 수 있도록 충분한 세부사항을 제공하는 것이 중요하다. 공간을 채우는 의미 없는 텍스트나, 유머러스하거나 익숙한 이름, 또는 비현실적인 데이터를 넣지 마라. 대신, 현실적인 샘플 텍스트를 넣어라. 참가자가 자신이 보고 있는 것을 이해하는 데 이미지가 필수적이라면, 견본용 이미지 대신 현실적인 샘플 이미지를 제공하라.
관찰자의 영향 최소화한다
관찰자가 있을 이상적인 장소는 그들이 참가자와 소통하거나 그들을 방해할 수 없도록 다른 방에 눈에 띄지 않는 곳에 있는 것이다. 관찰 방이 방음이 잘 되는지 확인하고, 만일 그렇지 않다면 관찰자들은 조용히 있어야 한다. 만일 사람들이 웹 콘퍼런스나 스피커폰으로 관찰하고 있다면, 그들의 전화기가 음소거 설정이 되어 있게 하라.
관찰자가 지킬 엄격한 룰을 정한다
만일 관찰자가 참가자랑 같은 방 안에 있다면, 참가자에게 그들을 소개하고, 그 리서치에서 그들이 하는 역할을 설명한 후에, 그들을 조용하면서도 중립적으로 있게 하라. 참가자의 느낌을 날려버릴 수 있는, 소리를 내거나 바디랭귀지(예. 한숨, 머리 흔들기, 팔짱 끼는 것 같은 방어적 자세 등)를 이용하지 말아라. Primary 리서처들이 주도하고 대부분의 질문을 던져야 한다. 관찰자들은 질문을 던지고 싶을 텐데, 이 질문이 보통 유용하긴 하지만, 그들이 질문을 던질 시간은 세션 마지막에 따로 빼 둬라.
1. 리서처와 관찰자 수를 제한한다
더 많은 사람들이 세션을 직접적으로 관찰할수록, 참가자에겐 더 어색하고 불편해진다. 사용성 테스팅과 다른 랩 기반 리서치에는 한 명의 퍼실리테이터가 이상적이다. 필드 스터디에서는, 두 명이 이상적인 숫자이다.
- 참가자와 리서처 모두의 안전과 편의의 관점에서 봤을 때 그렇다. 2명 이상이 가는 것은 곤란해질 수 있다.
- 사람들의 직장이나 집 환경에서 사람들을 관찰할 때 제약된 공간에서 해야 한다면 더 그렇다.
2. 참가자를 불편하게 만들 수 있는 관찰자는 참여시키지 않는다
관찰자가 터놓고 얘기하는 것을 망설이게 만드는 관찰자들은 반드시 다른 방에서 관찰해야 한다. 예를 들어, 참가자들은 디자이너, 개발자, 애플리케이션의 오너가 같은 방에 있으면 부정적인 의견을 말하는 데 자유롭지 않을 수 있다. 그리고 직원들은 조직 내에서 자기보다 높은 사람이 관찰하고 있으면 자유롭게 말하기를 망설일 수도 있다.
기술의 영향 최소화한다
보이지 않게 레코딩하고 관찰하는 기술은 참가자가 더 편안함을 느끼게 하는 데 많은 도움이 될 수 있다.
1. Two-way mirrors가 있는 방은 피한다
투웨이 미러가 있는 방을 사용해야만 한다면, 즉각 그 사실을 인지하고 참가자가 그것을 불편해 할 수 있다는 점을 이해하고 있음을 참가자에게 시인하라. 이런 방해를 최소화하기 위해서는, 참가자를 거울이 보지 않는 방향으로 앉혀라. 만일 관찰자가 없다면, 참가자에게 아무도 관찰하고 있지 않다고 설명하고, 거울을 가릴 만한 커튼이나 블라인드가 있으면 가려버려라.
2. 숨겨진 혹은 보이지 않는 카메라 이용한다
물론 언제나 세션을 기록하기 전에 참가자의 허락을 받아야 하지만, 당신이 세션을 녹화하고 있다는 것을 계속 상기시켜주는 것을 보여줄 필요는 없다. 더 잘 보이지 않는 녹화 장비를 이용할수록, 참가자들은 더 긴장을 풀 수 있을 것이다.
3. 아이트랙킹의 방해를 최소화한다
만일 딱히 아이트래킹을 하지 않아도 된다면, 그냥 재미로 뒤에서 아이트래킹을 하진 말아라. 만일 아이트래킹이 필요하다면, 세션을 시작할 때, 그러니까 참가자의 눈에 아이트래커를 calibrate 할 때 어떻게 되는 것인지 간단하게 설명하되, 그 이후로 그것에 대한 아무런 주의를 끌려고 하지 말아라.
예를 들어, 참가자에게 집중하지 않으면서 아이트래킹 데이터가 공유되고 있는 퍼실리테이터의 모니터를 보는 일이 없도록 하고, 당신이 보는 아이트래킹 데이터와 관련하여 코멘트를 하지도 말아라. 해당 세션은 보통의 사용성 테스트처럼 진행하라.
4. 최소한만 노트테이킹 한다
당신이 참가자에게 집중할 수 있도록 노트 필기를 해줄 사람을 따로 동행하는 것이 이상적이다. 만일 스스로 노트 필기를 한다면, 세션을 녹화하고, 아니면 적어도 음성을 녹음하고 최소한의 노트만 적어라. 당신이 노트테이킹에 몰두하면 할수록, 관찰하는 내용이 적어질 것이며 참가자의 개인적 유대는 약해질 것이다. 만일 참가자와 같은 방에 있을 때 노트 필기를 한다면, 노트북에 적으면 굉장히 방해가 될 수 있다. 노트북에 적지 말고 종이에 적어라.
전민수 UX 컨설턴트 소개
(UX 실무 경력: 27년차 UX 전문가: LG전자, 서울시청 등 약 300회 이상 UX 컨설팅 수행)
(UX 강사 경력: 23년차: 삼성, SK, KT 등 약 1,000회 이상 UX 강의 진행)
https://brunch.co.kr/@ebprux/1332
[실시간 Live 강좌] (PM/PO/UI/UX/리서치) 수강생 모집 중
(이비피알유엑스 라이브클래스에서 매월 최소 1개에서 최대 4개 강좌 (온라인) 줌 Live 강좌 진행) (PM/PO/UI/UX/리서치/UX 방법론&프로세스 프레임웍)
[VOD 강좌] (PM/PO/UI/UX/리서치) 수강생 모집 중
(인프런에서 총 20개 VOD UX 강좌를 오픈했습니다)
(PM/PO/UI/UX/리서치/UX 방법론&프로세스 프레임웍)
https://www.inflearn.com/users/196290
