사용성 테스트 앞서 가설 설계하라!
사용성 테스트 배우기 #07
사용성 테스트 앞서 가설 설계하라!
Boxesandarrows에 올라온 Avi Soudack의 글 Don’t Test Users, Test Hypotheses을 전문 번역한 글입니다.
“당신이 만든 디자인을 테스트하건, 다른 사람의 디자인을 테스트하건, 답을 얻고 싶은 질문을 정하는 것에서 시작하라.”
“당신의 유저를 관찰하라.”
이는 대부분의 인터페이스 디자이너와 사용자 경험 전문가들이 동의하는 격언이다. 하지만 어떻게 “관찰” 할 것인가? 무엇을 찾을 것인가? 나는 웹사이트나 어플리케이션을 테스팅 할 때 유저의 행동에 대한 가설을 만드는 것이 관찰 프로세스를 알아내고, 구조 데이터 수집 및 분석, 리서치 결과를 정리하는 데 도움이 된다는 것을 알게 되었다.
또한 당신이 찾고 있는 것이 무엇인지 명확하게 해줌으로 당신이 계속 honest 할 수 있게 해준다.
유저 테스팅은 일반적으로 일종의 낚시 여행처럼 구성되어 있다. 미끼(유저)를 수면 (어플리케이션이나 사이트) 아래로 깊이 내리고, 어떤 물고기(결함)이 미끼를 무는지 살펴보는 것이다. 이는 가치 있는 접근법이자 오랜 세월에 걸쳐 유효성이 증명된 방법이다. 하지만 결함 낚시를 시작할 때, 몇 가지 어려운 질문이 우리에게 맡겨진다. 예를 들어, 언제 끝낼 것인가? 사이트 혹은 어플리케이션을 완전히 테스트하기 전에 얼마나 많은 결점을 찾아야 하는가? 결점을 찾는다면, 그것이 얼마나 심각한지 어떻게 알 수 있으며, 무엇으로 측정할 수 있는가? 반복적인 테스팅을 할 때는 이전 버전 테스팅 결과와 현 버전 테스팅 결과를 어떻게 비교할 것인가?
이런 이슈들을 고민해 볼 수 있고 유저 테스팅을 디자인 프로세스에 적용해 볼 수 있는 생산적인 방법은 바로 당신이 조사 중인 그 주요 이슈를 명확하게 표현하고, 유저가 특정 상황에서 무슨 행동을 할 것인지 예측하는 것이다.
소비자 쇼핑 웹사이트의 사용자 경험을 리뷰해 달라는 요청을 받았는데 사이트를 본 당신의 첫 반응이 “그들은 절대 가격 페이지를 찾지 못할 것이다”였다고 상상해보자. 이런 예감을 명확한 예측이나 가설로 바꾼다면 디자인팀에서 테스팅이나 리서치 결과의 타당성을 개선할 수 있을 것이라고 생각한다.
Here’s how to do it
당신이 만든 디자인을 테스트하건 다른 사람의 디자인을 테스트하건, 답을 얻고 싶은 질문을 정하는 것에서 시작하라. 디자인에 내포된 가정을 표현하라. 유저의 행동에 대해 예측하고 그들이 어떻게 행동할지에 대한 가설을 개발하라. 그게 첫 단계이다. 그 다음에, 그런 가설을 다루는 테스팅을 구조화하라. 그렇게 하면, 결과가 어떻든, 디자인에 대한 구체적이면서 의미 있는 정보를 얻을 수 있을 것이다.
나는 동료 Dianne Davis와 함께 수년에 걸쳐 웹사이트와 어플리케이션을 테스트하는 이 접근법을 개발하였다. 우리는 모든 디자인이, 암시적으로건 명시적으로건, 사람들이 어떻게 응답하고 행동하는지 예측한다는 아이디어에서 출발한다. 그런 추측을 명확한 말로 표현하고, 그것을 가설로 생각하는 것은 사용성 리서치의 초점을 맞춰주며 유저가 아닌, “디자인을 테스트” 할 수 있게 해준다.
Testing the design
디자인을 테스트하는 첫 단계는 가설을 만드는 것이다. 우리는 사이트 또는 어플리케이션에 대한 광범위한 리뷰에서 시작한다. 물론 리뷰를 할 때 관련된 휴리스틱스를 활용한다. 우리는 디자이너들이 정하여 프로젝트 문헌(requirements, specifications, creative brief, etc)에도 기록한 사이트 또는 어플리케이션의 목표나 철학에 맞추어 사이트를 리뷰한다. 이는 매우 중요한데, 사이트가 그 디자인에 부합하는지 혹은 부합하지 않는지가 드러나도록 리뷰하고 싶기 때문이다.
이 시점에서 디자인 팀의 목표를 분명히 정하고 유저의 행동에 대한 그들의 추측을 명확히 표현하기 위해 그들을 참여시키는 것이 중요하다. 그렇게 하면, 테스팅의 결과가 우리가 아닌 그들의 질문에 답해줄 것이다. (만일 우리가 직접 만든 디자인을 테스팅 한다면, 비판적으로 디자인을 되돌아보고, 주요 예측과 가정을 밝혀내는 기회로활용한다.)
이런 초기 리뷰는 당신이 기대하는 것, 즉 많은 “결점”과 유저의 행동에 대한 질문들을 만들어낸다. 우리가 생각하기에 유저가 어려움을 겪을 것 같았던 영역, 디자인 목표를 달성해주지 않는 디자인 영역, 찾지 않거나 이용하지 않을 기능 또는 영역 등을 집어낼 수 있게 해준다. 우리는 이런 부분들이 틀림없는 “결점”이라고 생각하는 대신, 잠재적인 문제이자 유저가 할 행동에 대한 추측으로 여긴다. 우리는 이제 더 이상 이런 각각의 이슈들을 단순한 예측이 아니라 “테스트 가능한” 것으로 인식한다. 아마도 이슈가 심각한 것인지, 사용자 경험과 태스크 완수에 영향을 미칠 것인지 우리의 직관이나 앞선 경험이 “우리에게 말해주는” 것 같다. 하지만 유저에게 테스트 해보기 전까지는 아무것도 확신할 수 없다. 바로 여기서 가설이 중요해지는 것이다.
그런 예측과 추측은 유저의 행동에 대한 비공식적 가설이 된다. 예를 들어, 우리가 자동화 제조회사의 사이트 리뷰를 했었을 때, 제품의 상세 사진을 보여주는 팝업창을 여는 링크를 유저가 보지 못하거나 이용하지 않을 것이라고, 심지어 그런 사진을 찾고 있을 때도 그 링크를 클릭하지 않을 것이라고 추측했었다. 즉 우리의 가정은, ‘대부분 유저는 그 팝업창을 찾지 않을 것이다’ 였다. 만일 대부분의 유저가 정말로 그걸 찾거나 링크를 이용한다면, 우리의 가설은 틀렸음이 증명되는 것이고, 그 디자인 예측은 지지를 받는 것이다. 만일 링크를 찾지 않는다면, 무엇을 고쳐야할 지 알게 되는 것이다. 다른 연구에서는, 페인트 칼라 배합 소프트웨어의 재디자인 한 인터페이스를 테스트를 했었다. 어플리케이션에는 그 태스크의 시퀀스에 대한 지표가 부족했기 때문에 유저가 어려움을 겪을 것이라고 예상했었다. 유저가 그 다음으로 무엇을 할지 알지 못할 것이라고 가정하였고, 검토해야 할 영역을 밝혀낼 수 있었다.
Testing users testing the design
“유저의 행동에 대한 가설이나 예측은 시나리오와 태스크를 만들고 개선할 수 있게 도와준다” 가설 테스팅 접근법의 두 번째 단계에서는 전통적인 사용성 인터뷰, 관찰, 측정 방법을 통해 유저를 대상으로 리서치를진행한다. 하지만, 리서치를 진행하는 내내 가설을 검토하고 질문에 답하고자 하는 욕구(drive)가 샘플링 전략에서부터 태스크 선정, 관찰, 인터뷰, 데이터분석, 최종적으로는 리포팅까지의 모든 프로세스의 모양을 만든다.
만일 우리가 세운 가설이 유저의 유형과 연관이 있다면, 표본 선택과 연구 설계에도 영향을 미칠 수 있다. 예를 들어, 교육 사이트를 테스팅 했었을 때, 플래시 기반의 애니메이션으로 만든 도입부가 오디언스의 한 부류(아이들)의 흥미를 끌겠지만, 다른 부류(선생님들)에게는 성가실 것이라고 예상했었다. 그래서 우리는 각 카테고리에 충분한 유저를 참여시키도록 하였으며 두 그룹이 이 기능을 사용함에 있어서 어떻게 다른지 비교하였다. (덧붙여 말하자면, 우리가 틀렸었다. 아이들 모두가 “SkipIntro”를 눌었었다.”)
유저의 행동에 대한 가설과 예측은 이용 시나리오와 태스크를 개발하고 개선할 수 있도록 도와준다. 물론, 핵심 태스크는 프로젝트의 이용 사례 또는 시나리오에서 얻게 될 것이다(혹시 그런 게 있다면 말이다). 그리고 이에 더해, 우리가 찾은 문제와 기회에 유저를 노출 시키는태스크와 상황도 포함시킨다.
이렇게 하면, 유저는 “디자인을 테스팅”하게 된다. 앞서 언급했던 자동화 제조 회사 사이트에는 설비에 대한 엄청난 정보가 있긴 했지만, rich-media를 특색으로 하는 컨텐츠가 디자인의 핵심 요소였다. 그래서 우리는 리서치 디자인에 반드시 유저에게 그런 종류의 정보를 검색해보도록 요청하는 태스크들도 넣었다. 반면에 유저에게 마케팅 전략적으로 덜 중대한 다른 정보를 평가해보게 하는 가설이나 태스크는 만들지 않았다.
Watching and listening
이런 접근법은 우리가 유저를 관찰하고 데이터 모으는 방법에도 영향을 미친다. 우리가 보는 모든 결점이나 유저 문제를 기록하지만, 특히나 우리가 정의했던 “병목구간”과 “rabbit holes”을 중심으로 일어나는 유저 행동에 관심을 가진다. 여러 관찰자들과 작업할 때는, 가설을 공통적 판단 기준으로 활용한다. 우리가 동일한 것을 관찰할 때, 조사 결과를 보다 쉽게 비교하고 통합할 수 있다.
유저 관찰 방법은 관찰자가 자신의 편견과 기대를 bracket 하기 위해 열심히 일하는 에스노그래픽 접근법을 기반으로 한다. 내가 제안하는 가설 방법은 이 전통적인 접근법(관찰)을 두 가지 방식으로 보완한다.
첫째, 이는 전통적 관찰법을 대신할 의도로 만들어진 것은 아니고, 보충하기 위한 것이다. 유저에게 테스트를 수행할 때는, 우리의 예측과 관련이 있건 없건 상관 없이 눈을 크게 뜨고 관련된 유저의 행동을 기록한다. 항상 이전에 밝혀지지 않았던 결점을 찾게 되고 유저가 기대치 않은 행동을 하는 것을 보게 된다. 만일 당신이 유저를 보고 듣는다면, 유저는 자신이 이용하는 툴과 기기와 제품에 대한 흥미로운 것들을 드러내 줄 것이다.
가설이 관찰을 보완하는 두 번째 이유는 기대를 명확히 표현하는것은 중대한 이슈에 대한 편향을 조심할 수 있도록 도와준다. 에스노그래피는 잘 하기 매우 어려운데, 자신이 가진 편견을 인지하기 어렵고, 그것을 지지하는 증거를 찾기는 쉽기 때문이다. The Handbook of UsabilityTesting에서 Jeffery Rubin은 구체적인 테스팅 목표를 염두에 두라고 조언한다. “만일 그러지 않으면, 찾고 싶은 결과만 찾게 되는 엄청난 경향이 있다.” (p.95) 가설이나 추측으로 시작하는 것은 유저 테스팅 데이터를 의식적으로 평가하고 해석할 수 있는 프레임워크를 제공한다.
Sifting and reporting
데이터 압축(정리)은 언제나 도전 과제이며, 결점 리스트를 완전히 소화하는 것은 사용성 담당자와 나머지 팀원들을 주눅들게 만들 수 있다. 여러 이슈 외에도,그것을 정리하는 것 역시 문제가 된다. 테스트를 시작할 때 가지고 있던 가설은 그 결과를 해석 할 때, 결과를 서로 그룹화 해볼 수 있는 유의미한 방법을 제공한다.
이렇게 하면, 결과가 인터페이스 특징 대신 디자인 목표 및 관련된 유저 행동을 중심으로 정리 되어, 보다 타당성을 가지게 해주며 근본이 되는 디자인 관계를 지적해준다.
가설-테스팅 접근법은 무엇을 고칠지 결정하는 것을 도와준다. 리서치 결과와 개선안은 이전에 세웠던 목표와 연결 지을 때 우선순위를 매기기 더 쉬워지기 때문이다.
만일 반복적 테스팅을 하고 있다면, 가설은 테스팅 단계 사이를 삼각형으로 만들 수 있게 도와주며, 디자인 변경이 유저의 행동에 미칠 것인지, 어떻게 영향을 미칠 것인지 알 수 있도록 도와준다.
리포팅에 관해서 얘기하자면, 우리는 디자이너들과 개발자들이 추구하는 목표와 아이디어 관점에서 리서치 결과를 보여줬을 때, 그들의 관심을 받을 수 있음을 깨달았다. 가설을 그들의 디자인 비전을 중심으로 만들기 때문에, 나는 유리한 위치에서 시작하는 것이다. 그리고 실제 그 목표와 관련된 유저의 행동을 관찰할 때, 디자인 의사결정의 영향력에 대해 더 큰 자신감을 가지고 말할 수 있다. 만일 가격 페이지를 찾는 것이 사이트의 태스크 모델의 acknowledged 부분이고 유저가 찾을 수 없다는 것을 보았다면, 디자이너는 무엇이 잘못되었는지 어쩔 수 없이 물어보게 되며, 유저를 탓하고자 하는 경향이 줄어든다.
Not the null hypothesis
가설을 세우게 되면 특정 행동을 바라볼 때 선입견을 가지고 바라보게 될 것 같다고 생각할 수도 있다. 관찰자가 그들의 가설을 확인하려고 노력할 것이라고 생각하는것이다. 하지만 경험적 방법은 이렇게 하지 않는다. 사실, 우리는 가설을 검증하기 위해서 나가는 것이 아니라, 테스트 하기 위해 나가는 것이다. 우리는 무엇을 보게 되든, 그에 대한 열린 마음을 가지게 되는 것이다.
유저 테스팅은 여전히 소극적 관찰을 기반으로 만들어진 자연주의적(if not “natural”) 리서치 방법이다. 그렇기 때문에, 유저의 경험에 세세한 것까지 관여하지 않고 그들이 무엇을 하건 열린 마음으로 바라보는 것이 중요하다. 우리는 리서치 결과를 가설이 옳고 그름을 증명하는 관점에서 보여주지 않는다. 왜냐하면 우리에게는 진정한 경험적 디자인에 필요한 엄격한 통제권이 없기 때문이다. (혹은 그 통제권을 도입하고 싶기 때문이기도 하다.)
드물게 가설의 관점에서 바라보기도 하지만, 실제로 종종 사용성이 이미 이런 방향으로 흘러가고 있다고 생각한다. 예를들어, Susan Dray 와 David Siegel는 “디자인 이슈와 유저 태스크의 우선 순위 매기기”를 돕기 위해 시스템이나 제품을 전반적으로 리뷰함으로 사용성 연구를 시작해야 한다고 주장하며, “캐어 물을 주요 영역에 대한좋은 아이디어”를 가지고 있는 것이 중요하다고 권장한다.
Design as hypothesis
사이트나 어플리케이션의 목표를 기반으로 가설을 세움으로 사용성 테스팅을 디자인 프로세스에 통합시킬 수 있다는 것을 알게 되었다. 디자인 목표를 기반으로 하는 가설의 관점에서 생각함으로, 적절한 행동중심의 리서치 결과를 만들어낼 수 있다. 이렇게 하면, 사용성은 창의성을 억누르지 않고, 창의성에 집중하게 된다.
내가 볼 때, 이 접근법이 효과가 있는 한가지 이유는 모든 디자인은 가설이기 때문이다. 디자이너는 의식적으로나 무의식적으로나 유저의 행동을 예측한다. “만일 내가 여기에 버튼을 두고, 이렇게 보이게 만들면, 유저는 이를 보고 다음으로 이것을 클릭해야 한다는 것을 알게 될 것이다.” 이런 예측을 하는 것은 사용성 리뷰와 리서치의 초점을 명확히 해주며, 유저가 아닌 디자인을 테스트할 수 있게 해준다.
전민수 UX 컨설턴트 소개
(UX 실무 경력: 27년차 UX 전문가: LG전자, 서울시청 등 약 300회 이상 UX 컨설팅 수행)
(UX 강사 경력: 23년차: 삼성, SK, KT 등 약 1,000회 이상 UX 강의 진행)
https://brunch.co.kr/@ebprux/1332
[실시간 Live 강좌] (PM/PO/UI/UX/리서치) 수강생 모집 중
(이비피알유엑스 라이브클래스에서 매월 최소 1개에서 최대 4개 강좌 (온라인) 줌 Live 강좌 진행) (PM/PO/UI/UX/리서치/UX 방법론&프로세스 프레임웍)
[VOD 강좌] (PM/PO/UI/UX/리서치) 수강생 모집 중
(인프런에서 총 20개 VOD UX 강좌를 오픈했습니다)
(PM/PO/UI/UX/리서치/UX 방법론&프로세스 프레임웍)
https://www.inflearn.com/users/196290
