언제, 어떤 사용자 경험 조사 방법론을 써야 하는가?
User-Experience 조사 방법론을 공부해보자!
이 글은 Nielsen Norman Group 홈페이지에 있는 내용을 번역/해석/정리한 내용입니다. 원본은 아래 링크를 통해 확인할 수 있습니다. When to Use Which User-Experience Research Methods
제목 그대로 '어떤' 사용자 경험 조사론을 '언제' 써야 하는지에 대한 글이다. 리서치를 위해 많이 사용되는 방법론은 20가지가 있다고 하는데, 3개의 관점에 따라 각각 내용을 맵핑시켜두었다. 20가지 방법론에 대한 짧은 설명을 정리해두었다. (먼저 읽고 본문을 읽는 게 도움이 될 것 같습니다.)
또한,
1. 또한, 회색 글씨는 제 생각이 들어간 의역입니다.
2. 방법론 명칭은 영어로 작성하고, 주황색 글씨로 표시하였습니다. ex) eyetracking
3. 영어 표현 그 자체로 쓰이는 단어는 해석하지 않고, 그대로 썼습니다. ex) usability test, framework
4. 볼드 처리는 경우 원문 그대로 따라 했습니다.
UX분야에서의 리서치 방법론은 다양하다. 실험실 기반의 usability test와 같이 실제 많이 사용되어 검증된 방법론과 아직 검증되지 않은 Online UX 평가와 같이 새롭게 개발된 방법론까지 사용할 수 있는 게 다양하다.
하나의 프로젝트에 모든 방법론을 적용하는 건 현실적이지 않다. 하지만, 거의 모든 프로젝트들은 다수의 방법론을 교차해서 사용했을 때 더욱 좋은 인사이트(결과물)를 낼 수 있다. (하나의 방법론을 통해 얻는 insight가 1개라면, 다수의 방법론을 통해 얻은 n개의 insight 끼리 서로 시너지 효과를 낼 수 있다는 문맥)
불행히도 대부분의 다지인 팀은 하나 혹은 두 개 정도의 방법론만 사용한다. 그것도 친숙한 것. (관성에 의한 것? 이라고 표현하면 좋으려나..) 가장 중요한 질문은 언제 무엇을 해야 하는가?이다. 언제 어떤 방법론을 이용해야 하는가에 대한 이해도를 높이기 위해 3가지 관점의 framework를 통해 보면 좋다.
Attitudinal vs. Behavioral (사고 vs 행동)
Qualitative vs. Quantitative(질적 vs 양적)
Context of Use (사용상에 맥락, 전후 사정)
아래 차트는 가장 유명한 20가지 리서치 방법론을 위 3가지 관점에 따라 분류한 것입니다.
The Attitudinal vs. Behavioral Dimension (사고 vs 행동)
이 부분은 간단하게, '사람들이 무엇을 말하는지'와 '사람들이 무엇을 행동하는지'의 차이로 정의될 수 있다. (때때로 이 두 가지는 꽤 차이가 날 수 있다.) 사고 리서치는 대개 사람들이 말하는 신념(생각)등을 측정하거나 이해하는 게 목적이다. 그렇기 때문에 이 리서치는 마케팅 부서에서 많이 행해진다. (브랜드 평판과 같은 내용을 말하는 것 같습니다.)
대부분의 사용성 연구는 '행동'에 더 의존해야겠지만, self-reporting 되는 정보 역시 디자이너에게 꽤나 유용합니다. 예를 들어, Card Sorting은 사용자의 정보 구조에 대한 멘탈 모델과 당신의 제품에 가장 좋은 정보 아키텍쳐를 결정할 수 있게 인사이트를 제공합니다. Surveys 은 사고를 분류하거나 측정하는데 쓰입니다. 또는 중요하게 다뤄야 할 이슈를 찾아내는데 도움이 되는 self-reporting 데이터를 수집하는 데 사용됩니다. Focus Groups은 usability에 덜 유용합니다. (유용하지 않다는 뜻이겠죠?) 다양한 이유가 있지만, 주된 목적은 브랜드나 제품의 컨셉에 대해 그룹 단위의 사람들의 생각 중 가장 높은 차원의 의견을 제공합니다.
이 파트에서 마지막으로, 이런 방법론은 대개 "사람들이 무엇을 하는가"에 대해 이해하기 위해 '행동'에 집중을 합니다. 특히, 질문(문제)이 있는 제품이나 서비스에 대해서요. 예를 들어, A/B testing 은 사이트 방문자에게 무작위로 변경된 사이트를 보여줍니다. 변경된 부분 외의 다른 요소들은 최대한 동일 유지하려고 합니다. 변경된 부분으로 인한 사용자의 행동이 달라짐을 보기 위해서죠. 이에 반해, Eyetracking 은 interface design과 사용자가 시각적으로 상호작용(어떻게 반응하고 행동하는지)하는지 이해하는 게 목적입니다.
차이에 있어 극단적으로 서로 다르지만 가장 많이 쓰이는 두 가지 방법은 usability study와 field study입니다. 이들은 행동 데이터와 self-reporting 된 데이터를 혼합하여 활용합니다. 비록 행동 분석 측으로 더 집중되어 진행되는 게 일반적으로 권해지는 방식이지만, 두 관점의 끝에서 끝으로 향해갈 수 있습니다.
The Qualitative vs. Quantitative Dimension (질적 vs 양적)
차이점은 매우 중요하다. 개방형 설문조사는 개방형의 질적인 연구의 좁은 관점을 뛰어넘는다. (질적과 양적 연구는 서로 장/단점을 보완해준다는 의미 갖습니다. 설문조사는 양적 형태가 일반적입니다. 그 반대는 질적인 연구인데, 이 두 가지를 합치면 시너지를 발생시킨다는 의미 같습니다.)
질적 연구의 데이터는 사용자를 직접 관찰하여 얻어지는 행동 혹은 태도에 대해 자연스레 생성된다. 그에 반해, 양적 연구는 간접적으로 설문조사나 분석 도구들을 통해 이런 데이터들이 측정된다. 예를 들어, field study나 usability study는 리서처가 사람들이 특정 기술(기능)을 사용하여 자신들의 요구사항을 충족시키는지 (혹은 못 시키는지) 직접 관찰합니다. 이런 관찰을 통해 리서처는 사용자에게 질문하고, 행동을 조사하여 연구 초안을 조절하여 더 나은 결과물(목표)을 만들 수 있습니다. 데이터 분석은 항상 수학적이진 않습니다.
이와 대조적으로, 양적 연구는 전형적으로 수학적 분석에서 나옵니다. 설문조사 툴이나 server log와 같은 데이터 수집 도구를 이용하여 수치적으로 쉽게 코딩되는 대량의 데이터를 수집합니다.
둘의 근본적인 차이점은 다음과 같습니다. 질적 연구는 문제에 대한 '이유' 혹은 '어떻게 문제를 해결할지'에 대한 답을 주는데 적합한 반면, 양적 연구는 많은 질문과 많은 유형에 대한 답변에 답변을 주는데 적합합니다. 예를 들어, 이러한 수치적인 가지고 있다는 건 리소스의 우선순위를 정하여 어떤 이슈에 집중해야 할지 우선순위를 정하는데 도움이 됩니다. 아래 차트는 처음 두 관점의 질문 유형에 어떤 영향을 미치는지 보여줍니다.
The Context of Product Use(사용상에 맥락, 전후 사정)
세 번째는 사용자가 제품이나 서비스를 사용하는 방법 혹은 사용하는지 여부와 관련이 있습니다. 이것은 다음과 같이 설명될 수 있습니다.
- Natural or near-natural use of the product (자연스럽게 제품을 사용)
- Scripted use of the product (짜인 방식대로 제품 사용)
- Not using the product during the study (조사 중 제품 사용하지 않기)
- A hybrid of the above (위 3가지를 혼용하기)
- 제품을 자연스럽게 사용하고 있는 상황을 연구할 때의 목적은 현실에 최대한 가깝게 행동과 태도를 이해하기 위함입니다. 간섭/방해 요소는 최소화합니다. 이런 방식은 더 큰 타당성(유효성)을 준다는 장범이 있지만, 연구하고자 하는 주제에 대해 통제가 약하다는 단점이 있습니다. 많은 편향(편견 있는)적인 관찰이 항상 존재하지만, 많은 민족 지향적 연구가 이 방식을 하려고 시도합니다. Intercept survey와 Data mining 혹은 다른 analytic techniques가 이런 방식의 예입니다.
- 제품 사용의 Scripted 연구는 새롭게 디자인된 사용 흐름과 같은 구체적인 사용 측면에 집중하기 위해서 진행됩니다. scripting의 정도는 꽤 다양할 수 있고 이는 연구 목표에 따라 달라진다. 예를 들어, Benchmarking study는 매우 엄격하게 script 되고 실제로 더욱 정량화될 수 있다. 결과적으로 더 믿을만한 usability metrics를 만들 수 있다.
- 제품을 사용하지 않는 연구는 사용, 유용성보다 더 넓은 범위로 조사된다. 브랜드나 넓은 범위의 문화적 행동과 같은 연구가 예다.
- Hybrid 방법은 창의적인 방식으로 제품 사용을 확인합니다. 예를 들어, participatory-design 방법론은 사용자가 제품 경험의 한 부분이 될 수 있는 디자인 요소를 재배치하거나 디자인할 수 있습니다. 이를 통해 그들이 제안한 솔루션이나 선택한 방식 등에 대한 이유를 확실하게 논의할 수 있습니다. Concept-testing 방법론은 제품이나 서비스의 대략적인 개념을 이용합니다. 이는 제품이 가지는 가장 중요한 부분만 제공하여 (경험의 세부적인 부분이 아니고) 사용자가 어떤 제품, 서비스를 원하는지 이해합니다.
차트에 있는 대부분의 방법론은 하나의 관점 혹은 여러 관점으로 이동 (move along) 할 수 있습니다. 또한 같은 연구를 진행하는데, 여러 목표를 달성하기 위함이다. 예를 들어, Field study는 (민족 연구에서) 사람들의 말 혹은 그들의 행동 (확장된 관찰)에 집중할 수 있다; Desirability study와 Card sorting은 정량/정성 두 가지 버전이 있다. Eyetracking 역시 script 된 버전과 그러지 않은 버전이 있다.
Phases of Product Development (the Time Dimension) 제품 개발 단계(시간 관점)
또 다른 중요한 관점은 리서치 방법을 선택할 때, 제품 개발 단계와 연관된 목표를 고려하는 것입니다.
전략 짜기(STRATEGIZE) : 제품 개발의 초기 단계에서, 새로운 아이디어와 미래에 올 기회에 대한 고려를 해야 합니다. 이 단계의 연구 방법은 매우 다양합니다.
실행하기(EXECUTE) : 결국, 우리는 "진행할지 / 말지"를 고민하는 순간이 올 것입니다. 이 순간은 진행하기로 결정한 디자인 방향성대로 지속적인 업데이트를 진행할 때입니다. 이 단계에 있는 리서처는 대부분 제품이 형성되는 시기여서 실행의 위험성을 줄이는데 도움이 됩니다.
평가(ASSESS) : 어떤 시점에서, 제품이나 서비스가 사용자에게 충분히 사용되어서 성과를 측정할 수 있습니다. 이는 일반적인 요약 데이터이고, 제품 자체 원본(과거) 데이터 혹은 경쟁사와 비교가 될 수 있습니다.
아래 표는 각각의 목표가 요약되어있고, 일반적인 연구 방법에 대해서 명시되어있습니다.
Art or Science?
많은 유저 경험 리서치 방법론이 과학적 실천법에 뿌리를 두지만, 그들의 목적은 순수하게 과학적이지 않고 이해관계자의 니즈를 충족시키기 위해 여전히 수정이 필요하다. 그렇기 때문에 위에 나온 방법론이 엄격한 분류가 아닌 일반적인 지침으로 사용됩니다.
결국, 당신이 하는 일의 성공 여부는 당신의 제품이나 website에 대한 Uesr Experience를 향상 시키는데 얼마나 많은 영향을 미치는가이다. 이러한 분류는 그저 적절한 타이밍에 우리가 최고의 선택을 내릴 수 있게 도움을 줄 뿐이다.
이상으로, 번역은 마칩니다. 방법론에 대한 개략적인 이해는 마쳤으니, 이제 어떤 방법론을 더 공부해야 업무에 사용할지 고민하려 합니다. 읽어본 아티클은 이렇게 번역할 예정입니다.
감사합니다 =)
