유저 인터뷰를 5명만 해도 충분하려면
누구를 만나야 할지 정하는 방법
사용자 10명을 만났는데
10명이 모두 다른 이야기를 하셔서 어떤 것을 택해야 할지 모르겠어요.
소중한 시간을 들여 인터뷰를 진행했지만, 막상 분석을 하려다 보니 이런 어려움을 겪진 않으셨나요?
정성 인터뷰는 준비, 진행, 분석 전 과정에 걸쳐 리소스가 많이 들기 때문에 필요로 하는 최소한의 인터뷰를 진행하는 것이 효율적입니다. 정성 인터뷰는 최소 5명 정도 진행하면 어느 정도 반복적인 패턴을 찾을 수 있다고 알려져 있습니다.
Nielson Norman Group에서 발행한 Article에, Usability Test의 경우 최소 5명이면 적절하다는 내용이 상세하게 나와있습니다. 저의 경험에 비추어보면, Usability Test에서 뿐 아니라 대부분의 사용자 인터뷰에서 5-9명을 만나면 우리가 알고 싶은 것을 발견할 수 있었습니다.
[참고] Why You Only Need to Test with 5 Users, Nielson Norman Group
하지만 최소 5명을 인터뷰하면 패턴을 찾을 수 있다는 말에는 <같은 행동 속성을 지닌 사용자를 5명 이상 만나는 경우>를 전제로 합니다. 그렇지 않은 경우, 아무리 많이 만나도 패턴을 찾기 어려울 수 있습니다. 사용자 인터뷰가 의미 있으려면 우리는 어떤 사용자를 만나야 할까요?
Step1. Extreme Users를 찾기
우리는 평균적으로 행동하는 사람들(A영역, Mainstream)을 만나는 것이 당연하다고 생각하기 쉽습니다. 만일 우리가 정량 설문 조사를 진행하는 것이라면 Mainstreme users를 만나는 것이 맞습니다.
하지만 우리가 In-depth 인터뷰를 하는 이유는 평균적인 사용자의 행동을 파악하려는 것이 아니라 우리가 당면한 문제를 해결할 'insights'를 발견하고자 함입니다. 그러기 위해서는 극단적인 행동을 하는 사람들(Extreme users)을 만나는 것이 유의미합니다.
[그림 출처] By HJKhan123 - Own work, CC BY-SA 4.0의 그림을 발췌하여 설명을 추가
예를 들어 <우리 앱에서 요리 콘텐츠를 사용자가 읽지 않는 이유>에 대해 알아보고 싶습니다. 만일 1회 접속 시 요리 콘텐츠를 보는 평균이 3개(1인 당)라고 가정한다면, 콘텐츠를 보는 행위에서 Extreme users란 다음과 같습니다. (물론, 이 경우 두 사용자 군은 모두 우리 앱을 자주 접속하는 사람들이어야 합니다.)
(+) Extreme user: 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 보는 사용자
(-) Extreme user: 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자
한번 접속 시 10개 이상 보는 사용자를 만나보면 우리 앱이 분명히 불편한 점이 있음에도 불구하고 사용자에게 가치를 주고 있는 부분과 불편함을 극복한 사용자 만의 방식을 통해 솔루션 인사이트를 얻을 수 있습니다.
가입 후 콘텐츠를 5개 미만으로 본 사용자를 만나보면 우리 앱이 좋은 점이 있음에도 불구하고 여전히 사용자를 만족시키지 못하는 것에 대한 인사이트를 얻을 수 있습니다.
Step2. Behavior type으로 사용자 그룹을 나누고, 우선 만나야 할 그룹 정하기
정성 인터뷰에서는, 사람들이 특정 행동을 하는 이유와 그때의 생각/감정에 대해서 알고 싶은 것이기 때문에 '행동 유형'으로 만나야 할 사람을 구분합니다. 나이, 성별, 거주지와 같은 인구통계학적 정보가 특정 행동을 하는데 영향을 미치는 요인이라면 인구통계학적 정보도 고려할 수 있지만, 그렇지 않은 경우 고려하지 않아도 됩니다.
<요리 콘텐츠를 사용자가 읽지 않는 이유>의 예시에서, 우리 앱에서 요리 콘텐츠를 읽는 행동에 영향을 미치는 요인이 다음과 같다고 가정해 봅니다.
행동에 영향을 미치는 요인: 다른 곳에서 요리 콘텐츠를 읽는 정도, 요리하는 빈도, 요리 숙련도 등
행동에 영향을 미치지 않을 수 있는 요인: 나이, 거주지 등
그리고 행동에 영향을 미치는 요인으로 사용자 유형을 나눕니다. 그러면 우리가 만나야 할 사용자 그룹 경우의 수는 2x2x2=8, 총 8개가 됩니다. 이 중에서 우리 팀이 생각하기에 우리 사용자일 가능성이 가장 높은 그룹 혹은 사용자가 될 잠재 가능성이 높은 그룹을 1-2개 정도 선정합니다.
이제 우리는,
우리 앱에서 Extreme 한 행동을 보였던 사용자 중에서, 위 두 그룹의 유형에 속한 분들을 찾아내야 합니다.
(+) Extreme user: 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 보는 사용자
(-) Extreme user: 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자
여기서 잠깐!
만일 우리가 바로 위 단계에서 1순위, 2순위 두 그룹의 사용자를 모두 만나보고 싶다면, 우리가 리크루팅 해야 하는 유저 속성은 총 몇 개일까요?
정답은 4개입니다.
[A] 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 5년 이상인 사람
[B] 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 1년 미만인 사람
[C] 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 5년 이상인 사람
[D] 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 1년 미만인 사람
글을 시작하며 <같은 행동 속성을 지닌 사용자를 5명 이상 만나는 경우> 에만 5명만 인터뷰해도 적절한 패턴을 읽을 수 있다고 언급했는데요, 위의 예시의 경우 속성이 4개 이므로, 우리가 만나야 할 사용자는 4x5=20, 최소 20명이 되는 것입니다.
리소스가 충분치 않은 스타트업의 경우 20명을 인터뷰하는 것은 현실적으로 어렵기 때문에, 우선순위가 가장 높은 그룹을 팀에서 잘 선정하여 Extreme user 10명 이내로 만나는 것이 적절합니다.
Step3. Screening 하기
예시로 다시 돌아가, 이제 우리는 아래 속성을 지닌 사람들을 찾아야 하는데요, 인터뷰 대상자를 찾는 것을 'Screening 한다'고 합니다.
[A] 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 5년 이상인 사람
[B] 우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 1년 미만인 사람
[C] 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 5년 이상인 사람
[D] 우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자 중에서, 다른 곳에서 요리 콘텐츠를 1주일에 20개 이상 보고, 요리를 1주일에 10회 이상 하며, 요리한 지 1년 미만인 사람
예시의 경우, 우리 앱 사용 데이터를 보고 <우리 앱에 한번 접속 시 요리 콘텐츠를 10개 이상 본 사용자>와 <우리 앱 가입 후 요리 콘텐츠를 5개 미만으로 본 사용자>는 쉽게 추출할 수 있습니다.
우리 앱과 무관한 속성은 Screening 설문(Screener)을 돌려 응답자 중에서 우리가 원하는 분을 선정합니다. 이때 Screening을 잘하기 위해서 중요한 것은 <어떤 사람들이 선택될지 응답자가 알 수 없어야 한다>는 것입니다. 그렇지 않기를 바라지만, 인터뷰 참여 리워드를 드리는 경우 리워드를 받기 위해 내가 마치 그런 것처럼 응답을 할 수도 있기 때문입니다.
어떤 사람들이 선택될지 응답자가 알 수 있는 Screener와 알 수 없는 Screener 예시는 다음과 같습니다.
평소에 요리를 자주 하고 요리 관련 콘텐츠를 자주 보는 분들의 이야기를 듣고 싶습니다.
1. 일주일에 10회 이상 요리를 하시나요 (네/ 아니요)
2. 인스타그램이나 블로그에서 요리 콘텐츠를 일주일에 20회 이상 보시나요? (네/아니요)
3. 요리한 지 5년 이상 되셨나요? (네/ 아니요)
요리와 관련하여 이야기를 들려주실 분을 찾습니다.
1. 일주일에 얼마나 자주 요리를 하시나요? (3회 미만/ 4~9회 / 10~15회 / 16회 이상)
2. 인스타그램이나 블로그에서 요리 콘텐츠를 일주일에 얼마나 자주 보시나요? (3회 미만/
(3회 미만/ 4~10회/ 11~19회/ 20회 이상)
3. 요리한 지 얼마나 되셨나요? (1년 미만 / 1년 ~ 3년/ 4년 ~ 5년/ 6년 이상)
리서치 중요도가 전사적으로 높거나 리워드가 큰 경우, 정교하게 하기 위해서 함정 질문을 넣을 수도 있습니다. (4번, 5번)
평소 생활에 대해 이야기를 들려주실 분을 찾습니다.
1. 일주일에 얼마나 자주 요리를 하시나요? (3회 미만/ 4~9회 / 10~15회 / 16회 이상)
2. 인스타그램이나 블로그에서 요리 콘텐츠를 일주일에 얼마나 자주 보시나요? (3회 미만/
(3회 미만/ 4~10회/ 11~19회/ 20회 이상)
3. 요리한 지 얼마나 되셨나요? (1년 미만 / 1년 ~ 3년/ 4년 ~ 5년/ 6년 이상)
4. 일주일에 얼마나 자주 빨래를 하시나요? (1회 미만/ 2-3회/ 4회 이상)
5. 세탁 관련 정보를 인터넷에서 평소 얼마나 자주 보시나요? (안 봄/ 1달에 1-2회/ 1주일에 1-2회/ 매일)
이러한 과정을 거쳐 우리가 만나고자 하는 유저가 잘 리크루팅 된 경우, 비로소 <유저 인터뷰를 5명만 해도 충분하다> 고 말할 수 있습니다. 사용자 리서치는 우리가 만나야 할 분들을 잘 리크루팅 하는데 신경을 많이 써야 합니다. 그렇지 않으면 인터뷰 모더레이션을 아무리 잘해도 인사이트를 발견하기 어렵습니다.
