사용성 테스트 (UT) 하는 방법 02 - 리쿠르팅
전직 UX 리서처가 실무 경험을 바탕으로 적어보는 글
지난 글에 이어 사용성 테스트(UT)를 위한 리쿠르팅에 대해 적어본다.
지난 편은 요기에 :)
리쿠르팅,
우리 서비스 이용하면서 이야기 나눌 사람 구해요!
리쿠르팅은 사용자 테스트에 참여할 실제 고객을 구하는 일이다. 아래를 통해 리쿠르팅 시 유의할 사항들을 함께 알아보자.
1. 서비스 이해도는 어느 정도인지
리쿠르팅 진행 목적에 따라서 서비스 이해도에 따른 유저 선별을 해야 한다. 당연한 이야기겠지만 만약 우리 서비스를 처음 이용하는 사람들의 서비스 이해도와 페인 포인트 등을 확인하려 한다면, 신규 유저를 대상으로 리쿠르팅을 해야 한다.
만약 우리 서비스의 멤버십 서비스 개선을 앞두고 있다면, 실제 멤버십 고인물들을 만나 어떤 점이 좋고 나쁜지 사용성에 대한 이야기를 들을 수 있어야 하기 때문에 헤비유저를 리쿠르팅해야 한다.
즉, 우리 서비스에 얼마나 인볼브..(스타트업 대표말투인가) 되어 있는지를 바탕으로 적절한 참여자인지 판단해야 한다.
유저가 얼마나 인볼브 되어 있는지 컨시더 하여 디시젼을..2. 우리 서비스 타겟 유저와 닮아있는지
사용성 테스트의 바이어스를 최소화 하기 위해서 실제 우리 서비스를 사용하는 타겟 유저와 가장 비슷한 참여자를 찾아야 한다. 나이와 성별, 관심사 등을 필수로 고려해야 한다. 이는 구체적일 수록 좋다.
아래의 예시를 통해 설명해 보겠다.
우리 서비스는 식료품을 판매하는 그로서리 커머스 플랫폼이며 주요 고객은 40-50대의 여성이다
우리 서비스가 40-50대 여성을 주요 고객으로 하는 쇼핑몰이라면, 당연히 우리 테스트에 참여할 참가자 역시 동일한 나이대의 동일한 성별이어야 한다. 실제 우리 서비스를 이용하는 유저의 대표성을 갖춘 참여자의 의견이 신뢰도가 높다.
같은 맥락에서 나이, 성별 뿐만 아니라 관심사들도 중요하다. 조금 러프하지만, 아래의 목적으로 테스트 설계를 진행한다고 예를 들어보자면
우리 서비스에서 정기적으로 식료품을 구매할 때 어려운 점은 없는지 개선점을 도출하려 함
기껏 어렵사리 컨택하고 유저를 모셔왔는데, 유저가 자신은 식료품은 1달에 1번 정도 간식 정도만 사고 대부분 의류만 온라인으로 구매한다고 하면 낭패다.
"먹는 거 쇼핑 좋아해요" 라고 한다하더라도, 사용성 테스트 목적에 부합하는 사람을 찾아야 한다. 위의 경우, 실제 쇼핑 행태가 "식료품 쇼핑"에 포커스가 맞춰져야 하고, 그것을 우리 서비스에서 "정기적"으로 수행하는 사람을 찾으면 가장 좋다.
위의 사항들은 처음 사용자를 모집하는 서베이 등에서 구체적으로 나누어 정보를 받고, 선별에 참고하면 된다.
3. 확인하려는 가설에 부합하는 조건을 가졌는지
우리 서비스 유료 멤버십을 이용 행태 파악을 위해서라면, 당연히 멤버십 이용중인 회원을 모집해야 한다. 처음 정기배송을 이용하는데 허들이 없는지 보고 싶다면, 당연히 정기배송을 한 번도 이용해 보지 않은 사람을 찾아야 한다.
이처럼, 나이/성별/관심사 등을 다 만족한다해도 테스트에서 보고자 하는 유저의 행동이 무엇인지에 따라 적합한 유저가 다를 것이다.
4. 참여자의 직업을 참고하자
때로 참여자의 직업도 중요한 단서가 된다. 일단 가장 첫 번째로 기획자, 개발자, UXUI 디자이너가 아니면 좋다. 이유는 이들의 시선에서는 이미 "이건 이런 이유로 이렇게 개발 될 수 밖에 없었겠지" 혹은 "이렇게 기획 디자인하면 이런 장점이 있어" 등 자신의 경험과 지식을 바탕으로 이야기를 할 가능성이 매우 높기 때문이다.
당연히, 이들의 의견은 전문적일 수 있으나 우리는 비교적 순수한 유저가 되어 이야기를 해줄 사람을 찾아야 한다. 그래야 우리 서비스 유저를 대표하는 더욱 신뢰도 높은 이야기를 들을 수 있다.
(물론, IT업계 종사자들을 위한 플랫폼이라고 한다면 조금 다를지도..)
리쿠르팅,
몇 명이나 뽑아야 하나요.
정성 리서치에서는 포화(Saturation)이라는 개념이 있다. 아무리 많은 참가자를 구해 인터뷰를 수행해도 더이상 유의미한 인사이틀르 제공하지 못하는 지점이 바로 포화이다. 그럼, 결국 이 포화 지점에 해당하는 유저의 수를 리크루팅하면 되는데.. 안타깝게도 학계에서도 몇 명의 인터뷰 참가자가 가장 좋다하는 합의는 의뤄지지 않았다.
다만, 대게는 5-6명의 참가자를 통해 UT를 진행한다. 이유는 이들 참여자를 통해서도 충분히 의미있는 인사이트를 얻을 수 있고 이 이상의 사람들을 인터뷰하더라도 비슷한 의견을 들을 수 있을 뿐, 또다른 관점을 파악하기 어렵다고 보기 때문이다.
즉, 사용성 테스트의 포화 지점은 5명에서 6명이다. 그러나 테스트 성격에 따라 예외도 있기에 절대적인 기준은 아니다.
테스트 참여자는 많을 수록 테스트 진행 비용이 높아지는 것과 다름 없기에 (보상, 투입되는 시간 등) 적은 참가자로 의미있는 분석을 할 수 있다면 좋음!
닐슨 노만 그룹에서 진행한 연구 결과실제로 NN 그룹에서 참가자 수를 늘리면, 더 많은 인사이트를 얻을 수 있는가 연구를 진행한 결과, 소수의 연구를 제외하면 대게 큰 차이를 보이지 않음.
즉, 사용성 테스트는 참가자 수가 더 많다고 해서 더 많은 파인딩을 얻을 수 있는 것은 아님.
또한, 정량 테스트처럼 모집단의 표본 크기를 크게 한다고 해서 타겟 유저의 특성에 가까워 지는 것이 아님.
덧붙임. 이때 주로 받을 수 있는 질문
다른 일들이 그러하듯 UT도 함께 일하는 이해관계자들이 있다. 5-6명과 함께 테스트를 진행한다고 하면 아래와 같은 질문들이 종종 따라오곤 했다.
Q1. 고작 6명의 의견이라 믿기가 어려워요.
UT는 정성적 테스트로, 유저의 행태를 통해 우리 서비스를 연구할 수 있는 심층적인 리서치다. 더 많은 응답자를 통해 신뢰도를 높일 수 있는 정량 조사와는 달리, UT에서는 일정 수 이상의 참가자가 참여한다 하더라도 신뢰도를 높일 수 있는 것이 아님.
왜냐하면, 사용성 테스트에서 우리는 어떤 디자인 요소가 더 사용이 쉬운지 혹은 어려운지 등을 알아보려고 하기 때문에 서비스의 "기능"에 초점을 맞춘다. 서비스 기능과 품질에 대한 평가이기 때문에 사용자 수는 무관하다.
Q2. 저 참여자만 서비스 이용을 잘 하지 못한게 아닐까요?
UT의 목적은 일반화에 있지 않다. 물론 모더레이터와 리서처들이 해당 참가자가 태스크를 잘 이해하지 못했거나, 주제와 다른 이야기를 하고 있는 지 등 데이터의 유의미함을 판단하는 것은 필수적이지만, 한 명만 문제점을 지적했다고 해서 그 문제가 사소한 문제가 아닐 수도 있다는 것이 UT에서 중요한 점이다.
하지만, 의사결정자 등이 보기에는 저 한 명의 참가자 의견으로 굳이 비용을 들여서 우리가 서비스를 바꿔야 해? 라고 할 수도 있기 때문에, 정량적인 데이터와 함께 정성적인 리서치가 뒷받침 된다면 가장 베스트이긴 하다..
(예 : ㅇㅇ쿠폰을 사용할 수 있는지 몰랐다는 유저의 이야기(정성) + 실제로 ㅇㅇ쿠폰은 발급 대비 사용률이 매우 낮음(정량))
단, 정량으로 확인할 수 없는 문제를 UT를 통해 보고자 함을 항상 고려할 것!
다음 글에서는 UT 실제 진행인 모더레이팅과 로우데이터 기록 등에 대해 써볼 예정.
아래는 NN그룹에서 작성한 UT 참여자 수에 대한 아티클. 관심 있는 분들은 읽어보셔도 좋겠다 :)
