사용성 테스트는 몇명이 적당할까?
문제점 발견을 위한 사용성 테스트
프로젝트를 진행하면서 사용성 테스트가 필요한 순간들이 찾아오곤 합니다.
해당 프로세스에 할당된 예산이 충분해서 테스터를 모집하여 진행을 하는 경우가 있을 것이고, 특별히 정해진 프로세스가 없어 옆자리의 동료를 상대로 간단히 테스팅을 하는 경우도 있을 것입니다.
그런데 이러한 사용성 테스트를 진행할 때 테스트 해야하는 적정 인원은 도대체 몇 명일까요?
닐슨 노먼 그룹의 제이콥 닐슨은 한 가지 사용성 이슈당 5명의 사용자 테스팅을 하면 충분하다고 말합니다.
5명이라는 숫자가 너무 적게 느껴 질 수 있는데요, 제이콥 닐슨은 다음의 그래프를 제시하며 이를 설명합니다.
사용성 테스트 그래프 , 출처: Nielsen norman group blogN(1-(1-Ln
위 그래프와 공식은 한가지 사용성 이슈에 대해서 사용자 테스트를 진행 할 경우 첫 15명에게서 찾아낼 수 있는 거의 대부분의 문제점을 도출할 수 있다는 것을 의미합니다.
그럼 왜 15명 모두에게 테스트를 진행하지 않고 5명이면 충분하다고 하느냐? 바로 테스트를 진행하면서 다음의 현상이 반복되기 때문입니다.
우선 첫 번째 테스터와 테스트를 진행하면 디자인 또는 제작을 하면서 알지 못했던 거의 총 문제점의 30%가량에 해당하는 인사이트를 얻을 수 있다고 합니다.
그리고 두 번째 테스터는 첫 번째 테스터가 했던 대부분의 행동을 되풀이한 뒤 추가로 몇가지 다른 행동들을 보여줄 것입니다.
세 번째 테스터는 마찬가지로 첫 번째, 두 번째 테스터가 했던 것과 거의 비슷한 행동을 할 것이고 몇가지 다른 행동을 보여줍니다.
이렇게 여러 명의 사용자 테스트를 진행할 수록 점점 얻을 수 있는 정보는 줄어들게 됩니다.
그리고 5명 정도 테스트를 하고 나면 발견할 수 있는 문제점들의 85%는 발견할 수 있게 되는 것이죠.
하지만 그래도 100%의 문제점을 발견할 수 있는데 왜 85%에서 멈추느냐고 의문이 들 수 있을 것입니다.
이에 대해 제이콥 노먼 박사는 100%의 문제점을 발견할 때까지 테스팅을 진행하면 좋겠지만 예산 또는 시간의 효율면에서 보았을 때 5명의 사용자 테스트를 진행한 뒤 문제점을 개선하고 또 다시 테스트를 진행하는 것이 낫다고 설명합니다.
나머지 10명에게서 얻을 수 있는 인사이트보다는 문제점 개선 뒤 5명의 테스터에게서 얻을 수 있는 인사이트가 더 많다는 의미인 것이죠.
그렇다면 또 반대로 굳이 5명까지 테스트 해야 하느냐, 1명씩 15번 테스트하면 더 효율 적인 것이 아니냐 역으로 물어볼 수도 있겠죠.
첫 번째 테스터에게서 대부분의 인사이트가 나오는 것은 사실입니다. 그래프는 거의 30%의 인사이트가 첫 번째 테스터에게서 나온다고 하고 있으니 말이죠.
하지만 한 명의 사용자만을 테스트할 경우에는 얻은 인사이트 중 어느 것이 가치 있고, 어느 것이 거짓된 정보인지 가려내기가 어렵습니다.
가령 테스터의 유별난 성향 때문에 나타나는 테스트 도중의 행동을 기준으로 사용성 개선이 진행될 수 있는 것이죠.
그렇기 때문에 최소 3~5명의 사용자를 상대로 테스트를 진행하여야 객관적인 인사이트를 얻을 수 있습니다.
사용자 테스트가 더 필요한 경우
하지만 5명만으로는 부족한 경우 또한 존재하는데요,
테스트하려는 서비스에 판이하게 다른 성향의 사용 그룹이 있는 경우입니다.
예를 들어 선생님과 학생들이 함께 사용하는 학교 시스템에 대한 테스팅을 진행하게 된다면 최소한 두 사용 그룹의 성향에 맞는 두 개의 테스터 그룹을 가지고 테스트를 진행해야 하는 것입니다.
UX 라는 개념이 중요하게 대두되면서 사용성 테스트는 디자인 또는 제작에 있어 거의 필수적인 요소가 되었음에도 불구하고 내가 하고있는 것이 맞는 것인가? 하는 생각이 드는 경우가 종종 있을 것입니다.
제이콥 노먼의 그래프는 이러한 부분에 있어 도움이 될 것으로 보입니다.
