UX 연구자의 단상 5
5명의 사용자 테스트의 보완 방법
오랫동안 UX 연구의 불변의 법칙은 단 5명의 사용자만으로 테스트를 진행해도 사용성 문제의 80%를 파악할 수 있다는 것이었습니다. 초기 사용성 테스트의 목표는 명백한 버그나 심각한 문제점을 발견하는 것이었기 때문에, 과거에는 이 법칙이 꽤나 유효했습니다.
그러나 오늘날 UX 연구는 더 심오한 질문을 던지곤 합니다. 사용자의 미묘한 선호도를 탐색하거나, 여러 디자인의 효용성을 검증하거나, 시장의 움직임을 예측하고, 심지어는 막대한 손실을 야기할 수 있는 제품의 핵심 흐름을 검증하기도 합니다. 그렇기 때문에, 5명 정도의 사용자로는 충분하지 않다고 여겨질 수 있습니다.
UX 연구가 발전함에 따라 표본 크기를 계획하는 더욱 스마트한 방법에 대한 필요성도 커졌습니다. 최근 몇 년 동안 연구자들이 대략적인 추정치를 넘어설 수 있도록 돕는 더욱 발전된 방법들이 등장했습니다.
예를 들어, UX를 위한 적응형 통계적 검정력 분석 [1](Statistical power analysis)을 통해 표본이 작거나 노이즈가 있는 경우에도 예상 효과 크기를 기반으로 표본 크기를 계산할 수 있습니다.
[1] 통계적 검정력 분석은 연구에 필요한 표본 크기를 정하는 데 쓰이는 방법으로, 실제 효과가 있을 때 그것을 찾아낼 확률이 얼마나 되는지를 평가합니다. 보통 80% 이상으로 설정하며, 이는 거짓인 귀무가설을 제대로 기각할 가능성을 계산하는 과정입니다. 이 분석은 연구자들이 검정력이 부족해 실제 효과를 놓치는 연구나, 검정력이 너무 높아 자원을 낭비하는 연구를 막는 데 도움이 됩니다.
베이지안 접근법 [2](Bayesian approaches) 또한 주목을 받고 있으며, 유입되는 데이터에 따라 업데이트되는 유연한 표본 계획을 제공하여 충분한 확실성에 도달하면 조기에 종료할 수 있도록 합니다.
[2] 베이지안 접근 방식은 관찰된 데이터를 통해 사전 지식이나 신념을 결합하여 확률을 업데이트하고 추론하는 통계적 프레임워크로, 반복 시행에서 사건 빈도에 초점을 맞추는 빈도론적 접근 방식과는 대조됩니다. 베이지안 방법에서는 베이즈 정리를 사용하여 신념을 업데이트하고, 사전 분포를 통합하며, 모든 미지수를 확률 변수로 취급하는 것이 핵심입니다.
순차적 및 적응적 표본 추출 전략 (Sequential and adaptive sampling)은 사용성 연구나 선호도 테스트에서 특히 유용하며, 또 다른 흥미로운 발전이라고 할 수 있습니다. 미리 정해진 표본 수를 설정하는 대신 원하는 신뢰 수준에 도달할 때까지 데이터를 계속 수집하므로 연구를 더 빠르고 비용 효율적으로 진행할 수 있습니다.
위험 기반 모델 (Risk-based models)은 연구자들이 참여자 수를 결정하는 방식도 바꾸고 있습니다. 단순히 문제점을 감지하는 데 집중하는 것이 아니라, 잘못된 결정으로 인해 발생할 수 있는 사업적 또는 디자인적 위험을 고려하여 감당할 수 있는 불확실성의 정도에 따라 표본 크기를 조정합니다.
또 다른 주목할 만한 추세 (만약 리소스와 예산이 넉넉지 않다면, 제가 제안하는 방법입니다.)는 정성적 규모와 정량적 규모를 융통성 있게 혼합하는 것입니다. 몇몇 프레임워크는 초기 정성적 포화 분석과 정량적 검증 단계를 결합하여, 연구가 학습 내용에 맞춰 발전하는 역동적인 접근법을 제시합니다.
아, 이야기가 너무 깊어졌네요.
어쨌든, 이러한 모든 방법은 기존의 '5명 사용자' 규칙이 제공하지 못하는 중요한 점을 제공합니다. 연구 목표, 관련 위험, 제품의 복잡성을 고려하여 표본 크기를 조정할 수 있다는 것입니다. 초기 단계의 간단한 연구에서는 작은 표본으로도 충분하지만, 가격 민감도, 최종 디자인, 중요한 의사 결정에 영향을 미치는 행동 지표를 테스트할 때는 더 많은 데이터가 필요합니다. 베이지안 계산기, 순차적 중단 규칙, 위험 기반 모델링 도구, 혼합 방법 계획 가이드 등을 통해 연구를 더 크고 스마트하게 만들 수 있다는 점에서 매우 흥미로운 시대입니다.
