사용성 비교 평가의 목적과 장점
신입 UX/서비스 디자이너의 사용성 비교 평가 도전기 1편
우리 제품이 경쟁 제품 대비 얼마나 좋을까? (예시. 음악 감상 앱인 멜론 vs Spotify)1. 들어가며
처음 사용자 비교 평가를 수행하며 궁금했던 점을 정리해 보았습니다. 내용은 하단의 참고자료를 발췌 요약하고, 프로젝트 경험을 바탕으로 하여 작성하였습니다.
2. 비교 평가는 왜 하나요?
사용성 비교 평가의 정의
사용성 비교 평가는 경쟁사 대비 자신의 제품이나 서비스가 얼마나 사용하기 편리한지 평가하는 방법입니다. 다른 말로 경쟁력 평가 라고도 합니다. 비교 평가는 서비스 전반에 걸쳐 이루어질 수 있습니다. 보고 싶은 기능이나 콘텐츠, 디자인 요소에 초점을 맞춰 이루어질 수 있습니다.
사용성 비교 평가의 목적
사용성 비교 평가도 사용성 평가와 같이, 제품의 사용성을 향상하기 위해 실시하는 것입니다. 특수한 점은 경쟁사 제품을 비교해 봄으로써, 같은 디자인 문제를 경쟁자들은 어떻게 풀고 있는지 알 수 있습니다. 각 제품이 어떤 장, 단점을 가졌는지 알게 됩니다. 이를 통해, 가져가야 할 장점과 피해야 할 단점을 파악하기 위함입니다. 내부 이해관계자에게 제품 사용성을 개선해야 한다는 경각심을 주는 것이 사용성 평가의 중요한 목적 중 하나라는 의견도 있습니다.
사용성 비교 평가의 장점
1. 사용자가 두 제품을 비교하므로, 의견이 비교적 분명히 드러납니다
사용성 테스트 장면사용자가 한 개만 사용하고 평가할 때는 중립적으로 이야기할 수 있습니다. 하나의 제품을 써보고 사용자는 “괜찮아요, 불편한 점 없어요.”라고 말할 수 있습니다. 1~5까지 점수로 표시할 때, 3으로 표시하는 상황입니다. 물론, 비교 평가를 해도 그렇게 말하는 사용자가 있습니다. 하지만 사용자도 두 가지를 비교해 봄으로써 장단점을 느끼고 대비해 이야기하는 경향이 있습니다. 실제 테스트를 진행할 때, 두 제품을 다 사용한 뒤 차이를 비교해서 느낀 점을 공유 달라는 질문에 유용한 답이 많이 나왔습니다.
2. 기준점으로 판단할 수 있는 데이터가 나옵니다
제품 하나를 평가할 때 vs 2개를 비교 평가할 때예를 들어 볼까요. 제품의 편리성을 평가하고 싶습니다. A사의 편리성 점수가 3.8점이 나왔습니다. 이 제품이 편리한지 객관적으로 판단할 수 있을까요? 한 회사의 현재 데이터만 가지고는 가설을 검증하기 어렵습니다. 비교 평가를 통해, 다른 회사의 점수가 있다면 우리 회사가 비교적 편리하다는 이야기를 할 수 있습니다. 예를 들어, B 회사 점수가 3.5점이라면 우리 회사가 편리성에서는 더 낫다는 결론을 낼 수 있겠지요. 따라서 타 회사 데이터를 통해 기준점을 세우고, 사용자의 정성 보이스, 전문가 의견을 종합하면, 어떤 이유에서 이런 결론이 나왔는지 종합적으로 판단할 수 있겠습니다.
사용성 비교 평가를 하는 시점
제품 생애 주기 기준, 사용성 비교 평가 시점다음은 사용성 비교 평가를 유용하게 사용하는 시점입니다. 주로 시장 선,후발 주자가 제품의 개선 과정 전후 과정에 사용합니다.
다음 제품을 출시하기 위한 인사이트를 도출하고자 할 때
시장에 새로 제품을 출시/제품에 변화를 준 후, 객관적 검증이 필요할 때
디자인에 대한 일관된 평가 기준이 부족할 때, 일관된 평가 기준을 도출하기 위해 (평가 프레임 설계와 병행)
시장 점유율이 정체되거나 떨어질 때, 원인을 파악하고자 할 때 (포커스 그룹 인터뷰와 병행)
3. 어떻게 실행 하나요?
평가의 목적 세우기
목적이 분명할수록 유용하고 정확한 결과를 얻게 됩니다. 목적이 불분명한 상황에서 자사와 경쟁사 제품의 모든 기능을 보려고 하면 테스트 시간이 1시간 30분 이상 길어지게 됩니다. Nielson Norman 그룹에 따르면 테스트 시간이 90분 이상으로 길어질 때 테스트 참가자 집중력이 감소합니다 (1명 테스트 기준). 유용한 결과를 위해, 목표와 계획을 구체적으로 잡는 게 좋습니다. 가능하다면 측정 가능한 지표를 세우는 것도 좋습니다.
‘우리 제품이 경쟁사 대비 사용하기 편한지 알아보고 싶다'는 좋은 출발점이 될 수 있습니다. 하지만 추상적인 목표이므로 구체화할 필요가 있습니다. 어떤 사용자 그룹이 특별히 걱정되나요? 제품의 어떤 기능이 가장 사용하기 어려운지 나열해보면 도움이 됩니다. 어떤 과업(task)을 설계하면 예상되는 문제점을 확인할 수 있을지, 어떤 방법으로 사용자의 어려움을 측정할 수 있는지 정리해 봅니다.
전문가 평가, 사용자 평가
사용성 비교 평가 시에, 전문가 평가와 사용자 평가를 병행하는 경우가 많습니다. 전문가가 보는 관점과, 사용자가 보는 관점이 다르기 때문입니다. 두 평가 방식이 각각 어떤 장점이 있을까요.
1. 전문가 평가
휴리스틱 기준전문가는 주로 디자인 가이드라인, 휴리스틱 가이드, 전문가의 과거 경험에 비추어 제품의 사용성을 진단합니다. 전문가는 기업이나 제품에 중립적이고, 타겟 사용자가 아닐 때 객관적인 평가를 할 수 있습니다. 전문가는 비즈니스 도메인, 사용성, UX에서의 충분한 경력을 고려합니다. 전문가 평가는 사용성 가이드라인을 벗어나거나 기준을 어긋나는 것을 발견할 때 유용합니다. 사용자들은 이런 문제를 ‘설명할 수 없지만 불편하다’고 느낍니다. 하지만 적당한 단어를 찾지 못하거나, 자신감 있게 이게 문제라고 말하지 못하기도 합니다. 전문가는 빠른 시간에 전문 용어와 기준을 들어 사용자가 설명하기 어려워하는 문제를 진단합니다.
2. 사용성 평가 (사용자 평가)
사용자 평가를 통해, 사용할 때 실제로 겪을 수 있는 문제를 알 수 있습니다. 전문가나 디자이너가 예상하지 못했던, 사용자로서 발생하는 문제점을 알게 됩니다. 의견을 들으면서 진행하는 경우, 사용자의 니즈, 불편한 점, 감정, 제품에 기대하는 것을 복합적으로 이해하게 됩니다. 사용자 평가에서 우리가 고쳐야 할 더 깊이 있고 ‘심각한’ 문제가 발견됩니다. 사용자는 제품에 관련한 다양한 경험을 가지고, 멘탈 모델을 가지고 있습니다.
3. 팁
UX Matters 컬럼에서 9명의 사용성 및 UX 리서치 전문가들이 모여 전문가 평가와 사용자 평가 활용 팁을 공유합니다. Infragiastics의 UX Director, Tobias는 사용성 평가를 하기 전에, 전문가 평가를 통해 쉽게 발견할 수 있는 사용성 문제를 우선 해결한 뒤에 사용성 평가를 진행할 것을 권하고 있습니다. 전문가 평가를 통해, 디자인 가이드라인을 벗어나는 문제를 정리합니다. 이후 정말 찾아내기 어렵지만, 우리에게 실제로 가장 중요한, 사용자로서의 사용성 문제에 시간과 비용을 집중할 것을 권합니다. Tobias는 두 방법을 상호 보완적으로 사용함으로써, 비용 대비 높은 효율로 디자인 문제를 해결할 수 있다 이야기합니다.
4. 중요한 목적에 집중하기
‘승자’에 집착하지 않는 것
사용성 비교평가에서 주의할 점은 중요한 목적에 집중하는 것입니다. 목적은 사용성 개선입니다. 비교 평가는 주로 정량 평가를 병행합니다. 점수로 승패가 나오기 때문에, 결과 자체가 목적인 것처럼 느껴지기 쉽습니다. 학교 다닐 때, 점수를 잘 받기 위해 공부하는 식입니다. 점수 자체보다는, 이 테스트 결과를 통해 앞으로는 어떤 전략을 취할 것인지, 어떤 갭을 채울 것인지에 집중합니다. 설령, 자사가 높은 점수를 얻었다고 해도 수치를 평균 내 비교한 값일 뿐입니다. 자사와 경쟁사 제품을 사용하며 평가한 사용자의 행동, 의견을 종합해 보아, 도움이 되는 방향을 잡아야 하겠습니다.
다음은 사용성 비교평가 후 질문해보면 좋을 것입니다.
경쟁자의 가장 큰 강점은 무엇인가?
전체적으로 보이는 경향성은 없는지?
경쟁사가 창의적으로 문제를 해결한 때도 있는지?
콘텐츠나 기능에서 채울 수 있는 틈이 있는지?
5. 맺음말
이번 글에서는 사용성 비교 평가는 어떤 장점이 있고, 어떻게 수행하는지 대략 살펴보았습니다. 이번 프로젝트는 2개의 제품을 60명 이상의 사용자를 대상으로 진행하여 풍부한 데이터를 얻었습니다. 점수 값의 원인을 찾기 위해 사용자 보이스를 분석하는 과정이 재미있었습니다. 다음 글에서는 사용성 평가에서 정량 데이터 활용하는 방법을 소개하려 합니다.
[참고자료]
책
블로그
-Usability testing versus Expert Review, by Janet M.
-Competitive Usability Evaluation:Learning from your competition, by Amy Schade
-How to do a UX competitor analysis: a step by step guide, by Steven Douglas
-UX expert reviews, by Aurora Harley
이미지
*이 글은 pxd 공식 블로그 http://story.pxd.co.kr/1310에 동시 게재됩니다.
