쉽고도 어려운 설문지 만들기
UX Metrics의 시작
안전하고, 편리하고, 만족한 사용자 경험을 제공하는 서비스와 제품이 있다면? 완전 대박이겠죠?
그러나 사람의 경험은 매우 주관적이고, 다면적이어서 이를 예측하고 설계하는 건 쉽지 않습니다.
어떻게 하면 될까요?
사용자 경험을 예측할 수 있는 객관적 데이터를 찾기 시작했습니다. 연구자들이 UX Metrics (사용자 경험 측정값)에 대해 관심을 갖게 되었습니다.
그중의 하나가 주관적 심리 상태를 측정하는 설문지 기법(Questionnaire)입니다. 가장 쉬운 방법 같지만, 의미 있는 결과를 얻기 위해서는 다음의 몇 가지 조건을 고려해야 합니다.
쉽고도 어려운 설문지 만들기https://www.flaticon.com/kr/free-icon/survey-form_12370590
1. "설문 내용이 독립적인 (independent) 카테고리별로 정리되어 있는가?"
이 말은 중복 질문을 하지 않기 위한 설계 과정입니다. 예를 들어, 건강식품에 대한 사용자 경험을 묻기 위해, 직관적으로 '건강 관심도'과 '생활습관'이라는 카테고리를 만들었다고 가정합시다.
그러나, '건강 관심도'과 '생활습관'은 완전히 독립적인 카테고리가 아닙니다. 건강에 관심이 높은 사람은 건강한 생활습관을 가지고 있을 가능성이 높습니다. 다른 질문을 하지만 거의 같은 대답이 나올 수 있습니다.
이 경우 통계분석 결과가 의도와 달라질 수 있습니다. 이를 해결하기 위해서는 다중공선성 감사(multi collinearity test)나 요인분석(factor analysis)이라는 방법을 통해 비슷한 카테고리나 질문들을 합치거나 걸러낼 수 있습니다.
2. "클래스 계층(Class Hierarchy)에 따른 선택지를 제공하는가?"
만일 누가 당신에게 "가장 선호하는 이동수단은?"이라고 묻고, "버스, 지하철, 자가용 그리고 현대 소나타 중에 고르시오"라고 했다면?
'현대 소나타'가 잘못 끼어 들어온 선택지인 것을 알 수 있습니다.
이처럼 같은 수준(class)에 있지 않는 대상을 선택하도록 요구하는 경우가 종종 있습니다. 통계분석 결과가 엉망진창이 될 수 있습니다. 부적합한 선택지가 들어가지 않도록 주의해야 합니다.
이동 수단의 종류. 특정 브랜드의 승용차는 이 계층의 항목이 아님https://plan.yesform.com/ppt/100404650.php
3. "알기 쉬운 문장과 문법을 사용할 것. 부정의 부정문 형태를 사용하지 말 것."
"당신이 평소 좋아하지 않는 음식이 아닌 것은?"이라는 질문은 응답자를 혼란스럽게 만듭니다. "당신이 평소 좋아하는 음식은?"이라는 질문으로 바꾸는 것이 좋습니다.
"다음 중 불편하다고 생각되는 것 중 적게 불편한 순서대로 표시하시오."라는 질문은 불편도 조사를 할 때 흔히 하는 실수입니다. "당신이 편안하다고 생각하는 순서대로 표시하시오"라고 묻고 불편도에 대한 해석은 설계자의 몫으로 돌려야 합니다.
국어적으로 복잡하고 애매한 표현은 지양해야 합니다. 응답자가 헷갈리면 좋은 데이터를 얻을 수 없습니다.
4. "리커트 스케일 (Likert scale)을 사용할 때 높은 숫자와 낮은 숫자의 의미의 일관성을 유지할 것"
리커트 스케일은 우리가 흔히 경험하는 단계별 선호도 조사 같은 겁니다. (아래 그림 참조)
단계별 점수를 배당할 때, 적은 숫자 (1점)가 긍정적이든, 높은 숫자(5점)가 긍정적이든 일관성을 유지하는 것이 중요합니다.
긍정적 응답이 높은 숫자를 갖도록 방향성을 정하는 것이 일반적입니다. 그러나 불편함의 정도나 통증 경험을 물을 때는 높은 숫자가 강한 부정적 의미를 표현하기도 합니다.
숫자의 일관성이 있어야 정확한 통계분석이 가능합니다.
리커트 스케일의 예: strongly agree가 5점이 될 수도, strongly disagree가 5점이 될 수도 있음https://www.figma.com/resource-library/what-is-a-likert-scale/
5. " 심리적 해상도 (Psychological resolution)를 고려해서 Likert scale의 3단계, 5단계, 7단계를 결정할 것."
예를 들어, "제품은 대체로 맘에 드십니까?"라고 물으면 "그렇지 않다-1점", "잘 모르겠다-2점", "그렇다-3점"과 같이 3단계 정도로 물어도 원하는 답을 들을 수 있습니다.
그러나 "제품이 나의 취향을 얼마나 반영했다고 생각하십니까?"라고 좀 더 구체적으로 물으면, 5단계 "매우 그렇지 않다-1점", "그렇지 않다-2점", "잘 모르겠다-3점", "그렇다-4점", "매우 그렇다-5점"의 보다 정밀한 Likert scale이 필요합니다.
이처럼 알고자 하는 응답자의 심리 상태의 밀도에 따라 몇 단계 리커트 척도를 사용할지 결정해야 합니다.
필요에 따라 3단계로 해석이 가능함https://www.ssacstat.com/base/cs/cs_05.php?com_board_basic=read_form&com_board_idx=92&topmenu=5
6. "Likert scale의 단계 간 심리적 거리 (Psychological distance)가 다르다는 것을 알고 사용할 것."
5단계 스케일이 "매우 그렇지 않다-1점", "그렇지 않다-2점", "잘 모르겠다-3점", "그렇다-4점", "매우 그렇다-5점"으로 설계되어 있을 때, 각 점수 간의 수학적 거리는 1이지만, 심리적 거리는 그렇지 않습니다.
응답자가 마음을 바꿔 3점에서 4점으로 옮기는 것보다, 4점에서 5점으로 옮길 때 더 강한 심리적 변화가 필요합니다. 심리적 거리가 더 멀다고 표현합니다.
특히 10단계 만족도 설문의 경우, 8 내지 9점으로 만족도를 표현한 사람이, 10점으로 마음을 바꾸기는 매우 어렵습니다.
통증 환자의 경우 0단계 no pain이나 10단계 참을 수 없는 통증이라고 답하는 경우는 흔치 않음https://www.mentimeter.com/blog/meetings/likert-scale-definition-and-how-to-use-it
7. "나쁜 데이터를 걸러내는 장치가 있나?"
설계자가 의도적으로 같은 내용을 여러 번 다른 문장으로 물어보고, 일관된 응답을 하는 지를 봅니다.
또 다른 방법은 긍정의 강도를 표시하는 방법을 문항에 따라 큰 숫자를 썼다가, 적은 숫자를 쓰는 방식으로 변화를 줍니다.
이때, 설문을 주의 깊게 읽지 않은 응답자는 내용상 모순되는 응답을 하게 됩니다. 불성실하게 무조건 1점이나 5점으로 응답한 사람도 걸러낼 수 있습니다.
이런 함정 질문은 응답자를 불편하게 만들 수도 있기 때문에, 불성실 응답자를 걸러낼 필요가 있을 때 사용합니다.
8. "설문이 전체적으로 신뢰할 만(reliable)한가?"
신뢰도가 높다는 것은 같은 내용의 질문에 대해 일관되게 대답을 한다는 의미입니다. 이를 통계적으로 확인하는 방법이 있습니다.
크론바흐 알파 (Chronbach's alpha) 값입니다. SPSS를 사용해 구할 수 있습니다. 0.9 이상이면 아주 높은 신뢰도이고 , 0.6 이하이면 질문이 모호하거나 응답자가 대충 답했을 가능성이 높습니다.
데이터가 신뢰할 만 한지를 알려주는 값https://statistics4everyone.blogspot.com/2016/02/cronbach.html
설문은 누구나 만들어서 할 수 있습니다. 그러나 설문의 문항을 결정하고 문장을 만들고, 조사하고, 분석하는 과정에서 국어적, 통계적 문법을 반드시 지켜야 합니다. 그래야 의미 있는 결과를 얻을 수 있습니다.
좋은 설문지를 만들려면, 서비스와 제품의 사회심리적 의미의 미분, 그에 따른 설문 문항과 문장의 선택, 현장 또는 온라인 조사 방법의 적합성, 꼼꼼한 데이터 전처리, 통계 패키지의 적절한 사용, 최종적인 Data driven insight가 있어야 설문의 가치가 극대화됩니다.
이제는 UX 디자인도 데이터를 기반으로 합니다.
