설문조사 문항을 잘 만들기 위한 10가지 팁
모든 것은 좋은 질문으로부터
설문조사는 사용자의 의견을 수렴하는 도구이지, 정해진 결론을 뒷받침하기 위한 도구가 아니다.
결과를 조작하지 않아도 왜곡된 질문 설계만으로도 충분히 왜곡된 결론에 도달할 수 있다.
그래서 더더욱, 설계자에게는 ‘객관성’이라는 윤리가 필요하다.”
‘기타
많은 사람들이 서비스를 기획하기 전에 아이디어 검증을 목적으로 설문조사를 사용하지만, 이전 글에서 적었듯이 '초기 기획 단계에서 서베이가 과연 얼마나 유효할까?'라는 부정적 입장을 가지고 있긴 하다. 대략적인 수요를 가늠하거나 사용자 인식을 확인하는 데는 일정 부분 도움이 되지만, 표면적인 수치만으로는 의도나 맥락, 실제 행동을 충분히 파악하기 어렵기 때문이다.
그럼에도 불구하고, 특정 상황에서는 설문조사가 유용한 도구가 될 수 있다. 특히 명확한 목적과 설계 기준을 갖추었을 때, 설문은 다른 어떤 조사보다 효율이 좋다. 이 글에서는 그런 관점에서, ‘더 의미 있는 설문조사 질문지는 어떻게 만들 수 있을까’에 대해 정리해 보았다.
좋은 서베이 문항 만드는 법
[핵심 원칙]
무엇을 알고 싶은지 명확히 한다.
내가 이 서베이를 통해 무엇을 알고 싶은지가 명확해야 한다. 우리는 보통 데이터를 모아서 인사이트를 얻은 후 문제를 찾으려고 하지만, 의사 결정이 필요한 문제를 먼저 정의하고 그에 맞는 데이터를 수집해야 한다. 그래야 불필요한 질문을 줄여 사용자의 피로도를 줄일 수 있고, 그것이 높은 응답률로 이어진다. 또한 분석하는 포인트와 이후 행동이 명확해진다.
[10가지 팁]
1. 응답자가 답변을 시작하기 전에 설문을 수행하는 배경, 목적을 제시한다.
- 조사 목적 이외에는 설문 내용을 활용하지 않으며, 피해가 가는 일은 없을 것이라는 것도 함께 알린다. 이로써 더욱 편안하고 솔직한 설문 응답이 가능하다.
2. 완결된 문장으로 쉽게 작성한다.
- 친절하고 정확하게 써서 여러번 읽게 만들거나 잘못 이해하는 일이 없도록 해야 한다.
- 이해하기 쉬운 표현을 사용하고, 약어나 어려운 용어를 사용하지 않는다.
- 그리고/와/과 등을 사용하거나 수식어의 위치에 따라 의미가 혼동되지 않도록 주의한다.
3. 응답 방법을 구체적으로 설명한다.
예1) 쓰고 싶지 않은 ‘가장 큰’ 이유는 무엇인가요?
예2) 쓰고 싶지 않은 이유를 골라주세요. *복수 응답 가능/중요한 순서대로 3개 선택
- 조건을 구체적으로 정해야 제대로 된 데이터를 얻을 수 있다.
4. 명확한 기준을 제시한다.
- 자주, 가끔과 같이 받아들이는 사람에 따라 달라질 수 있는 모호한 표현은 지양한다.
예) 커피를 자주 드시나요? X 커피를 일주일에 몇 회 드시나요? O
커피도 카페, 커피믹스, 편의점 등 어떤 커피를 의미하는지 명확히 정의한다.
5. 객관식 문항 설계 시 선택형 답변에 누락이 없도록 정리한다.
- 빠지는 부분이 없는지 꼼꼼히 확인하고, ‘기타’ 항목을 남용하지 않는다. ‘없음’을 사용할 때도 가능하다면 조금 더 구체화해서 쓴다.
6. 순서 효과를 방지한다.
순서 효과란? 문항이나 선택지의 배치 순서가 응답자의 판단이나 선택에 영향을 주는 현상
예) 초두 효과: 앞에 있는 보기가 더 눈에 띄어 선택될 확률이 높음
예) 신기 효과: 마지막에 있는 선택지가 기억에 남아 선택될 확률이 높음
- 비슷한 항목이 계속 나오면 집중력이 떨어지고 무성의한 응답이 나올 수 있다.
- 선택지를 응답자마다 섞어서 보여준다.
7. 설계자의 의도, 가치 판단을 넣지 않는다.
- 답변을 유도하거나 강요하는 표현을 사용하지 않는다.
- 대체안이 포함된 질문과 그렇지 않은 경우 응답이 달라질 수 있음에 유의한다.
- 특정 사실을 가정한 질문은 하지 않는다.
8. 민감한 표현이나 내용 유의
- 의도치 않게 비하하는 표현을 사용하지 않도록 주의한다.
- 응답하기 곤란한 질문은 간접적으로 제시한다.
9. 문항 수 최대한 줄이기
- 문항이 너무 적으면 유의미한 결과를 얻기가 어렵지만, 효율적인 설문 진행을 위해서는 20문항 미만이 적절하다.
10. 인적사항은 설문지 맨 뒤에
- 인적사항은 가능하면 설문지의 맨 마지막에 배치하고 꼭 필요하지 않으면 생략하는 것이 좋다.
이유) 시작과 동시에 개인 정보를 물으면 거부감이나 정보 보안에 대한 불안을 느낄 수 있다. 또한 가장 집중도가 높은 앞쪽에 핵심 질문을 배치해서 양질의 답을 얻는 것이 좋기 때문이다.
[마치며]
모든 설문조사를 통한 데이터 수집이 완벽할 수 없고, 어느정도 편향이 생기게 마련이다. 그렇기에 더더욱 질문 하나에도 의도가 아닌 객관적인 물음을 담으려고 노력해야 한다. 데이터의 함정에 빠져 너무 멀리 가버리는 일이 생기지 않도록 좋은 질문을 던지자.
