[Analysis] 서베이 진행방법
온라인 서베이 기준
Analysis를 위한 활동에는 문헌분석, 벤치마킹, 인터뷰, 서베이 등이 있다고 앞서 말씀드렸었는데요, 인터뷰에 이어 서베이에 대한 이야기를 해 보려고 합니다. 현업에서 교육업무 하시는 분들은 인터뷰보다는 서베이를 할 기회가 조금 더 많지 않을까 싶어요. 아무래도 인터뷰에 비하면 시간과 노력이 덜 투입되기 때문인 것 같은데요, 그럼에도 불구하고 인터뷰에 비해 서베이를 어려워하시는 분들이 생각보다 많더군요. 인터뷰는 대충 말로 때우면(?) 되는데 서베이는 문서의 형태로 많은 인원에게 배포되어야 하니 신경이 쓰여서 그런 것일까요?
신입 교육담당자 시절 부장님으로부터 임원 대상 서베이를 만들라는 과제를 받은 적이 있습니다. 한 번도 그런 것을 만들어 본 적이 없었지만 나름대로 서베이를 만들어서 부장님께 보여드렸는데 바로 퇴짜를 맞았지요. 어디를 어떻게 고치라는 것인지 제대로 피드백을 안해 주셨기 때문에 혼자 고심해서 수정한 후 또 보고를 드렸습니다. 다시 또 퇴짜를 맞았습니다. 결과적으로 무려 7번 퇴짜를 맞았고 그때의 서러움이 아직도 뚜렷하게 기억이 납니다. 8번째 도전해서 통과되었을 때 성취감을 느꼈냐고요? 전혀요! 그저 빨리 그 일을 내 손에서 떠나보내고 싶다는 생각만 간절했습니다.
저 같은 분들이 없기를 바라면서 도움드리고 싶은 마음은 굴뚝 같지만 서베이 작성법은 인터뷰처럼 꼼꼼히 알려 드리기 어려울 것 같다는 것을 미리 고백드립니다. 워낙 케바케(케이스 바이 케이스)이기도 하고 교육과정 개발을 위한 정형화, 표준화된 서베이 모형도 찾기 어렵거든요. 사례가 있다 하더라도 교육과정개발의 상황 맥락이 다양하기 때문에 약간의 참고는 되겠지만 그대로 활용하기는 쉽지 않은 경우가 많습니다.
그래도 일단 최선을 다 해 보겠습니다. 우선 오늘은 서베이를 진행하는 순서에 대한 기본 내용부터 설명드릴까 해요. 다소 뻔한 이야기일 수도 있지만 머릿속을 한번 정리하는 차원에서 참고하시면 좋을 것 같습니다. 읽다 보면 가끔 이건 몰랐네! 싶은 것도 발견할 수 있을 거에요.
1. 서베이 준비
목적 명확화
모든 일을 시작할 때 가장 먼저 해야 하는 것이 "목적"을 정의하는 것입니다. 인터뷰와 마찬가지로 서베이를 왜 하고자 하는지 실시 목적을 명확히 할 필요가 있습니다.
무엇을 얻고자 하는지, 어떤 정보를 수집하고자 하는지를 잘 생각해야 합니다. 불명확한 상태로 시작하면 서베이 결과가 나왔을 때 "내가 이런 질문을 왜 했었지?" 하며 후회하면서 데이터를 버리게 되는 경우가 종종 생깁니다.
서베이 대상자 선정
서베이 목적에 맞는 최적의 서베이 대상자를 선정합니다.
대상자 그룹은 한 그룹일 수도 있고 2개 이상의 그룹일 수도 있습니다. 대상자 군에 따라 질문 내용과 방법이 달라질 수도 있고요.
예를 들어 신입사원 입문과정 개선을 위한 서베이를 한다면 아래와 같이 목적별 대상자를 선정할 수 있습니다.
1번 대상자 군 : 지난해 신입사원 입문과정 이수자 전원(기존 교육과정의 장단점 분석을 위함)
2번 대상자 군 : 지난해 신입사원 입문과정 이수자의 상사 전원(신입사원의 조직적응 이슈와 교육 필요점 확인을 위함)
※ 2번 대상자 군은 인원을 줄여서 서베이가 아니라 FGI를 실시할 수도 있습니다.
질문 구성
질문은 명확하고 이해하기 쉬워야 하며, 응답자들이 솔직하게 의견을 표현할 수 있도록 도움이 되어야 합니다.
객관식, 주관식, 척도형 등 다양한 유형의 질문을 활용할 수 있습니다. 다만, 너무 유형을 다양화하면 응답자들이 불필요한 노력(문항의 응답 방식에 익숙해지기 위한 노력)을 해야 해서 피로도가 높아지므로 유의해야 합니다.
너무 많은 질문을 만들면 응답시간이 길어져서 응답률이 떨어질 수 있습니다. 최소한의 질문으로 원하는 결과를 얻을 수 있도록 밸런스를 조절해야 합니다. (응답시간이 10분을 넘지 않도록 하는 것이 가장 좋습니다)
메인 질문 이외에 결과 분석 시 구분자로 활용되는 응답자 정보 항목을 결정합니다. 예를 들어 직급, 담당업무, 담당업무 수행 기간, 입사 형태, 근무장소 등에 대해 물어볼 수 있습니다. 또한 선수지식 수준 등을 확인하게 되면 추후 Design 단계에서 난이도 조정에 참고할 수 있습니다.
질문 문항을 개발할 때, 그리고 선택지에 대한 설명을 기술할 때 부정적인 내용도 솔직하게 응답할 수 있도록 유의해야 합니다. 예를 들어 선택지에 "전혀 모른다"가 있으면 실제 모르더라도 자존심 상 체크하기가 꺼려집니다. 이럴 때 "공부할 기회가 없었다" 등으로 살짝 수정하면 모르는 게 내 탓이 아닌 것 같아서 솔직한 응답을 유도할 수 있습니다.
질문 순서 결정
질문이 어느 정도 결정되면 질문의 순서를 결정합니다.
질문의 순서는 논리적인 흐름을 가져야 합니다. 선행 질문에 대한 응답을 바탕으로 이후의 질문을 조절하여 설계해야 응답하기 쉽고 유용한 정보를 얻을 수 있기 때문입니다.
서베이 완성 및 테스트
사내에 설문 시스템이 있으면 사내 시스템을 활용하시고 그렇지 않은 경우에는 구글폼이나 네이버폼 등을 이용하면 편리합니다. 구글폼과 네이버폼은 각각 장단점이 다르므로 잘 알아본 후 선택해야 합니다. 간혹 원하는 설문 디자인을 지원하지 않는 경우도 있기 때문에 미리 확인하는 것이 좋습니다.
작성한 서베이를 최소 1명 이상의 테스트 대상자에게 시험해 보고 피드백을 받은 후 수정합니다.
온라인 서베이의 경우 배포 후에도 수정할 수는 있지만 수정 전 응답 데이터와 수정 후 응답 데이터가 섞일 경우 데이터가 오염되는 문제가 생길 수 있으니 유의해야 합니다.
2. 서베이 실행
서베이 배포 및 수집
이메일, 모바일 등의 수단을 활용하여 설문 링크를 발송합니다.
응답률 향상
서베이 진행 기간은 1주일 정도가 일반적인데, 배포 후에는 적당한 간격을 두고 서베이 재발송과 더불어 독려활동을 이어가야 응답률이 올라갑니다.
응답률은 서베이 대상인원에 따라 목표치가 달라지지만 보통 50%는 넘겨야 설득력이 확보됩니다.
무기명 응답의 경우 서베이 재발송을 하면 이미 응답한 대상자에게도 서베이가 다시 발송됩니다.(누가 응답했고 누가 응답을 안했는지 알 수 없기 때문) 이에 대해 응답자에게 양해를 구해야 할 수도 있습니다.
사전에 유인책을 마련하는 것도 좋은 방법입니다. 예를 들어 응답자 중 몇% 에게 커피 쿠폰을 제공하는 것 등인데, 이런 이벤트를 하려면 응답자의 휴대폰 번호가 확보되어야 하기 때문에 개인정보 활용에 대한 동의를 받아야 하는 번거로움이 동반됩니다.
3. 서베이 결과 정리
데이터 분석 및 해석
수집한 결과를 통계적으로 분석하여 패턴이나 경향성을 파악하고 교육과정 개발에 유의미한 시사점을 정리합니다.
특이점이 발견될 경우 추가적인 인터뷰 등을 통해서 자세한 내용이나 원인, 해결안 등을 파악하기도 합니다.
[참고]
Analysis를 위해 인터뷰와 서베이를 모두 실시하고자 할 경우 어떤 것을 먼저 하고 어떤 것을 나중에 하는 것이 좋을까요? 일반적으로 서베이를 먼저 하고 나서 인터뷰를 하는 경우가 많습니다. 서베이를 통해 경향성을 파악한 후 인터뷰를 통해 이슈에 대한 구체적인 원인을 파악하거나 개선 아이디어를 얻는 것이지요.
사내에서 교육과정 개발을 위한 서베이를 할 때에는 교육참가 대상자 전체에게 발송하는 경우가 일반적이지만 보다 대규모의 전문적인 서베이를 할 때에는 신뢰수준과 표본오차 등을 고려해서 샘플사이즈를 산정해야 합니다.(https://www.nownsurvey.com/calculator/)
