[Evaluation] Level 1 평가
반응도, 만족도 평가
1. 목적
교육과정에 대한 수강생의 반응, 만족 정도에 대한 평가입니다. 수강생이 교육과정에 대해 어떻게 느끼는지를 파악하는 것이지요. 만족도 설문서를 잘 만들어서 활용하면 교육과정의 개선점을 찾기 위한 기초 데이터를 얻을 수 있지만 궁극적인 교육효과와 성과를 입증하기에는 한계가 있습니다. 만족도 결과를 HRD 조직의 성과지표로 정리해서 경영진에 보고를 했을 때 '만족도 수치가 무슨 의미가 있느냐''작년에 4.3이었다가 올해 4.5가 되었다고 하는데 0.2 상승한 것이 어떤 의미인 것이냐' 등의 Challenge를 받는 경우도 종종 있습니다.
2. 평가 도구(주로 설문)
Level 1 평가를 할 때에는 주로 설문을 활용합니다. 교육만족도 설문을 구성할 때 무엇을 물어봐야 할지 고민하는 분들이 가끔 계시는데요. 만족도 설문 구성의 기본 방향성은 Analysis, Design, Development의 각 단계별로 했던 일들이 의도에 따라 잘 실행되어 효과가 있었는지를 확인하는 것을 염두에 두고 구성하는 것이 가장 좋습니다. 설문문항을 구성할 때 Analysis, Design, Development의 Framework을 기반으로 각 단계별 세부 항목에 대한 문항을 개발해서 구성하게 되면 어떤 부분에서 교육과정의 개선이 필요한지가 비교적 명확하게 드러나게 되는 것이지요.
최근에는 만족도 설문 안에 'NPS(Net Promoter Score)'를 포함시키는 경우도 많지요. NPS는 수강생들이 교육과정을 추천할 의향이 있는지를 측정하는 지표인데요, 추천 응답비율에서 비추천 응답비율을 빼는 방식으로 산출됩니다. 예를 들어 '본 교육과정을 다른 사람에게 추천하겠습니까?'라는 문항에 Yes 응답비율이 60%, No 응답비율이 20%라면 NPS는 40%입니다. 혹은 동일한 질문에 대해 Y/N 가 아니라 10점 척도로 물어볼 경우 0~6(비추천), 7~8(중립), 9~10(추천)으로 정의하여 9~10점 응답비율에서 0~6점 응답비율을 빼는 방식으로 산출하기도 합니다.
Level 1 평가는 주로 설문이라는 도구를 활용하지만 설문 이외에 '관찰' 즉 '모니터링'도 병행되어야 보다 정확한 분석과 판단이 가능합니다. 교육이 시작될 때 강사소개만 마치고 바로 사무실로 돌아가 일하다가 교육이 끝날 때쯤 와서 마무리 멘트만 하는 방식으로 교육을 운영하면 만족도 결과에서 이상징후가 나타났을 때 그 원인을 제대로 해석하기 어렵기 때문입니다.
3. 평가 실행
교육과정이 끝나간다 싶으면 수강생들은 재빨리 짐을 싸기 시작하지요. 마음은 이미 집에 가 있는 것입니다. 그 상태 그대로 설문을 실시하게 되면 대충대충 작성할 가능성이 매우 높겠지요. 그래서 분위기를 차분하게 정리한 다음 수강생들을 마지막까지 집중시킨 다음에 설문을 실시하는 것이 중요합니다.
과목별 만족도 평가는 과목 종료 직후, 교육과정 전체에 대한 종합 만족도 평가는 교육 종료 직후에 실시해야 합니다. 설문을 미리 배포하거나 시간이 지난 후에 실시하면 결과가 부정확할 수 있습니다. 또한 작성에 필요한 충분한 시간을 제공해야 합니다. 개인마다 작성에 시간 차가 있을 수 있으니 빨리 작성한 사람은 조용히 기다려 줄 것을 당부하여 차분한 분위기가 어수선해지지 않도록 유의합니다.
마지막으로 간혹 만족도 설문 작성 중 교육담당자가 강의장을 왔다 갔다 하는 경우가 있는데요, 그럴 경우 의도와 상관없이 수강생들이 부담을 느껴서 설문 응답에 방해를 받거나 솔직하게 작성하기 어려워하는 경우가 있을 수 있습니다. 담당자는 설문 작성에 대해 안내한 후 조용히 제 자리에서 자기 할 일 하며 기다리는 것이 좋습니다.
모바일로 설문을 받는 경우에도 위에 나열된 원칙은 동일하게 적용됩니다.
4. 결과 분석
설문을 통해 데이터가 수집되면 어떻게 분석하시나요? 보통 '평균'은 기본적으로 분석하실 텐데요, '평균'으로 부족하다 싶을 때에는 '표준편차'까지 산출하기도 합니다. 또한 '긍정응답률'을 산출하기도 하는데요 예를 들어 5점 척도의 경우 4, 5점 응답비율을 구한다거나 5점 응답비율을 산출한다거나 하는 방식입니다.
만족도 설문 결과가 나왔을 때 보다 심층적인 분석을 하고자 할 경우 다른 종류의 평가결과 데이터와의 상관관계 등을 분석할 수도 있습니다. 예를 들어 만족도 설문 결과와 NPS의 상관관계, 만족도 설문결과와 현업적용도의 상관관계 등을 분석해 볼 수 있는 것이지요. 엑셀에서 쉽게 분석가능하니 한번 도전해 보셔도 좋을 것 같습니다.
