[Evaluation] 교육을 잘했다는 것은 뭘까?

교육 평가 및 효과 측정

드디어 ADDIE Model의 마지막 단계인 Evaluation...이라고 말하고 싶으나 사실 Evaluation은 끝이 아니라 Analysis의 시작이기도 합니다. 교육과정의 개발 프로세스를 편의상 선형적으로 도식화하지만 조직에 따라서는 순환적으로 표현하는 경우도 있고 나선형으로 표현하기도 하거든요. 쉽게 말해서 달리기처럼 앞으로만 쭉 달리는 방식은 아니라는 것이지요. 앞으로 가다가 살짝 다시 뒤로 가기도 하고, 다 뛴 줄 알았지만 다시 출발점에서 시작해야 하기도 합니다.

1. Evaluation 개요

Evaluation은 교육과정을 실시한 이후에 교육과정이 얼마나 효과적이었는지를 평가하고, 과정 개선에 대한 의사결정을 하는 단계입니다. Evaluation의 첫 질문은 "무엇을 교육의 성과로 볼 것인가?" "교육의 효과는 무엇이라고 볼 수 있는가?"입니다. 강의를 할 때 이 질문을 해 보면 대부분의 수강생들이 쉽게 답을 하지 못합니다. 질문을 바꾸어서 "여러분은 업무평가를 어떤 지표로 받으시나요? KPI가 뭔가요?'라고 물어보면 그제야 몇몇 분이 '교육 만족도'라고 답을 합니다. 그렇다면 교육만족도가 잘 나오면 교육이 효과적이었다고 볼 수 있는 것일까요? 이제 그 답을 찾아 여행을 떠나보겠습니다.

2. Evaluation에서 주로 하는 일

교육평가에 있어서 가장 널리 활용되는 모델이 Kirkpatrick의 4 수준 평가 모델이지요. 오래된 모델이지만 복잡하지 않고 교육과정의 다양한 측면을 평가할 수 있기 때문에 기업 내에서 가장 널리 활용되는 모델입니다. Evaluation 단계에서 주로 하는 일을 Kirkpatrick의 4 수준 평가모델을 기반으로 설명드리면 Level1(Reaction) 평가, Level2(Learning) 평가, Level3(Behavior) 평가, Level4(Result) 평가라고 설명할 수 있습니다. 이 모든 평가를 모든 교육과정에서 실시해야 하는 것은 아니고요, Design 단계에서 결정한 교육목표를 참고해서 어느 수준까지를 평가할지 결정하면 됩니다. 4 수준 모델에 대해서는 다음 글에서 조금 더 자세히 다루도록 하겠습니다.

수준별 평가와는 다른 차원에서 Pilot Course 후 교육과정의 이해관계자와 함께 교육과정 평가를 위한 Wrap-up 미팅을 하는 것을 추천드립니다. 여기에서 이해관계자란 누구일까요? Pilot Course에서 강의를 했던 강사들, 그리고 신규과정의 첫 차수를 모니터링했던 교육 담당자 자신입니다. 꽤 많은 교육 담당자들이 강사들에게 의견을 묻지 않고 심지어 자신의 생각도 정리하지 않은 채 오로지 수강생들의 만족도 결과나 시험점수만을 가지고 개선점을 찾으려고 합니다. 그러나 수강생들의 반응이 좋았다 하더라도 교육담당자나 강사에게만 보이는 문제들이 있을 수 있고, 수강생들이 불만을 표현했다고 해도 반드시 밀어붙여야 것도 있을 수 있다는 것을 기억해 주세요.

3. Evaluation의 결과물

Evaluation 단계의 결과물은 과정 개선이 필요한지 아닌지 또 개선을 한다면 어디를 얼마나 개선을 해야 할지에 대한 의사결정입니다. 그리고 과정개선 계획을 담은 보고서도 나오게 됩니다. 현업에서 일을 하다 보면 평가가 좋은 교육인데도 자꾸 손을 대서 바꾸는 경우가 있는데요, 말은 개선이라고는 하지만 실제로는 개악인 경우도 꽤 있더군요. 뭐라도 하지 않으면 일을 안 하고 있는 것처럼 보일까 봐 멀쩡한 과정을 자꾸 만지는 것이 아닌가 싶기도 합니다. 그런 모습을 볼 때면 “어떨 때 개선을 해야 하는가”에 대해 HRD 내에서 기준을 정해두는 것도 필요하지 않나 생각이 들기도 해요. 예를 들어 만족도가 일정기준이 안될 경우에만 별도 관리해서 개선안을 보고하도록 하는 방식 등이 가능할 것 같습니다.