[Evaluation] Level 3, 4 평가
현업적용도, 경영성과기여도 평가
교육담당자 입장에서 생각해 보면 Level 3, 4 평가는 업무 로드가 많이 걸리고 또 전문성이 요구되는 부분도 있어서 쉽게 도전하기 못하는 부담스러운 평가입니다. 그렇지만 Level 3 이상의 평가를 해 보면 Level 1, 2 평가에서는 발견하지 못했던 새로운 과정 개선점이 도출될 뿐 아니라 교육담당자의 시야가 확 넓어지는 것을 경험할 수 있습니다.
Level 1, 2 평가는 Classroom 안에서 이루어지기 때문에 교육담당자의 머릿속 상상력을 Classroom 안에 머무르게 만듭니다. 반면 Level 3, 4 평가를 위해 현장을 방문하고 수강생들의 이야기를 듣다 보면 내가 개발한 교육과정이 현장에서 어떻게 활용되고 있는지 혹은 왜 활용되지 못하고 있는지를 생생한 목소리로 들을 수 있게 되지요. 이런 경험을 체험한 교육담당자의 사고는 Classroom을 벗어나 수강생들의 업무 현장을 상상하면서 일할 수 있게 됩니다. 이것은 아주 중요한 변화입니다.
1. 목적
교육의 목표가 학습내용의 현업 적용, 행동 변화를 지향하고 있다면 가능하면 Level 3, 4 평가를 실시하여 학습내용이 업무에 적용되어 의미 있는 성과를 도출하고 있는지 확인해야 합니다.
Level 3 평가
교육을 통해 학습된 지식과 기술이 참가자들의 실제 업무에서 어떻게 적용되고 있는지를 확인하여 교육의 실질적인 효과를 검증함으로써 교육 내용, 방법, 또는 조직 차원의 지원 방안에 대한 개선이 필요한 부분을 식별하는 데 도움을 줍니다.
Level 4 평가
교육이 조직의 주요 성과지표(매출, 수익성, 생산성, 품질 개선, 고객 만족도, 비용 절감 등)에 기여했는지를 평가함으로써 교육이 조직의 장기적 성과와 경쟁력 강화에 얼마나 기여했는지를 확인하는 데에 도움을 줍니다.
2. 평가 도구
Level 3, 4 평가(공통)
설문: 교육 후 일정 기간이 지난 후, 수강생 및 그들의 상사나 동료를 대상으로 설문을 통해 학습자들의 행동 변화, 학습내용의 업무 적용 여부를 파악합니다.
인터뷰: 수강생과의 개별 인터뷰를 통해 교육 내용을 업무에 어떻게 적용하고 있는지, 적용의 장애 요소는 무엇인지 등을 심도 있게 파악합니다.
Level 4 평가
성과 지표 분석: 조직의 주요 성과 지표(KPIs)를 분석하여 교육 전후의 변화를 파악합니다. 예를 들어, 매출 증가, 비용 절감, 생산성 향상, 품질 개선, 직무만족도 향상 등이 있을 수 있습니다.
ROI 계산: 교육으로 인해 발생한 이익을 측정하고, 교육 비용과 비교하여 투자 대비 수익(Return on Investment, ROI)을 산출합니다.
3. 평가 실행 및 분석
평가시기
Level 3, 4 평가는 교육이 끝나고 2~3개월 지난 시점에 실시하는 것이 일반적입니다. 교육 이수 후 평가까지의 기간이 너무 짧으면 학습내용을 적용할 기회가 충분히 주어지지 않을 수 있고, 너무 길면 학습했던 내용에 대한 기억이 흐릿해지면서 교육 외 다른 요인이 개입된 데이터가 수집될 수 있음에 유의해야 하지요. 교육과정의 설계방향 상 교육 후 최소한 이 정도의 시간이 지나는 동안에는 변화된 행동을 보여주기를 기대하는 시점임과 동시에 '학습내용을 적용할 기회가 충분히 주어지면서도 교육내용을 기억이 유지되는' 시점이 언제인가를 고려하면서 평가시기를 결정할 필요가 있습니다.
설문 설계 시 유의사항
설문을 활용하고자 할 때에는 주로 교육과정에서 다루는 역량이나 다루는 학습 콘텐츠 등을 활용해서 문항을 구성합니다. 척도는 보통 5점 척도, 7점 척도 등을 활용합니다. 경우에 따라서는 Likert 척도 아닌 다른 방식의 척도를 활용하기도 하는데 이에 대해서는 다음 아티클에서 'Success Case Method'를 소개하면서 다루어 보겠습니다.
Level 3, 4 평가에서의 설문을 구성할 때에는 한 가지 유의할 것이 있습니다. 선택지에 'N/A(not applicable)'를 반드시 포함시켜야 한다는 것인데요, 교육 후 3개월이 지났어도 적용할 기회가 없었거나 전혀 적용하지 않았을 수도 있기 때문입니다. 당연한 이야기지만 'N/A' 응답률이 높은 것은 부정적인 신호겠지요.
결과를 분석할 때에는 평균값보다는 긍정응답률을 분석하는 경우가 많습니다. 5점 척도의 겨우 4, 5 점 응답 비율, 7점 척도의 경우 6, 7점 응답 지율 등을 구하는 것이지요.
Level 4 평가 유의사항
평가를 실행하기 전 교육의 목표와 연관된 조직 성과 지표(KPIs) 혹은 교육의 성과목표를 미리 정의하고, 교육 후 기대되는 결과를 명확히 설정해 두어야 합니다.
학습내용과 성과 간의 인과 관계를 파악하는 것이 가장 중요합니다. 교육 이외의 요인(시장 변화, 경쟁 상황 등)이 성과에 영향을 미쳤을 가능성을 고려해야 하는 것이지요. 실제 인터뷰를 해 보면 성과가 있었다 하더라도 그것이 교육내용과는 크게 관련 없는 경우도 있습니다.
4. Level 3, 4 평가의 어려움
대부분의 교육 담당자는 일단 교육과정이 끝나고 만족도 결과를 정리해서 결과보고를 하고 나면 일이 끝났다고 인식합니다. 그런데 Level 3, 4 평가를 한다면 교육과정이 끝난 후에도 계속 미완성의 과제가 남아 있는 심리적 부담이 있을 수 있습니다. 실제 업무상으로도 로드가 걸리지만 심리적으로도 일이 계속 남아 있어서 부담이 된다는 것이지요.
조직 성과는 교육 외에도 다양한 요인(경쟁 환경, 경제 상황, 내부 정책 변화 등)의 영향을 받기 때문에, 교육만의 효과를 정확히 분리해 내기 어렵습니다. 교육과 성과 간의 인과관계를 명확히 확인하기 위해서는 숙련된 인터뷰 스킬이 필요합니다. 이 부분은 뒤에 이어서 다시 설명드리겠습니다.
