[Evaluation] 교육의 성공사례 찾기
Success Case Method
SCM(Success Case Method, 이하 SCM)은 Robert Brinkerhoff 박사가 해군 장교로 복무하던 시절부터 교육평가에 대해 연구하여 고안한 교육효과 측정기법입니다. 1996년 그 방법과 적용결과를 학계에 발표하면서 크게 주목을 받게 되었지요.
1. SCM의 전제
SCM에는 두 가지 기본 전제가 있습니다. 이 전제에 동의가 되지 않으면 SCM은 잊어버려도 됩니다. 첫 번째 전제는 일명 Pareto의 법칙 (2:8의 법칙)에 의거하여 20%의 성취로 교육과정의 정당성을 확보할 수 있다는 것입니다. 두 번째 전제는 대부분의 경영층은 평균적인 교육 성과나 정량적인 수치보다는 소수정예 교육참가자의 특출 난 성공사례(Success Case)에 보다 감동을 받는다는 것입니다. 두 가지 전제를 한마디로 정리한다면 SCM에서는 평균(Average)이 아니라 효과성(Impact)을 중시하는 것이라고 볼 수 있습니다.
예를 들어 10만 원의 교육비가 들어가는 교육을 10명의 수강생이 수강했고, 총 10개의 콘텐츠를 학습했다고 가정해 봅시다. 통상 우리는 10명의 수강생 모두가 10개의 콘텐츠를 현장에서 골고루 적용하고 활용하기를 기대하면서 효과를 분석하는 경향이 있지요. 그렇지만 SCM에서는 효과를 바라보는 과점이 Impact이기 때문에 10명의 수강생 중 단 한 사람이, 단 하나의 콘텐츠를 업무에 적용해서 120만 원의 성과를 냈다면 그 교육은 의미와 가치가 있는 교육이라고 봅니다. 평균으로 보지 않고 Impact를 중시한다는 개념이 이해가 되시는지요? 그리고 동의가 되시는지요?
교육담당자에게 매력적으로 보이더라도 임원 분들 중에는 Impact 도 중요하지만 평균도 중요하다고 생각하는 경우도 있을 수 있습니다. 또 금전적인 환산에 관심이 많은 임원도 있을 수 있습니다. 따라서 SCM과 같은 Level 3 이상의 교육효과 측정을 하고자 할 때에는 실행에 앞서서 반드시 측정기법의 전제, 평가기준, 프로세스 등에 대해 경영층과 합의한 후에 실행하는 것이 좋습니다. 무엇보다도 우리가 하는 일을 우리 스스로 평가하는 경우 결과에 대해 객관성, 신뢰성에 도전받기가 쉽다는 것을 기억해 주세요.(외부 전문업체에 평가를 맡기면 속이 편하겠지만 우리나라에서는 아직까지는 교육평가를 아웃소싱하는 경우는 많지 않은 것 같습니다)
2. SCM의 진행 프로세스
SCM의 진행 프로세스는 아래 그림과 같습니다. 여기서 가장 중요한 것은 SCM의 결과물인데요, 그림에서 보시다시피 SCM의 결과물은 'Success Case' 즉 교육을 통해 이루어낸 업무성과에 대한 '성공사례'입니다. 즉, SCM의 결과물은 정성적입니다.
각 단계별 세부 내용을 살펴보면…
① 준비 : 평가계획 수립
SCM은 교육을 통해 학습한 내용이 현장에서 적용/활용되어 업무성과 창출에 기여하고 있는지를 확인하는 교육효과 측정기법입니다. 혹자는 “학습 후 바로 활용하지 못할 교육은 의미 없다”는 말도 하지만, 기업교육 현장의 상황을 보면 바로 활용할 수 있는 내용만을 교육하고 있지는 않지요. 때로는 장기적 관점에서 핵심인재를 육성하기 위한 교육도 하고, 갓 들어온 신입사원들에게 회사에 대한 소속감을 제고하거나 업무수행을 위한 마인드를 교육하기도 합니다.
SCM은 통상 교육 후 3개월에서 12개월 안에 실시하는 것이 적당하기 때문에, 가급적 해당 기간 안에 업무활용이 가능하고 업무성과 창출 여부를 확인할 수 있는 내용을 가르치는 교육과정을 선정하여 실시하는 것이 좋습니다. 또한, Robert Brinkerhoff 박사는 SCM이 Easy 하고 Simple하다고 주장하지만 교육담당자 입장에서는 추가적인 시간과 노력을 투자해야 하는 일인 것을 부정할 수 없어요. 그러니 회사 차원에서 전략적으로 중요한 교육과정에 대해 우선적으로 실시하는 것이 좋습니다.
② Impact Model 작성
SCM 전체를 통틀어 가장 Powerful 한 도구를 꼽으라면 과정개발 전체 프로세스 중 Design 단계에서 작성하는 Impact Model입니다. Impact Model 그 자체는 매우 단순한 양식이지만, 자신이 담당하는 교육과정이 회사가 추구하는 여러 가지 경영성과 중 어떤 성과에 Align 되는지에 대해 고민할 수 있도록 도와주는 역할을 하기 때문입니다. 또한 과정설계(Design)와 과정평가(Evaluation)를 효과적으로 연결시킴으로써, 교육과정의 개발과 실행, 평가의 프로세스를 선순환 구조로 이끌어 주는 역할을 합니다.
③ 서베이
SCM에서 서베이의 의미는 이후 실시하게 될 인터뷰의 대상자를 효과적으로 선정하기 위함이라 할 수 있습니다. 교육 수강생을 Random 하게 아무나 선정하여 인터뷰를 하는 것보다는 사전 서베이를 통해 Success Case를 보유하고 있을 가능성이 높은 사람을 선정하여 인터뷰를 하는 것이지요.
서베이는 크게 2개 Part로 구분됩니다. Part 1은 Impact Model에서 기술한 Critical Action을 질문항목으로 하여 이에 대해 활용했는지, 안 했는지, 활용했다면 성과가 있었는지 없었는지를 묻는 내용입니다. Part 2는 단일 질문항목으로서 교육과정 이수 후 현업활용 상황에 대한 전반적인 느낌을 물어봅니다.
서베이 결과 Part 2에서 1을 체크한 응답자 중 Part 1의 항목에 1개라도 1을 체크한 응답자가 우선적으로 인터뷰 대상자, 즉 Success Case 후보가 됩니다. 전반적인 느낌과 함께 학습콘텐츠 중 하나라도 제대로 적용해서 의미 있는 성과를 도출한 수강생을 찾아내고자 하는 것이지요. 평균이 아닌 Imapct의 관점입니다.
참고로, SCM은 교육을 통한 Success Case를 찾는 것이 궁극적인 목표이지만, 서베이를 실시하기 때문에 정량데이터 분석도 얼마든지 가능합니다. 예를 들어 서베이 결과 중 실행했고 성과가 창출되었다는 응답의 비중을 따로 분석할 수도 있고, 성과 창출과 무관하게 실행한 경우의 응답 비중을 분석해서 시사점을 찾아내는 것도 가능합니다.
④ 인터뷰
SCM 인터뷰에서 가장 중요한 것은 '학습콘텐츠와 성과 간의 인과간계'입니다. 인과관계 확인을 위해 Interviewer는 간혹 Interviewee가 느끼기에 다소 도전적일 수도 있는 질문을 던지기도 하지요. 예를 들면 “지금 말씀하신 성과는 집합교육이 아니라 OJT를 통해서도 충분히 도출할 수 있는 성과가 아니었을까요?” “지금 말씀하신 그 성과가 000님의 업무에서 중요한 이유는 무엇인가요?””지금 말씀하신 성과에 교육이 영향을 미친 정도를 %로 나타낸다면 몇% 나 된다고 생각하시나요?” 와 같은 질문들을 합니다.
SCM의 전제나 특징에 대해 충분히 이해하지 못한 상태에서 인터뷰를 하면 "교육이 도움이 되었나요?""어떤 부분이 도움이 되었나요?"와 같은 질문을 하기 쉬운데, 그런 질문은 SCM에서는 적절하지 않습니다. "도움이 되었다"와 같은 애매한 답을 얻기 위해서 인터뷰를 하는 것이 아니라 구체적으로 "학습 내용 중 무엇을 어떻게 적용해서 어떤 성과가 도출되었는지"를 명확하고도 구체적으로 확인할 수 있는 인터뷰를 해야 합니다.
⑤ 검증
인터뷰를 진행하다 보면 인터뷰 중간에 Success Case에 대한 확신이 들기도 하고, 인과관계가 불분명하거나 성과가 미미하여 Non Success Case로 판단이 되기도 합니다. 만약 Success Case라는 확신이 생긴다면 인터뷰 말미에 Interviewee에게 요청하여 인터뷰 내용에 대해 검증해 줄 수 있는 이해관계자를 1~2명 추천받습니다.
그리고 인터뷰를 마친 후 인터뷰 내용을 일목요연하게 정리한 다음, 추천받은 이해관계자에게 Interviewer의 인터뷰 내용(업무성과)이 사실인지, 교육 전후 어떤 변화가 있었는지 등을 확인하는데, 이때 확인하는 방법은 전화인터뷰나 지면(이메일) 인터뷰 모두 가능하지만, 필자의 경험으로는 지면(이메일) 인터뷰가 보다 객관적이었습니다. 지면으로 검증을 했을 때에는 전화인터뷰에 비해 인터뷰어의 인터뷰 내용에 대해 동의하지 않는다는 답을 받는 경우가 조금 더 많았거든요.
⑥ 성공 판정 및 보고서 작성
서베이, 인터뷰, 이해관계자 검증까지 모두 완료되면 최종적으로 해당 Case가 Success Case인지 아닌지를 판단합니다. 이때 성공 여부의 결정기준은 바로 Impact Model에 작성한 'Business Result'에 해당되는지를 확인하는 것입니다. 인터뷰 결과 Impact Model의 Business Result 중 1개 이상에 해당되는 성과를 도출한 것으로 확인되었다면 Success라 할 수 있는 것이지요. 결정된 Success Case를 중심으로 경영층 보고를 위한 보고서를 작성하여 보고하면 모든 공식절차(?)가 종료됩니다.
또한 보고가 끝났다 하더라도 교육담당자 입장에서는 교육과정 개선을 위한 시사점을 확인하는 작업이 필요하겠지요. SCM의 결과를 분석해 보면 교육과정에서 다루는 콘텐츠뿐 아니라 교육과정의 실시 시기, 수강생의 적합성 등 운영 관련 이슈가 도출되는 경우가 많습니다. 예를 들어 필수교육이라서 어쩔 수 없이 교육을 신청했지만 실제 본인 업무와 크게 관련 없는 교육을 수강한 경우 당연히 교육 후 현업 활용도는 저조할 수밖에 없겠지요. 그런데 그런 경우에는 교육과정의 콘텐츠나 교수기법을 수정하는 것은 큰 의미가 없을 것입니다. 해당 교육과정을 진정으로 필요로 하는 사람이 교육과정을 신청해서 수강할 수 있도록 하는 별도의 장치가 필요합니다. 이런 시사점은 단순히 교육만족도를 분석하거나 학습성취도를 측정하는 평가만으로는 확인하기 어려운 시사점입니다.
3. SCM의 활용과 효과
SCM을 통해 도출된 Success Case는 경영층 보고만 하고 내팽개쳐 지기에는 너무 아깝습니다. Case를 조금 손봐서 ‘교육용 사례’로 개발하여 교육과정에서 활용하거나 인터뷰 시 실제 성과를 도출한 수강생을 ‘사내강사’로 활용하여 Best Practice를 발표하도록 할 수도 있습니다.
그러나 SCM의 가장 큰 효과는 교육담당자들의 변화입니다. 우선 자신이 담당하는 교육이 현장에서 성과로 연결되고 있다는 것을 직접 확인하게 되면 큰 보람을 느끼게 됩니다. 또한 교육의 Finish Line이 Classroom이 아니라 업무 현장까지로 연장되면서 향후 교육과정을 개선하거나 새롭게 개발을 할 때 Classroom에서의 수강생들의 모습뿐 아니라 그들이 학습 후 돌아가서 일하게 될 업무현장의 모습까지 상상하면서 교육과정을 개발하고 개선하게 될 가능성이 높아집니다. 그런 교육담당자가 많아지게 된다면, 그 조직이 제공하는 교육서비스는 경영층이나 이해관계자로부터 “비용을 사용하는 부서”가 아니라 “성과를 창출하기 위한 투자가 필요한 부서”로 인식될 가능성이 높겠지요.
[참고] Non Success Case는 인터뷰 안하나요?
원래 SCM에서는 Non Success Case에 대해서도 인터뷰를 하도록 권장하고 있습니다. 혹시 SCM을 하고자 하는 분들이 계시다면 참고해 주시기 바랍니다. 다만, 필자의 경험으로는 학습 후 적용이 안되거나 적용했어도 성과가 나지 않았던 원인은 예상을 벗어나지 않았습니다. 그렇기 때문에 Success Case만 초점을 맞추어 진행하는 것도 괜찮다고 생각합니다.
