[Evaluation] Level 2 평가
학습성취도 평가
1. 목적
Level 2는 평가는 수강생들의 학습성취도를 확인함으로써 교육과정이 효과적으로 개발/운영되었는지를 확인하는 평가입니다. 수강생들의 지식, 기술, 태도가 교육 후 얼마나 변화했는지, 교육목표에서 원하는 만큼을 달성했는지를 파악하는 것입니다.
Level 2 평가는 기업 교육보다는 학교 교육에서 보다 중요하게 다루어지는 평가입니다. 학교 교육은 명확하게 과목별, 학기별 달성해야 할 학습목표가 제시되어 있고 이 목표를 달성했는지 확인하기 위해 중간고사, 기말고사등의 평가를 실시하고 있지요. 기업에서 그렇게 할 수 있을까요? 기업교육에서 모든 교육과정에 대해 시험을 실시하게 되면 시험 관리에 너무 많은 업무로드가 쏠리게 되어 보다 중요한 업무에 소홀해질 가능성이 높습니다. 기업교육에서는 Level 2 평가보다는 교육 후 현업에서 얼마나 변화가 있었는지, 교육이 경영성과에 기여했는지에 대해 확인하는 Level 3, 4 평가에 대한 관심이 더 큽니다. 기업에서는 효율성, 실용성을 중시하기 때문입니다.
2. 평가 도구
학습자의 학습 성취도를 확인하는 방법은 크게 두 가지가 있습니다. 교육목표가 지식 습득인 경우에는 보통 지필평가, 즉 시험을 활용합니다. 반면 교육목표가 기술 습득, 행동 변화라면 수행평가를 통해 평가합니다. 실습, Role Play, 과제 수행 등을 하도록 해서 그 결과물을 평가하는 것이지요. 지필평가와 수행평가를 병행해서 실시하는 경우도 많습니다.
지필평가(교육목표가 지식의 습득일 경우)
시험지의 문제에 답안을 작성하고, 답안을 채점해 평가 방법
객관적이며 효율적인 평가 가능
시간과 비용의 절약
선택형 : 진위형(OX 문제), 배합형(짝맞추기 문제), 선다형(객관식)
서답형 : 단답형, 완성형(빈칸 채우기), 논술형
수행평가(교육목표가 기술의 습득, 행동의 변화일 경우)
학습자가 실제 상황에서 경험하게 되는 다소간 복잡한 문제 등을 해결하는 능력에 대한 평가
점검표(Checklist) : 평가항목에 대한 Y/N로 체크하는 방식
평정척도(Rating Scale) : 평가항목에 대해 점수를 부여하는 방식(보통 5점 척도 활용)
평정항목(Rubric) : 평가항목에 수행 수준의 질적 수준을 평가하는 방식(척도별 질적 수준 기술)
포트폴리오(Portfolio) : 다양한 결과물을 포트폴리오 형태로 제출하고 이를 평가하는 방식(주로 장기과정)
3. 평가 실행(지필평가를 중심으로)
평가문항 개발 체크리스트
문항내용과 형식이 평가목적에 일치되도록 작성하였는가?
반드시 알아야 할 중요한 내용을 평가하고 있는가?(지나치게 세부적이고 특수한 지식을 묻는 문항은 없는가?)
두 개 이상의 답지에 공통적으로 존재하는 요소로 인하여 정답의 단서가 되는 것은 없는가?
객관식 문항의 경우 선택지의 매력도가 균등한가? (아무도 선택하지 않을 듯한 이상한, 극단적인 선택지가 포함되어 있지 않은가?)
문항들은 간결하고 명료하게 작성되었는가?
맞춤법 및 띄어쓰기가 정확한가?
평가 전 안내
교육과정 오리엔테이션을 할 때 평가의 목적, 방법 등에 대해 안내하여 수강생들로 하여금 평가를 잘 준비하도록 합니다.
평가의 목적에 따라 평가 안내 강조의 강도를 달리하는 것이 좋습니다. 평가의 목적이 교육과정에 대한 몰입과 동기부여를 위한 평가라면 평가에 지나치게 몰입하지 않도록 적절히 안내하는 것이 좋습니다. 반대로 평가의 결과가 승진급 등에 영향을 미치는 중요한 평가인 경우에는 평가의 내용과 방법에 대해 정확하고 상세하게 안내할 필요가 있습니다.
평가의 실행(지필평가)
시험 시작 직전 시험 시간, 질문이 있을 경우 어떻게 하면 되는지(조용히 제자리에서 손들기 등), 부정행위 시의 처벌방법(0점 처리, 퇴장 등), 시험 마친 후 중간에 나가도 되는지 여부 등에 대해 안내하고 질문을 받습니다.
시험 종료시간을 칠판 등에 기입해 둡니다.
부정행위가 생기지 않도록 성실하게 모니터링하고 질문이 있을 경우 빠르게 응대합니다.
종료 전 적당한 시점에 예령을 합니다. (10분 남았습니다... 5분 남았습니다... 1분 남았습니다...)
시험이 종료를 안내했을 때 갑자기 어수선해지는 경우가 많습니다. 결과지(시험지, 응답지 등)가 회수되기 전까지는 분위기가 흐트러지지 않도록 주의를 기울여야 합니다.
4. 평가결과 분석(지필평가)
평가가 종료되면 채점을 실시하고 개인별 점수를 산출합니다. 수작업으로 채점하든, 기계로 채점하든 혹시라도 잘못된 문제, 잘못된 답이 없는지 확인할 필요가 있습니다.(유난히 정답률이 낮은 문항이 있을 경우 문항 출제자에게 연락하여 확인함). 교육과정이 일회성으로 끝나지 않는 경우(다회차수 운영되는 경우) 문항별 난이도(정답률)와 변별도를 분석하여 문제 Bank를 업데이트합니다.
문항별 난이도 산출
각 문항별로 전체 응답자들 중 몇 %가 정답을 맞혔는지를 계산함(값이 높을수록 쉬운 문항)
문항의 난이도가 너무 높거나 너무 낮은 문항을 수정함
문항의 적정 난이도 : 25% ~ 75%
문항이 너무 쉬운 경우
→ 문항의 난이도를 높임
문항이 너무 어려운 경우
→ 문항의 내용이 과정 중에 다루어진 내용인지를 검토
→ 문항의 난이도를 낮춤
문항별 변별도 산출
각 문항과 총점 간의 상관을 구함(Excel의 “CORREL함수” 활용)(값이 높을수록 좋은 문항)
변별도가 낮은 문항을 수정함(최소한의 변별도 수준: 0.3 이상)
변별도가 ‘- ’인 경우 → 정답이 잘못되었거나 정답이 복수인지를 확인함
변별도가 너무 낮은 경우 --> 문항의 변별도를 높임
→ 문항을 다른 문항으로 대체함
5. 기타: 역량향상도 평가 서베이
지필평가와 수행평가 외에도 제가 가끔 활용하는 방법이 있습니다. 교육과정에서 다루는 역량에 대해 교육 시작 시점과 교육 종료 시점의 개인별 역량보유 수준을 서베이를 통해 확인하는 방법입니다. 비록 Self Check의 한계가 있는 방법이기는 하지만 교육에서 다루고 있는 역량 중 어떤 역량이 특히 많이 향상되고 있는지, 반대로 교육과정에서 다루는 역량에 대해 교육 시작 시점과 교육 종료 시점의 개인별 역량보유 수준을 서베이를 통해 확인하는 방법. 어떤 역량이 향상되지 못하고 있는지 확인하는 데에는 유용합니다.
간혹 설문 결과를 정리하다 보면 교육 후 역량이 교육 전보다 낮은 점수로 기입되어 있는 경우를 뱔견하는데요, 그건 왜 그럴까요? 교육 전에는 '내가 이건 꽤 할 줄 알지~' 생각했다가 교육을 받고 보니 '내가 아는 게 잘못된 것이었구나~' 큰 깨달음을 얻은 경우 그런 데이터가 나오기도 합니다. 물론 단순 기억력 문제인 경우도 있겠지요~^^.
평가결과는 개인별 역량향상도 보다는 역량별 교육 전후 변화 정도에 더 중점을 두고 분석합니다. 교육과정에서 다루는 역량의 중요도, 투입되는 시간 등에 따라 Design 단게에서 의도한 대로 향상이 되었는지 혹은 상대적으로 향상도가 떨어지는 역량은 무엇인지를 파악해서 교육과정 개선점을 찾아냅니다.
