교육상품 개발을 위한 형성 평가
형성평가 (Formative Evaluation) 왜 & 어떻게 하는가
교육상품 개발을 위한 형성 평가 (Formative Evaluation for Educational Product Development), 오늘부터 시작되는 수업명이다. 이 수업은 한 학기 동안 학생들이 직접 교육 프로그램이나 상품의 목표를 파악하고, 이러한 목표를 평가하기 위한 평가 도구를 만들고, 사용자의 행동 관찰 및 데이터를 수집, 분석, 해석하는 과정을 거쳐 완성한 조사 결과를 서면과 구두로 발표하는 과정을 아우른다. 학교가 파트너십을 맺고 있는 10여 개의 기관들 (교육 미디어 기업, NASA, 과학 박물관, 미술 박물관, 학교 등)이 운영하고 있는 교육 프로그램 또는 상품을 학생들이 한 가지씩 골라 한 학기 내내 연구할 수 있다. 프로젝트의 범위는 좁으나 궁극적으로는 교육 관련 평가 전반에 적용할 수 있을 것이다.
수업 정원에 제한을 두고 있어 수강신청을 할 때 1) 왜 이 수업에 흥미를 느끼는지, 2) 이 수업을 통해 얻고자 하는 것은 무엇인지를 구구절절 써서 제출해야 했고, 간절함이 통했는지 기회가 주어졌다. '수업 하나 들으려고 이렇게까지 해야 하나' 하는 생각이 안 들었다면 거짓말이다. 그렇지만 왜 이 수업을 듣고 싶으냐는 질문에 대한 답을 생각하는 동안 자연스럽게 나의 관심사와 부족한 부분을 짚어볼 수 있었고, 학기가 끝날 때쯤 어떤 지식과 경험을 갖추고 싶은지 그려보게 되었다. 정원 제한이 없는 수업들에 대해서도 꼭 한 번쯤 생각해볼 만한 질문들이다.
내가 이 수업을 꼭 듣고 싶었던 이유는 꽤 오랜 시간 해결되지 않은 답답함 때문이다.
교육대학원 진학 전에는 국내 기업교육 회사에서 교육 솔루션 기획 업무를 했고, 그 전에는 외국계 금융회사에서 전략기획 업무를 했다. 교육 솔루션 기획 업무는 기술 (인공지능, 빅데이터 분석, 머신러닝 등등)과 교육 트렌드를 자사 상품 또는 사업에 적용할 수 있는 방법을 찾고, 실제로 신상품 프로토타입 개발까지 참여하는 일이었다. 전략기획 업무는 간단하게 말하면 회사차원의 목표를 달성하기 위한 세부 목표들과, 모니터링할 지표들을 만들고, 주/월/분기별로 그 지표들의 진행 상황을 분석하여 경영진에 보고하는 일이었다. 아주 다른 분야의 아주 다른 일이라고 여길 수도 있겠으나, 나에게는 맥락이 비슷한 일이었다. 솔루션 기획 업무도, 전략기획 업무도 전에 없던 목표를 세우고, 그 목표를 이룰 수 있는 가장 객관적이고 체계적인 방법을 찾고, 그 목표를 실행에 옮기기 위한 시스템을 만드는 일이니까 말이다. 일의 성격만 두고 보면 참으로 분명하고 에너지 넘치나, 문제는 늘 '평가'였다. '이 솔루션이 고객들의 학습 경험을 얼마나, 어떻게 향상했는지 어떻게 평가하지?', '이 지표들이 얼마나 객관적이고 포괄적인지 어떻게 알지?' 이윤창출을 기본으로 하는 기업들은 큰돈을 투자하고 버는 결정을 하는 데에 있어 매우 객관적인 정보만을 바탕으로 할 것 같지만 실상은 그렇지 않았다. 제대로 된 평가 방법과 지표들이 무엇인지에 대한 고민은 주로 '할 엄두를 못 내거나', 아니면 '하다가 막히거나 (어떻게 하는지 몰라서, 그리고 더 바쁜 일들이 치고 들어와서)' 둘 중 하나로 얼버무려지는 경우가 많았다. 새로운 프로젝트를 시작할 때마다, 그리고 새로운 회계연도를 시작할 때마다 이번에는 정말 제대로 된 '평가'를 통해서 개선점을 적시에 찾고, 전략을 수정해나가고, 효과성을 극대화하는 상품을 만들어보자고 다짐했지만 생각처럼 쉽지 않았다. 솔직하게 말하면 평가 자체에 목매지 않아도 시간은 흘렀고, 상품은 만들어졌고, 회계연도는 끝났고, 평가를 해야 하는 시점이 되면 그 상황에서 가능한 수준의 평가를 하면서도 사업이 유지되었으니까, 그 누구도 제대로 된 평가를 위해 한 걸음 더 깊이 들어가 고민하지 않았다고 하는 것이 맞을 것이다.
제대로 된 평가 시스템을 구축하지 않으면 사업의 많은 부분이 그야말로 주먹구구식으로 운영될 수밖에 없다. 오늘의 시행착오는 내일의 가이드가 되어주어야 하는데, 그럴만한 데이터를 축적하는 시스템 역시 구비하지 않게 된다. 지금 당장은 귀찮을 수 있고, 비용이 드는 것이 아까울 수 있다. 그렇지만 이 비용은 필요하다 싶을 때 쓰지 않으면 이내 눈덩이처럼 불어나 회사의 경쟁력과 비용 효율성을 갉아먹고 만다. 필요하고, 긴급한 걸 알면서도 나 역시 여러 현실적인 이유 혹은 핑계로 정면 승부하지 못했던 그 평가라는 것을, 기초부터 배워서 제대로 해보고 싶었다. 아직 첫 수업도 시작하기 전이라 이 수업이 나의 오랜 갈증을 해소해줄 수 있을지는 모르겠으나, 수업 전에 읽어가야 하는 자료를 읽다 보니 꽤 희망적이다. "An introduction to the Evaluation of Learning Technology (Oliver, M. 2000)"라는 자료인데, 평가 방법들의 장점과 한계점에 대한 간략한 소개와, 평가를 수행하는 데에 있어 주로 맞닥뜨리게 되는 장애물들에 대한 내용이다. 읽는 내내 연신 고개를 끄덕이게 되었다. 나의 학습 니즈를 간파한, 꽤 설득력 있는 출발선상에 서있는 기분이다.
평가는 크게 fore-end/ formative/ summative 단계로 나누어 진행하는데, 이 수업은 그중에서도 형성 평가(formative evaluation)에 집중한다. 이미 만들어져 있는 교육 프로그램 또는 상품이 목표로 하는 바를 달성해나가는 과정에서 더 개선할 수 있는 부분이 있는지, 수정해야 하는 부분이 있다면 무엇인지를 연구해보는 시간이 될 것 같다.
