deployment, maturity
edX의 Learning Analytics Fundamentals 강의 내용을 정리한 포스팅입니다.
Photo by Suzanne D. Williams on Unsplash
데이터 크기에 따라 : "Bottom-Up"에서 "Integrated Models"으로.
학습 분석 배치(Learning Analytics Deployment) 방법은 여러가지가 있습니다. 그 이유는 다른 조직은 다른 목적을 위해, 다른 프레임워크를 사용해야 하기 때문입니다. 그러므로 앞으로 소개할 프레임워크도 여러 방법론 중 하나로 보고, 스스로 상황에 맞는 적절한 프레임워크를 활용하는 것이 중요합니다.
2005년부터 2010년까지, 학습 분석 초창기에 대다수 대학에서는 “bottom-up” 배치를 적용했습니다. “bottom-up” 배치는 교수 개인 혹은 교수진이 교육 효과 증진을 위해 작은 데이터셋을 다루는 방식을 뜻합니다. 어느 교수는 심리학개론 수업에서 "bottom-up" 방식을 활용하여 300명의 학생 중 어느 학생이 낙제할 위험이 높은지 파악하기도 했습니다. 데이터는 LMS 혹은 다른 소스로 확보한 것이었습니다.
“bottom-up” 배치의 결점 중 하나는 때때로 “top-down” 배치 방식이 필요하다는 것입니다. 예를 들어, 교수진이 데이터를 통해 낙제 가능성이 높은 학생을 발견하더라도, 대학(기관) 자체의 지원을 받지 못하거나, 기관 내 자동화 시스템이 갖춰져 있지 않다면(top-down), 혼자서 적잖은 업무를 떠안을 수 있습니다.
2010년, 적잖은 학습분석 SW 기업이 위 문제를 해결하기 위해 관련 툴을 제공하기 시작했습니다. 그 중 McGraw Hill, Blackboard, Civitas는 아예 "bottom-up", "top-down" 방식의 괴리를 해결하기 위해, 데이터 소스를 통합할 방안을 강구하고 대안을 내놓기도 했지요. 다시 말해, 교육자 및 교육기관이 학습 성과를 향상하도록 하기 위해, LMS(Learning Management System)의 데이터와 교실 학습 데이터(classroom interaction data)를 융합하는 모델을 만든 것입니다.
학습분석 배치의 변화
학습분석이 수많은 잠재력을 가졌습니다. 그 잠재성은 아래 모델 - Learning Analytics Maturity Model - 에서 볼 수 있듯, 조직의 성격 및 필요에 따라 다른 형태로 나타납니다.
1. Aware
“Aware”은 오늘날 수많은 대학이 속한, 가장 기본 단계입니다. Aware 단계에서, 보고서는 보통, 학생의 취업률이나 학생의 노동시장 장기 성취도에 관한 내용만을 담고 있습니다. 대부분, 대학이 지난 몇 십년 동안 축적한 데이터를 기반으로 학습 분석을 시도합니다.
2. Experimentation
대학 조직이 더욱 복잡해지면, 그들은 "Experimentation"로 진입합니다. 연구 단계는 심층 보고서를 작성하고, 대시보드를 사용하는 단계입니다. 학장 및 학과장은 이 단계부터 다양한 과목의, 다양한 학생의 성취도를 비교할 수 있습니다.
3. Organization / Student / Faculty
“Organization/Student/Faculty” 단계는 학생 대시보드, 교수 대시보드를 비롯하여 보고 도구를 활용합니다. 또한, 시스템 간 데이터를 통합합니다. 텍사스 알링턴 대학교의 University Analytics가 대표적 사례입니다. University Analytics는 대학 경영진이 하나의 인터페이스로, 학생 개개인의 낙제 가능성을 비롯한 캠퍼스 전체의 흐름을 파악할 수 있는 시스템 구성을 목표로 하는데, 여러 데이터셋을 통합하여 하나의 데이터샵에서 관리한다는 점에서 이 번째 단계에 속해 있다고 볼 수 있습니다.
4. Organizational Transformation
“Organizational Transformation”는 학습 분석을 교육학 모델과 교수 방법론 개선을 위해 사용하는 단계로, 정말 소수의 조직만이 위 단계에 속해 있습니다.
5. Sector Transformation
“Sector Transformation”는 개별 대학이 아닌 모든 대학(대학 섹터)이 기능 개선을 위해 학습 분석을 활용하는 단계입니다. 국가, 주 단위 분석은 적잖은 자원이 필요하기 때문에, 대부분 노동 시장 데이터, 졸업률 데이터를 활용한 분석만 이루어지고 있습니다.
다음은 학습분석 Data Flow, Data Loop에 대해서 알아보겠습니다.