학습분석에 대한
몇 가지 중요한 질문들
'데이터 중심의 학습 솔루션'을 도입하기 앞서 검토해야 할 고려사항
학습분석(Learning Analytics)은 학습과 학습 환경을 이해하고 최적화하기 위해 학습자와 학습자의 상황과 관련된 데이터를 측정하고, 모으고, 분석하고, 보고하는 기술입니다. 그리고 이 데이터 중심의 접근법은 교육 및 학습 분야에 신선하고도 역동적인 변화를 일으키고 있습니다. 이전보다 훨씬 더 확장된 학습 활동을 추적하고 그 과정에서 발생되는 방대한 데이터를 취합하며, 이를 심층적으로 분석하여 학습자 개인에 대한 입체적인 인사이트를 도출할 수 있기 때문입니다. 이를 토대로 교수자와 학습자에게 최적화된 학습 지원을 제공하고 개인 맞춤형 학습을 실현하는데 기여할 수 있음은 물론입니다.
하지만 이러한 장밋빛 미래와는 별개로, 학습분석을 도입하기 앞서 반드시 고민해야 할 지점들이 존재합니다. 학습분석은 매우 각광받고 있는 분야이긴 합니다만, 과연 조직의 의사결정자들이 이 새로운 접근법에 거리낌 없이 투자할까요? 또, 학습분석을 우리에게 주는 '구체적인 '가치는 무엇일까요? 학습분석의 도입을 추진하기 위해서는 무엇을, 어떻게 해야 할까요? 실행에 앞서 확인해야 할 사항들은 없을까요? 마지막으로, 윤리적 문제는 없을까요?
이에 대해 명쾌하게 답하는 것은 어렵습니다. 학습분석은 이제 막 촉망받는 유망주에서 기린아로 성장하기 시작한 분야이기 때문입니다. 가늠하기 어려운 가능성과 잠재력을 지닌 것은 사실이지만, 아직 방점을 찍지 않은 분야에 대해 논하는 것이 쉬울 리 없습니다. 그러나 이 데이터 중심의 학습 솔루션에 대한 관심이 급속도로 팽창하고 있는 만큼, 본고를 통해 상기한 질문들에 대한 담론들을 간략히 소개해보도록 하겠습니다.
Q1. 학습분석이 '정말' 뜨거운 감자일까?
K-12는 물론 성인교육에 이르기까지, 학습분석은 에듀테크 영역에서 주목받고 있는 분야 중 하나입니다. 그러나 이러한 관심이 실질적인 도입과 활용으로 이어지고 있을까요? 일선 교육 기관과 책임자들은 이를 최우선 과제로 인식하고 있을까요? 미국의 고등교육기관과 기술기업의 연합단체, 에듀코즈(EDUCAUSE)가 2016년에 발표한 보고서에 따르면 꼭 그렇지는 않은 것 같습니다.
에듀코즈는 회원 기관을 대상으로 진행된 설문조사, 포커스 그룹 인터뷰, 국립대학 및 대학교 비즈니스 책임자 협회(National Association of College and University Business Officers)와 에듀코즈가 공동 주최한 컨퍼런스에 참여한 IT 전문가들의 의견을 종합하여 성인교육 분야에서 학습분석 기술에 대한 기대 수준과 인식도를 조사했습니다.
이 자료에 따르면 23%의 응답자만이 학습분석을 주요 우선과제로 꼽았고, 26%의 응답자는 그렇지 않다고 답했습니다. 반면 자사의 서비스나 업무 관행을 개선하기 위한 기관 분석(Institutional Analytics)을 우선과제라고 응답한 비율은 47%에 달했죠.
‘투자’에 대한 질문에도 비슷한 양상이 나타났습니다. 학습분석이 ‘주요한 투자 분야(Major Investment)’라고 응답한 비율은 20% 미만이었고, 40%에 달하는 응답자들은 ‘미미한 투자 또는 투자하지 않는 분야(Little or no Investment)’라고 답했습니다. 하지만 기관분석을 ‘주요한 투자 분야’라고 응답한 비율은 학습분석의 두 배 이상이었죠. 덧붙여 공공부문에서 학습분석을 주요한 투자 분야로 인식한다고 응답한 비율은 26%인데 비해 민간부문은 12%의 응답자만이 긍정했으며, 민간부문의 경우 대부분 ‘미미한 투자 또는 투자하지 않는 분야’라고 답했습니다. 즉 현재 시점에서 학습분석은 조직의 우선순위로 삼거나 많은 투자가 이루어지고 있는 분야라기보다, ‘큰 잠재력을 갖고 있는 분야’라고 보는 것이 타당합니다.
Q2. 학습분석의 도입과 활용을 추진해야 하는 이유는 무엇인가?
그럼에도 불구하고 '젊디 젊고 유망한' 이 분야는 학습 경험(Learning Experience)을 크게 진화시킬 수 있는 잠재력을 지니고 있습니다. 그럼 지금부터, 우리가 학습분석을 도입하고 활용해야 하는 이유 일곱 가지를 간략하게 정리해보겠습니다.
1) 자기조절 학습(Self-Regulated Learning)의 촉진
학습분석을 통해 도출한 결과치를 대시보드 형태로 시각화하여 학습자에게 제공하는 것은 학습자가 자신의 학습 과정과 성과에 대한 정보를 확인하거나 다른 학습자와 자신의 수준을 비교할 수 있도록 돕습니다. 즉 ‘얼마나 잘하고 있는지’는 물론 ‘다음 단계로 나아가기 위해 무엇을 해야 하는지’를 쉬이 확인할 수 있도록 지원한다는 것을 의미합니다. 이는 학습자 스스로 학습동기를 고양하거나 유지하며, 능동적으로 학습과정을 관리하는 ‘자기조절 학습’을 크게 촉진할 수 있습니다.
2) 학습 부진의 식별과 맞춤형 학습 지원의 제공
학습분석은 학습 성과에 대한 기본적인 정보는 물론 학습 활동 전반에 대한 데이터를 수면 위로 끄집어낼 수 있습니다. 교육 담당자는 이 데이터들을 토대로 학습에 어려움을 겪고 있는 학습자를 포착할 수 있으며, 해당 학습자들에게 최적화된 지원을 제공할 수 있습니다.
3) 가장 최적화된 교육 디자인을 도출
학습분석은 어떤 교육 프로그램 및 디자인이 조직과 학습자에게 가장 적합한지 찾아낼 수 있도록 도울 수 있습니다. 즉 특정 교육 과정이나 툴을 학습 성과와 연계하여 살펴봄으로써 ‘어떤 것이 가장 효과적인가’에 대한 답을 구할 수 있습니다. 이러한 데이터가 축적되면, 특정 교육이나 커리큘럼에 꼭 맞는 선행사례에 바로 접근할 수도 있습니다.
4) ‘보고’의 정확성과 효율성을 제고
학습자들의 성장을 위한 학습 환경을 조성하고, 새로운 시도를 지속하기 위해서는 돈이 필요합니다. 그리고 그 비용을 확보하기 위해서는 교육의 질과 투자 대비 효율성을 증명할 필요가 있습니다. 이러한 맥락에서 ‘눈에 보이는’ 교육·학습 데이터는 물론 ‘눈에 보이지 않는’ 입체적인 데이터와 시사점을 제공하는 학습분석은 교육 담당자에게 큰 힘이 될 수 있습니다.
5) 평가의 최적화
학습분석을 통해 교수자나 교육 담당자는 급작스러운 성적 저하, 혹은 학습 장애 및 이탈을 야기하는 과제나 평가 수단을 신속하게 파악할 수 있습니다. 이를 통해 ‘적절하지 않은 평가 시스템’을 조정함으로써 원활한 학습이 이루어질 수 있도록 도울 수 있습니다.
6) 교수자에 대한 평가와 지원
학습분석은 학습자들의 제반 데이터를 통해 '교수자가 효과적인 교육 솔루션을 제공하고 있는지' 여부를 판단할 수 있는 기준을 제시할 수 있습니다. 또한 교수자 스스로 교육 프로그램의 설계나 운영에 있어 미진한 부분을 파악하고, 이를 개선할 수 있도록 지원할 수도 있습니다.
7) 학습 참여와 학습자 간 상호작용의 교육 효과성을 증명
학습분석을 통해 취합되는 데이터에는 제반 학습 활동의 빈도나 양상에 대한 정보도 포함되어 있습니다. 그리고 이러한 데이터들과 학습 성과를 연계하여 분석할 경우, 성적이나 수료율 등 단편적인 학습 성취도를 넘어 보다 다층적인 인사이트를 얻을 수 있습니다. 이를 통해 교육 프로그램에 얼마나 적극적으로 참여하는지, 얼마나 자주 다른 학습자와 상호작용하는지 등이 학습 성취도에 얼마큼 기여하는가?'와 같은 질문에 대답할 수 있습니다.
Q3. 우리 조직에서 학습분석의 도입을 추진하기 위해서는 어떻게 해야 할까?
학습분석의 필요성과 당위성을 인지하고 있더라도, 실제로 이를 도입하고 활용하는 것은 차원이 다른 문제입니다. 교육과 학습 영역에서 데이터 중심의 접근법은 적지 않은 저항과 경계를 불러올 것입니다. ‘없던 비용이 발생하는 것’이라는 부담 역시 결코 적지 않습니다. 그러나 학습분석에 대해 지대한 관심을 가지고 있고, 지금 당장, 혹은 가까운 미래에 이를 도입하고자 한다면, 다음 다섯 단계의 전략을 참고할 수 있습니다.
1단계 : 학습분석의 목적을 명확하게 정의
학습분석을 통해 조직이 현재 마주하고 있거나 잠재적인 교육 및 비즈니스 과제를 파악하고, 이를 해결하고자 하는 목적을 매우 명확하게 정의해야 합니다. 조직마다 다를 수는 있지만, 주로 ① 학습자 분석, ② 모니터링 및 추적, ③ 평가 및 계획, ④ 보고 및 커뮤니케이션을 위해 학습분석의 도입을 검토하는 경우가 많습니다. 모든 이해관계자가 동일한 니즈나 목표를 가지고 있는 것은 아니기 때문에 ‘무엇을 위해 학습분석을 활용하고자 하는지’를 깊게 고민해보아야 합니다.
2단계 : 의사결정자 및 이해관계자의 파악과 설득논리의 개발
프로젝트에 연관될 수 있는 모든 이해관계자를 파악하고, 그들을 끌어들여야 합니다. 이는 변화를 관철시킬 수 있는 힘을 선점하고 장애물을 최소화하기 위함입니다. 아울러 이 단계에서는 회의론자들을 납득시킬 수 있는 근거와 학습분석을 도입해야 하는 당위성을 확보할 필요가 있습니다.
3단계 : 전략 수립
모든 프로젝트가 그렇듯, 전략이 없으면 구현은 불가능합니다. 전략은 예측 가능하고 통제된 방식으로 프로젝트가 진행하기 위해 필요한 요소이며, 이해관계자의 협조와 의사결정자의 승인을 얻을 수 있는 가장 강력한 무기입니다. 따라서 이 전략은 ‘학습분석에 대한 우려’를 불식시킬 수 있는 내용들을 담고 있어야 합니다. 학습분석 솔루션을 도임하는 데 필요한 비용, 시스템에 적용하기 위해 소요되는 시간과 장애물, 데이터의 활용 방식과 오용을 방지하기 위한 방안, 솔루션을 공급하는 업체와의 협업 방식 등이 바로 그것입니다. 전략을 실행하는 과정에서 예측하기 어려운 변수들이 튀어나오는 법이지만, 여기까지, 혹은 이 이상까지 검토하며 전략을 수립해야만 근본적인 변화를 이끌어낼 수 있습니다.
4단계 : 새로운 기술을 활용할 수 있는 역량이 있는지 확인
조직 내에 학습분석을 구현하거나 활용할 수 있는 기술이나 인력이 없다면 길고도 힘든 싸움에 시달리게 됩니다. 따라서 자사가 학습 데이터를 처리하고, 해석하고, 시각화할 수 있는 역량을 보유하고 있는지 면밀하게 파악할 필요가 있습니다. 조직 내부에서 찾을 수 없다면 학습분석 솔루션을 제공한 업체를 통해서라도 이하 요소들을 확보해야 합니다.
① 데이터 사이언스 및 질적 분석
② 프로젝트 관리 및 평가
③ 데이터베이스 개발
④ 학습 기술 관리
⑤ IT 지원 및 인터페이스 개발
⑥ 분석 디자인 및 개발
⑦ 학습분석 보고
⑧ BI(Business Intelligence)
5단계 : 지속적인 평가를 통한 모니터링 & 학습 시스템의 고도화
학습분석은 아주 큰 잠재력을 지니고 있지만 완숙된 분야라고 보긴 어렵습니다. 때문에 이를 추진하는 과정에서 다양한 시행착오와 한계점에 봉착할 가능성이 있습니다. 따라서 조직은 학습분석의 도입과 활용의 진행 상황을 지속적으로 살피고 필요에 따라 조정해야 합니다. 또한 이 시도가 애초에 정의했던 ‘학습분석의 목적’에 부합하고 있는지를 평가해야 하며, 정기적으로 전체 프로세스를 재점검하고 보강해야 할 것들을 정리해두어야 합니다.
Q4. 학습분석의 도입에 앞서 확인해야 할 사항은 무엇인가?
‘무엇을 해야 할지’에 알고 있다고 해서 그 과제를 바로 수행할 수 있는 것은 아닙니다. 전략 및 프로세스를 수립했다고 할지라도 조직이 준비되어 있지 않으면 아무런 의미가 없습니다. 따라서 성공적으로 학습 분석을 도입하고 안정적으로 운영하기 위해서는 다음 다섯 가지의 사항을 사전에 체크해야만 합니다.
1) 리더십
조직 내에 학습분석의 도입과 활용을 이끌 수 있는 적임자가 있습니까? 있다면 누구입니까? 없다면 이 문제를 어떻게 해결해야 할까요? 아무리 완벽한 계획이라도 실행을 주도할 이가 없다면 무의미합니다. 따라서 조직의 협조를 얻으면서도 학습분석에 대한 이해가 깊은 사람이 있는지 확인해두어야 합니다.
2) 조직의 미션과 비전
우리가 학습분석을 주목하는 이유는 기존의 교육·학습분야의 난제를 해결할 수 있는 잠재력을 가지고 있기 때문입니다. 그리고 그 어려운 문제를 풀고자 하는 까닭은 조직의 미션과 비전을 실현하기 위함임을 잊지 말아야 합니다. 그럴 가능성은 높지 않지만 만약 학습분석이 조직의 미션과 비전을 해칠만한 요소를 지니고 있다면, 이를 어떻게 다루어야 할지 고민할 필요가 있습니다.
3) 투자
학습분석을 도입하고 활용하기 위해서는 돈이 필요합니다. 조직은 학습분석 솔루션을 구매하고 유지하는 비용, 자사의 시스템에 연동하거나 커스터마이징 하는데 필요한 비용, 인건비 등을 감당할 수 있는 예산을 확보해야 합니다.
4) IT
일반적으로 학습분석 솔루션을 공급하는 전문 기관들이 존재하지만, 모든 것을 이들에게 일임할 수는 없습니다. 여러분들의 조직에는 학습분석의 모든 과정을 도맡아 처리할 순 없더라도, 데이터를 가공하고, 처리하고, 해석할 수 있는 IT 전문가가 있나요? 다소 역량이 떨어지거나 인원이 부족하더라도, 전문 기관들의 도움 아래 이 역할을 수행할 수 있는 사람이나 조직을 보유하고 있나요? 이 질문들에 답할 수 없다면, 학습분석을 도입하는 것은 시기상조일 수도 있습니다.
5) 교육담당자. 교수자, 학습자의 준비
아무리 매력적인 기술이라고 해도 이를 활용할 줄 모른다면 아무런 의미가 없습니다. 그리고 학습분석 기술을 활용해야 하는 사람들은 교육담당자, 교수자, 학습자입니다. 만약 이들이 학습분석에 대한 이해가 미진한 상황에서 무작정 학습분석을 도입할 경우, 꽤 오랜 시간 동안 시행착오에 시달릴 것입니다.
Q5. 학습분석의 실행에 앞서 고려해야 할 윤리적 문제가 있는가?
학습분석은 ‘이전보다 더 방대한’ 학습자의 데이터를 수집합니다. 이것이 전제되어야만 앞서 논의했던 차세대 학습 서비스를 구현할 수 있습니다. 하지만 수많은 학습자의 다채로운 데이터를 활용하는 것이 과연 윤리적일까요? 이 질문에서 자유로울 수 없다면, 교육 전문기관과 기업들은 이 잠재적 위험에 대해 고민할 필요가 있습니다. 이것이 얼마나 중요한 문제인지를 살피기 위해, 학습분석에 대한 긍정적인 측면은 잠시 내려놓고 관점을 바꿔보겠습니다.
에듀테크 제반 분야는 학습자의 학습 경험을 데이터로 축적하고, 이를 토대로 개인 맞춤형 학습을 실현하고자 합니다. 그리고 이 기저에는 학습분석이 필요합니다. 그리고 이 모든 것은 학습자의 편의성과 학습 효과를 제고하기 위함이라는 목표 아래 진화를 거듭하고 있습니다.
하지만 학습자의 데이터를 기반으로 ‘가장 적절한 학습 콘텐츠’를 추천하는 것은 오히려 학습자의 자율성을 해치는 '일방적 개입'일 수도 있습니다. 또한 종래에 축적된 학습 데이터를 바탕으로 어떤 학습자의 학습 부진을 ‘예측’한다면, 교수자와 교육 담당자는 해당 학습자에게 선입견을 가질 수도 있습니다. 뿐만 아니라 학습자들의 의식적으로든 무의식적으로든 그들의 활동이 지속적으로 감시되고 있다는 것을 인지하고 있다면, 학습 효과성은 높아지더라도 학습자들은 압박과 위협을 느낄 수도 있습니다. 학습자가 ‘행동 데이터’의 빈도와 횟수를 늘리기 위해 부정행위를 저지를 수도 있지요.
이 모든 것이 기우일 수 있습니다. 하지만 ‘그런 일은 없을 거야’라고 단언할 수도 없습니다. 따라서 조직은 학습분석의 실행에 앞서 다음 세 가지 사항을 유념해야 합니다.
1) 어떤 학습자의 데이터를 어디에 활용하고 있는지 공유할 것
학습자는 현재 수집되고 있는 학습 데이터가 무엇이고, 이 데이터들이 어떻게 활용되고 있는지 알 권리가 있습니다. 따라서 조직은 현재 취합되고 있는 데이터의 유형과 활용 목적을 명확히 파악하고, 필요에 따라 학습자들에게 관련 정보를 공개할 수 있어야 합니다.
2) 학습자들을 ‘숫자’가 아닌 한 인격체로 대할 것
학습분석이 다루는 ‘데이터’는 데이터일 뿐입니다. 학습분석은 이전보다 고도화되고 심층적인 인사이트를 제공해주지만, 이 점을 충분히 고려하지 않으면 대시보드만 보고 학습자의 모든 것을 파악하고자 하는 우를 범할 수 있습니다. 학습자가 원하는 것, 그리고 조직이 제공해줄 수 있는 가치는 숫자로 나타나지 않을 수도 있습니다. 학습분석을 통해 파악할 수 있는 것은 꼼꼼히 살피되, 학습자들의 목소리를 듣는 것을 게을리해서는 안됩니다.
3) 긍정적인 면에 집중하도록 유도할 것
학습분석을 통해 학습자 자신의 학습량, 학습 패턴, 다른 학습자와 비교했을 때의 수준 등을 확인하는 것은 배움에 대한 동기를 불러일으킬 수도 있습니다. 그러나 이는 자신의 부족함에 실망하고 좌절하는 계기가 될 수도 있습니다. 따라서 이러한 ‘객관적인 데이터’를 시각화할 때 학습자 스스로 긍정적인 측면을 발견할 수 있도록 방안을 탐색하거나, 다른 경로로 학습 동기를 고양시키기 위한 노력을 강구할 필요가 있습니다.
‘몇 가지 중요한 질문들’에 대해 고민해야 하는 이유
학습분석에 대한 지대한 관심과는 별개로, 이를 도입하고 활용할 것인가에 대한 문제는 ‘학습분석의 효용성’과 직결되어 있습니다. 뿐만 아니라 새로운 기술과 접근은 언제나 새로운 문제와 우려를 낳습니다. 그리고 이 지점에서 학습분석은 아직 증명해야 할 것이 많으며, 이를 시장에 공급하거나 도입하기에 앞서 유념해야 할 사항들도 적지 않습니다.
그러나 이러한 담론이 활발해지는 것은 큰 변화를 앞두고 있다는 것을 의미합니다. 여러 걱정거리가 있다고 한들, 그것이 학습분석이 지닌 잠재력을 부정할 수 있는 근거가 될 수는 없지요. 그리고 이 변화의 파도는 이미 ‘내일이 아닌 오늘의 문제’가 되었습니다. 이제는 이 파도에 올라타 교육과 학습을 혁신하는 데 힘을 쏟아야 할 때입니다.
다만 시행착오를 최소화하고, 우리가 학습분석에 기대하고 있는 바를 오롯이 실현하기 위해서는 확신하기 어려운 문제들에 대해 깊이 생각해보아야 합니다. 이 기술을 왜 사용하고자 하는지, 우리 조직은 이 기술을 사용할 준비가 되어있는지, 이 기술이 윤리적 문제를 야기하지는 않는지 등과 같은, 지금 당장 자신 있게 답하기는 어려울지언정 반드시 짚고 넘어가야 하는 문제들에 대해 고민해야 합니다. 그 과정이 선행될 때, 학습분석은 비로소 성공적인, 쓸모 있는, 가치를 선사하는, 실현 가능한 솔루션으로 자리매김할 것입니다.
※ 휴넷의 월간 에듀테크 리포트,〈EDUTECH Monthly〉2018년 10월호에 기고한 글입니다.
[Reference]
- Cristina Wagner,「10 Reasons Why Institutions Should Implement Learning Analytics」
- Cristina Wagner & Niall Sclater,「Ethical Concerns With Learning Analytics: What You Should Be Aware of」
- EDUCASE, 「Learning Analytics in Higher Education」
- Jim Yupangco, 「7 Steps To Successfully Implement Learning Analytics In Your Company」
- John T. Avella et al, 「Learning Analytics Methods, Benefits, and Challenges in Higher Education: A Systematic Literature Review」
- Timothy Harfield,「Analytics for Learn: Using data science to drive innovation in higher education」
- Timothy Harfield,「From LMS Reporting to Learning Analytics: Exciting updates to Analytics for Learn」
