학습분석 데이터 수집을 위한 xAPI 관련 동향 II

- xAPI 적용을 위한 보다 자세한 이야기들

<두번째 글에서 다룰 내용들> 

1. 데이터 수집 관련 표준 동향

2. 학습 분석을 위한 기본 전제들

3. 데이터 변환 체계 및 상호운용성

학습 분석을 위한 데이터 수집 표준은 현재 ISO, IMS Global, ADL 등과 같은 국제기구 또는 미국 기관이 주도하고 있는 상황이다. ADL에서 2010년대 초반 ‘Tin Can API’라는 프로젝트명으로 시작된 xAPI는 2013년에 그 개념이 공식적으로 발표되었기 때문에 역사가 짧고 관련 논의도 이러닝 산업계를 중심으로 이루어져 왔다[그림 1]. 현재 2015년까지 버전 1.0.3이 공개되어 있는데 국내에서 xAPI 관련 연구 성과물은 그다지 많지 않은 상황이다. 

[그림 1] Timeline of evolution of Tin Can API(xAPI) standard

III. xAPI 적용을 위한 보다 자세한 이야기들 

1. 데이터 수집 관련 표준 현황 

국제적으로 이러닝 분야에서 관련 표준을 정립하고 개발해 온 기관들로 IMS(Instructional Management System), IEEE LTSC(Learning Technology Standards Committee), AICC(Aviation Industry CBT Committee), ADL(Advanced Distributed Learning) 등이 있다. 이 기관들이 정립한 이러닝 관련 표준들은 [그림 2]와 같다. 

[그림 2] 이러닝 시스템 표준과 관련 기관 현황(Bakhouyi etc., 2018)

IMS의 경우 국내에서는 한국교육학술정보원이 IMS와 협력하여 ‘에듀테크 표준화 포럼’을 운영해 오고 있고(https://www.imskorea.or.kr/), ADL의 경우 정보통신산업진흥원(NIPA)과 2007년에 파트너십을 맺은 바 있다. 하지만, 최근에는 두 기관 모두 국내에서 관련 활동이 크게 눈에 띄지는 않는 상황이다.   

데이터 수집과 관련된 대표적인 표준은 IMS의 Caliper analytics 및 ADL의 xAPI인데 이 개별 표준들이 실질적으로 적용되기 위해서는 데이터 수집을 위한 상호운용성 및 데이터 저장에 대해서도 고려가 필요하다. [그림 3]은 학습데이터 분석을 위해 고려되어야 학습기술 표준들로서 학습도구들 간의 상호운용성과 데이터 모델 통합 활용을 위한 규격들이 포함되어 있다.  

[그림 3] 학습데이터 분석을 위한 글로벌 학습기술 표준(장시준, 2020)

데이터를 기반으로 학습 활동을 분석하여 수준에 맞는 처방을 하는 활동은 향후 기술을 활용한 교육 서비스의 핵심이 될 것으로 전망된다(장시준, 2020). 그리고, 향후 원활한 데이터 저장 및 교환을 위해서는 Caliper analytics 및 xAPI 두 가지 표준 사이의 상호호환성이 중요한 이슈로 대두할 것으로 보여진다. 

2. 학습 분석을 위한 기본 전제들 

학습 분석은 기본적으로 이질적인 시스템 간의 다양한 데이터를 주고받는 과정을 전제로 하기 때문에 상호운용성 표준을 고려하지 않을 수 없다. 학습 분석시 상호운용성을 반영하기 위해서는 [그림 4]와 같은 데이터 흐름 단계별로 이해관계자의 요구사항을 고려해야 한다(손정은 & 조용상, 2017).  

[그림 4] 학습 데이터 흐름과 주요 특징(손정은 등, 2017)

손정은 등(2017)은 학습 데이터의 흐름을 정의하면서 이와 관련되어 고려해야 할 사항으로 상호운용성을 포함하여 다섯 가지를 제시한 바 있다. 

접근성(accessibility): 개인화된 접근성을 제공하기 위해서는 적응형 기술(adaptive technology)을 활용할 필요가 있는데, 이때 제공되는 기술은 여러 운영 체제와 잘 통합이 되어 있어야 하고, 동일한 자원을 사용자의 필요와 선호에 맞게 다양한 방식으로 사용할 수 있어야 함. 

상호운용성(interoperability): 최근 들어 웹(web) 환경에서 학습 관련 상호작용이 증가하고 있는데, 이 때 다양한 시스템에서 생성되는 학습 데이터의 수집 및 저장시 독립적인 데이터 형식을 고집한다면 고립된 데이터(data silo)가 되어 효율적인 활용이 어려울 수 있음. 따라서, 이기종 및 다양한 시스템들 간의 데이터 상호운용성이 필수적임. 

사생활 보호(privacy): 학습에 사용되는 대부분의 도구들은 개인별 데이터를 수집할 수 있는 추적 기능이 내장되어 있으므로 사용자에게 이 부분에 대한 정보를 투명하게 공개해야 함. 또한 학습자의 권리 보호를 위해 프라이버시와 관련된 제도적 또는 서비스 정책 기준이 수립되어 있어야 함. 

사용자 인증(identity federation): 최근의 데이터 수집은 이기종의 디바이스 및 이질적인 서비스를 통해 수행되므로 일관된 사용자 식별체계가 필요함. 대표적인 방식으로 SSO(Single Sign-On)가 있을 수 있고, 또는 학습 도구 상호운용성 표준의 형태로 사용자를 식별하는 표준을 활용하는 방안을 검토해야 함.

데이터 지속성(data persistency and life cycle): 데이터의 유효성은 서비스 기간(일반적으로 각 교육 기관 내 학습 프로그램이 종료되는 기간까지)과 관련이 있지만, 교사 또는 학습자의 데이터 수집 동의 여부에 따라 즉각적인 데이터 삭제도 이루어질 수 있어야 함. 

   

학습 활동 데이터를 측정하고 수집하는 단계에서는 데이터에 대한 접근성, 데이터 상호운용성, 효율적인 데이터 흐름 및 교환과 관련된 사항들이 중요한 이슈들이다(손정은 등, 2017). 특히, 이 중에서 데이터 통합과 데이터 상호운용성은 가장 핵심적인 사항들로서 이에 대한 요구 조건들은 [그림 5]와 같다. 

[그림 5] 데이터 수집 관련 데이터 통합 및 상호운용성 요구 조건(손정은 등, 2017)

Caliper Analytics와 xAPI로 수집된 데이터는 둘 다 체계적으로 정확하게 수집된 데이터이지만 각기 다른 데이터 모델을 적용하고 있기 때문에 기계적으로는 이질적인 데이터로 해석되며, 이를 변환하려면 각 데이터의 속성들이 의미하는 것을 사전에 매핑하는 작업이 필요하다. 다수의 학습용 앱과 콘텐츠를 활용하는 최근의 학습환경에서 단일 데이터 수집 표준을 고집할 수 없으므로 학습 분석 서비스 대상 및 콘텐츠의 체계적인 분석을 통해 두 표준을 동시에 활용하는 방안에 대해 다각도의 검토가 필요하다(교육부, 2019).

3. 데이터 변환 체계 및 상호운용성 

I편에서 언급한 바와 같이 사용자의 학습 환경은 갈수록 다양해지고 있고, 다양한 플랫폼과 소프트웨어 등을 통해 다양한 유형의 학습 데이터가 생산되고 있다. 이로 인해 갈수록 체계적이고 정확한 데이터 수집이 어려워지고 있다. 반면, 데이터 수집과 관련해서는 복수의 기관들을 통해 서로 다른 표준이 정립되어 사용되고 있는 상황이다. 

따라서, 서로 다른 경로와 체계를 통해 생산되는 이질적인 데이터들을 변환 및 호환시킬 필요가 있으며, 서로 다른 표준을 통해 수집된 데이터들간 상호운용성을 확보하는 것이 학습 과학이 지향하는 소기의 목적을 달성하는 데 있어 중요한 관건이라 할 수 있다. 

조용상(2016)은 자신의 연구를 통해 이질적인 데이터 수집 체계와 API로 수집된 데이터의 상호운용성을 확보할 수 있는 규칙, 절차, 방법을 제안한 바 있다. 예를 들어, 데이터 관점에서 볼 때 xAPI로 데이터를 수집하는 환경과 IMS Caliper Sensor API로 데이터를 수집하는 환경은 서로 다른 이질적인 환경으로 인식이 된다. 따라서, 각각의 방식으로 수집된 데이터 저장소 사이에 데이터 매핑 및 매칭 프로세스를 적용하여 데이터를 변환해줘야 할 필요가 있다. 

[그림 6] IMS Caliper와 xAPI의 학습 데이터 흐름(조용상, 2016)

[그림 6]에서 보듯 IMS Caliper Sensor API를 통해 수집된 데이터는 Event Store에 저장이 되고, xAPI를 통해 수집된 데이터는 LRS(Learning Record Store)에 저장이 된다. 이 두 가지 방식의 데이터를 효율적으로 활용하기 위해서는 이 중간에 데이터 매핑 및 매칭 프로세스를 적용하여 데이터를 변환해줘야 한다. 이 때 데이터 변환은 구조적(structural)/구문적(syntactic) 변환과 의미적(ontological) 변환 두 가지를 모두 고려해야 한다. 

[그림 7] IMS Caliper와 xAPI의 구조적, 구문적 매핑을 통한 변환(조용상, 2016)

[그림 7]은 IMS Caliper와 xAPI 구문들 사이의 구조적, 구문적 매핑을 통한 변환 개념을 보여준다. IMS Caliper와 xAPI는 용어가 다르긴 하지만 둘 다 기본적으로 트리플 바인딩 모델(주어-술어-목적어)을 사용하고 있기 때문에 주어, 동사, 목적어에 해당하는 구문들을 매핑시키는 방식으로 변환을 처리하면 된다. 

[그림 8]  IMS Caliper와 xAPI의 의미적 매핑을 변환(조용상, 2016)

[그림 8]은 IMS Caliper와 xAPI 사이의 구조적, 구문적 매핑과 더불어 의미적 매핑을 같이 보여주고 있다. 예를 들어 좀 더 구체적으로 설명하자면, 학습자가 학습을 ‘마쳤다’는 표현을 IMS Caliper는 ‘completed'로 표현하고, xAPI는 ’finished'로 다르게 표현할 수 있다. 이 두 가지는 같은 의미이지만 컴퓨터는 같은 의미로 받아들이지 못한다. 이 문제를 해결하기 위해 온톨로지 테이블을 도입하여 두 단어가 같은 의미라는 것을 등록해 놓으면 의미적으로도 매핑 및 변환이 가능해 지는 것이다. 

본 연구는 주로 xAPI를 대상으로 이루어졌으나 Caliper analytics도 실질적인 표준 역할을 하고 있기 때문에 현실적으로는 두 가지 표준을 통합하는 접근 방식이 필요하다. 다양한 컴퓨팅 환경 속에서 단일한 방식으로 학습 데이터를 수집할 수 있기를 바라는 것은 현실적으로 어렵다고 판단된다. 따라서, 현재 주류로 자리 잡고 있는 데이터 수집 표준들 사이에서 데이터가 손쉽게 변환될 수 있도록 상호운용성을 확보하는 것이 중요하다고 할 수 있다. 

※ II부에서는 xAPI를 실제로 적용하기 위한 보다 자세한 이야기들을 적어 보았다.  현실적으로 xAPI와 함께 실질적인 학습 데이터 수집 표준으로 받아들여지고 있는 Caliper analytics와의 데이터 변환 및 상호운용성 확보가 필요함을 알 수 있었다. III부에서는 xAPI를 실제 적용한 해외 연구 사례를 간략하게 소개한 후 결론을 맺고자 한다. 

[참고문헌]    

교육부, 한국교육학술정보원 (2019) “2019 교육정보화백서”. 대구: 한국교육학술정보원. 

계보경, 임완철, 박연정, 손정은, 김정현, 박선규, 정태준 (2018). 지능형 학습 분석을 위한 데이터 수집․분석 API 고도화 연구(연구보고 RR 2018-9). 대구: 한국교육학술정보원.  

김민하, 안미리 (2015). 학습 분석의 데이터 유형과 응용 분야. 한국교육공학회 학술대회발표자료집, 2015(2), 409-421. 

남창우, 조다은 (2020). 대학교육 지원을 위한 오픈소스 LMS 기능지표 개발. 평생학습사회, 16(2), 137-164. 

손정은, 조용상 (2017). 학습 분석 참조모델 적용을 위한 시스템 요구사항 정의. 한국컴퓨터교육학회 학술발표대회논문집, 21(1), 57-60. 

안미리, 최윤영, 배윤희, 고윤미, 김민하 (2016). 학습분석학 국내 문헌 고찰: 로그 데이터를 이용한 실증연 구를 중심으로. 교육공학연구, 32(2), 253-291. 

유인식 (2020). "인공지능, 데이터 그리고 학습분석의 미래", 한국교육정보미디어학회.한국교육공학 회 2020 추계공동학술대회 워크숍 자료집, 2020. 10. 30  

이재호 (2018), "표준화 이슈리포트 : 학습 분석 데이터 수집 체계 표준 동향", 한국교육학술정보원. 

이지은 (2020). 에듀테크로 촉발되는 고등교육의 위기와 기회. Korea Business Review, 24(신년 특별호), 151-171. 

장시준 (2020). 원격교육 지원을 위한 국가수준 플랫폼 구축 방향. Korea Information Processing Society Review, 27(2), 41-46. 

정은미, 조용상 (2017). 학습 분석 표준화 동향 및 학습 분석 참조모델. 한국컴퓨터교육학회 학술발표대회논문집, 21(1), 61-64.  

정의석 (2016). 표준· 시험인증 기술 동향-학습 분석 기술 및 표준화 동향. TTA Journal, 76-82. 

조용상 (2016). 데이터 수집 API를 통해 저장된 이질적인 학습 데이터의 변환 체계 설계. 정보교육학회 학술논문집, 7(1), 75-80. 

최제영, 박충식, 최광선, 정의석, 김성진, 유인식 (2012). 스마트교육에서 발생하는 교육 빅 데이터 활용방안. 한국지능정보시스템학회 학술대회논문집, 144-148. 

Bakhouyi, A., Dehbi, R., Lti, M. T., & Hajoui, O. (2017). Evolution of standardization and interoperability on E-learning systems: An overview. In 2017 16th International Conference on Information Technology Based Higher Education and Training (ITHET) (pp. 1-8). IEEE. 

Bibiloni, T., Oliver, A., & del Molino, J. (2018). Automatic collection of user behavior in 360 multimedia. Multimedia Tools and Applications, 77(16), 20597-20614. 

CBinsights. (2020). The Edtech Market Map: 100+ Startups Building The Future Of Education, Retrieved from https://www.cbinsights.com/research/ed-tech-startup-market-map/  

Kevan, J. M., & Ryan, P. R. (2016). Experience API: Flexible, decentralized and activity-centric data collection. Technology, knowledge and learning, 21(1), 143-149. 

Kitchenham, B., & Charters, S. (2007). Guidelines for performing systematic literature reviews in software engineering. Technical Report EBSE-2007-01, Keele University (UK). 

Moher, D., Liberati, A., Tetzlaff, J., Altman, D. G., & PRISMA group. (2009). Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement.  

Panagiotakis, S., Papadokostaki, K., Vassilakis, K., & Malamos, A. G. (2018). Towards a novel and LMS-free Pervasive Learning System exploiting the Experience API. EAI Endorsed Trans. Creative Technol., 5(16), e2. 

Samuelsen, J., Chen, W., & Wasson, B. (2019). Integrating multiple data sources for learning analytics—review of literature. Research and Practice in Technology Enhanced Learning, 14(1), 11. 

Sun, X., Ye, Y., Yang, J., Hao, L., Ding, L., & Song, H. (2020). Research and implementation of u-learning system based on experience API. Journal of Information Processing Systems, 16(3), 572-587. 

Vázquez, M. M., Rodríguez, M. C., & Nistal, M. L. (2018). An xAPI application profile to monitor self-regulated learning strategies. IEEE Access, 6, 42467-42481. 

Vázquez, M. M., Rodríguez, M. C., & Nistal, M. L. (2015). Development of a xAPI application profile for self-regulated learning requirements for capturing SRL related data. In 2015 IEEE Global Engineering Education Conference (EDUCON) (pp. 358-365). IEEE. 

Vázquez, M. M., Rodríguez, M. C., & Nistal, M. L. (2015). xAPI-SRL: Uses of an application profile for self-regulated learning based on the analysis of learning strategies. In 2015 IEEE Frontiers in Education Conference (FIE) (pp. 1-8). IEEE. 

Vidal, J. C., Rabelo, T., Lama, M., & Amorim, R. (2018). Ontology-based approach for the validation and conformance testing of xAPI events. Knowledge-Based Systems, 155, 22-34.

인공지능 기반의 통합학습 플랫폼 차세대 LMS: LABS. (2020). Retrieved from https://hrd.hunet.co.kr/Contents/Lms 

Andy Hicken. (2019). eLearning Hype Curve: Our Predictions for 2019. Retrieved from https://webcourseworks.com/elearning-predictions-hype-curve-2019/ 

Josh Bersin. (2020). The Disruption of Digital Learning: Ten Things We Have Learned. Retrieved from  https://joshbersin.com/2017/03/the-disruption-of-digital-learning-ten-things-we-have-learned/ 

Yong-Sang Cho. (2015). More thinking about xApi and IMS Caliper - Structural/Syntactic & Ontological Mapping. Retrieved from https://www2.slideshare.net/zzosang/more-thinking-about-xapi-and-ims-caliper-structuralsyntactic-ontological-mapping?from_action=save