대규모언어모델의 부상과 지능형 튜터링 시스템의 발전방향
Ⅰ. 서론
컴퓨터 기술을 교육과 학습에 적용하려는 시도는 1970년대부터 시작되었다. 1세대 컴퓨터 지원 교육 도구는 CAI(Computer-Aided Instruction) 시스템이라고 불렀는데, 초기의 CAI는 시스템 개발 과정에서 교수학습에 관한 이론이 충실하게 적용되지는 않았다(정진우, 1992).
1984년 블룸(Bloom)이 주장한 일대일 교육의 높은 효과성과 당시 유행하던 인공지능 기술이 맞물려 연구자들은 지능형 튜터링 시스템(Intelligent Tutoring System, 이하 ITS)이라는 개념을 고안했다(Sleeman & Brown, 1982). ITS는 인간 교사의 개입 없이 학습자에게 즉각적이고 맞춤화된 교육과 피드백을 제공하는 컴퓨터 시스템이라는 목표를 설정하고 등장하였다(정혜선, 2020).
연구자들 사이에서는 ITS가 온전히 작동하기 위해서 네 가지 구성 요소가 필요하다는 공통된 견해가 있고(Nwana, 1990; Freedman, 2000; Nkambou et al., 2010), 네 가지 요소는 도메인 모델(Domain Model), 학습자 모델(Student Model), 튜터링 모델(Tutoring Model), 사용자 인터페이스 모델(User Interface Model)로 구성된다. 각 모델의 역할과 의미는 <표 1>과 같다.
네 개의 모델은 개인 맞춤형 학습이라는 ITS의 궁극적 목표를 달성하기 위해 당위적으로 갖추어야 할 기능적 요소인데, 당시의 기술 수준을 고려하지 않은, 다분히 이상적인 진술에 가깝다. 각 모델은 내용적으로 서로 중복되는 지점이 있고, 시스템 개발의 관점에서 모델을 실제로 구현하기 위한 구체적인 알고리즘이나 모델 간의 상호작용 방식이 정의되거나 표준화되지는 않았다.
지금까지 다양한 ITS가 개발되었지만 대부분 도메인 모델과 학습자 모델 관점에서 접근했는데, 이는 도메인 모델과 학습자 모델에 비해 튜터링 모델과 사용자 인터페이스 모델을 구현하기에는 최근까지도 인공지능 기술이 충분히 발전하지 못했던 것이 큰 이유 중 하나였다.
그러나 현재 급속하게 발전하고 있는 대규모 언어 모델(Large Language Model, 이하 LLM)은 그동안 지지부진했던 튜터링 모델과 사용자 인터페이스 모델의 발전에 전환점을 마련해 줄 가능성이 엿보인다. 개인 맞춤형 학습 구현이라는 ITS의 목표를 달성하기 위해서는 네 개의 모델이 서로 유기적으로 통합되어야 하고, 이런 관점에서 LLM이 어떠한 역할을 할 수 있을지 탐색해 본다.
Ⅱ. 기존 ITS의 특성과 한계
ITS가 오랫동안 관심을 받아 온 이유는 개인 맞춤형 학습을 구현하기 위한 현실적인 방안이라고 인식되었기 때문이다. 그러나 개인 맞춤형 학습의 이론적 토대는 견고하지 않다. 예를 들어 학습 과정을 개인별로 맞춘다고 했을 때, 무엇을 어떻게 맞춰야 하는지, 명확한 기준이나 표준이 없고, 구체적인 방법론을 실행했을 때의 효과성도 충분히 검증되어 있지 않다.
ITS 개념이 시작된 1980년대에는 학습자의 성격, 학습 성향, 흥미, 목표 등, 정서적인 특성을 상시적으로 수집하고 측정하기 어려웠고, 따라서 초기에는 학습자의 인지적 특성에 초점을 두고 ITS를 개발했다. 인지적 특성이란 학습자의 현재 지식 상태를 의미하며, 학습자의 문제 풀이 결과를 통해 간접적으로 측정하는 방식으로 접근했다.
학습자의 지식 상태를 측정하는 학습자 모델은 전체 학습 내용 체계, 즉 도메인 모델과 밀접한 관계에 있다(Ramesh & Rao, 2012). 하나의 도메인 지식을 구성하는 학습 개념 간의 상호 위계 구조와 연관성을 파악하면 학습자의 현재 지식 상태에 따라 적절한 학습 경로를 제시할 수 있기 때문이다. 도메인 지식을 모델링하고 학습자의 지식 상태를 측정하는 방법은 크게 지식 기반과 데이터 기반 방식으로 구분된다.
1. 지식 기반 접근 방식
지식 기반 접근 방식은 1980년대 주류 인공지능 구현 기술이었던 전문가 시스템(Expert System)의 영향을 받았다. 이 방식은 특정 도메인 지식이 컴퓨터 프로그램에 의해 처리될 수 있다는 사고에 기반을 두고 있는데, 이를 위해서는 지식이 잘 구조화되고 모듈화가 가능해야 한다(Alkhatlan, & Kalita, 2018). 초기의 ITS는 대규모 데이터 없이도 인간 전문가의 투입으로 지식 기반 도메인 모델을 구축할 수 있었고, 그런 영향으로 최근까지도 ITS는 지식 체계가 잘 구조화된 도메인(수학, 과학 등) 위주로 개발되어 왔다.
[그림 1]은 전문가가 미리 구축해 놓은 도메인 모델에서 학습자의 현재 지식 상태에 맞춰 학습 경로가 제시되는 과정을 묘사하고 있다. 지식 기반 방식은 특정 도메인 지식을 모델링하고 유지하는데 비용이 많이 들고, 기존 도메인 모델을 새로운 도메인 분야로 이전하기 어려워 크게 확산되지는 못했다(Tuomi, 2018).
[그림 1] 지식 기반 도메인 모델 사례 https://www.aleks.com/about_aleks/tour_ai_pinpoint2. 데이터 기반 접근 방식
2000년대 이후 인터넷이 본격적으로 보급되고, 대량의 데이터 수집이 가능해짐에 따라 빅데이터에서 패턴을 추출하고 학습하는 방식이 새로운 인공지능 구현 방식으로 확고히 자리 잡았다. 이런 흐름 속에서 ITS도 데이터 기반 방식으로 진화해 왔다. 특정 도메인을 구성하는 학습 개념들에 대한 문제 풀이 데이터를 이용해 학습 개념 간의 의미망을 구성하고, 각 학습 개념에 대한 학습자의 향후 문제 풀이 결과를 예측하는 지식 추적(Deep Knowledge Tracing)이 대표적인 모델이다(Piech et al., 2015).
데이터 기반 방식은 도메인 모델과 학습자 모델 구축에 인간의 개입 없이 자동화가 가능하다는 장점이 있지만 데이터가 대규모로 축적되기 전에는 신뢰할 수 있는 모델을 구축할 수 없다는 문제(Cold Start), 모델이 만들어 내는 결과를 해석하기 어려운 블랙박스(Black Box) 모델 문제가 여전히 해결되지 않았다. 그럼에도 지식 기반 방식에 비해 개발과 유지 보수가 쉽고, 다른 도메인으로의 확장 용이성 때문에 앞으로는 지배적인 방식이 될 것으로 예상된다.
[그림 2] 데이터 기반 도메인 모델과 지식 상태 추적3. 기존 ITS의 한계
지금까지의 ITS는 시스템의 정의에 비추어 보았을 때 완전한 개인 맞춤형 학습에 도달하지 못했다. 우선 학습자의 지식 상태에만 초점을 두고, 정서, 동기, 환경적 변수들은 고려하지 않았고, 교사와 학생 간의 상호작용에 해당하는 튜터링 모델과 사용자 인터페이스 모델은 초기 시스템에 비해 그다지 발전하지 못했다. 그 결과, ITS가 표방하는 목표와는 다르게 ITS가 개인 맞춤형 학습 시스템인지, 아니면 단순히 학습 콘텐츠를 선형적인 방식에서 규칙 기반의 비선형적인 방식으로 전달하는 시스템인지 정체성이 모호했다.
Ⅲ. LLM의 부상과 교육적 의미
1. LLM의 본질적 기능과 교육적 활용
챗GPT로 대표되는 LLM은 인간이 작성한 텍스트에 내재된, 논리와 추론의 패턴을 학습한 인공지능 모델이다. LLM의 본질적 기능은 인간의 논리와 인식 체계에 부합해 보이는 텍스트를 확률 기반으로 생성하는 데 있다. 따라서 생성된 텍스트의 합리성은 일정 기준을 넘어서지만 정확도와 사실관계 확인에 대해서는 완전함을 보장하지 않는다.
환각이라고 표현되는 이 문제는 LLM의 놀라운 능력이 ITS의 도메인 모델과 학습자 모델에는 아직 적용하기 어렵다는 점을 시사한다. 즉, 특정 도메인 지식이나 학습자에 대한 평가 결과가 그럴듯해 보여도 오류가 있을 가능성이 있다면 교육적 차원에서는 허용하기 어렵다. 최근 개발되는 대부분의 에듀테크 제품은 LLM을 적극적으로 도입하고 있는데, 챗GPT가 비윤리적인 대화를 봉쇄해 놓은 것처럼 수치 계산 문제 풀이나 사실 관계를 확인하는 대화 내용은 제한하는 방식으로 개발되고 있다.
2. 튜터링 모델, 사용자 인터페이스 모델과의 연결성
ITS에서 튜터링(Tutoring)은 학습자에게 이미 노출된 지식을 교수자와의 언어적 교환을 통해 완전한 지식 체계로 형성해 가는 과정을 의미하고(Woolf & McDonald, 1984), 사용자 인터페이스 모델은 이러한 언어적 교환을 가능하게는 기술적 수단을 제공한다. ITS의 이런 높은 수준의 언어적 요구 사항은 LLM의 기술적 특성과 부합한다. 과거에는 텍스트의 의미와 맥락을 보존하는 자연어처리(Natural Language Process) 기술 수준이 낮았기 때문에 튜터링 모델과 사용자 인터페이스 모델을 현실에서 제대로 구현할 방법이 없었고, 자연스레 두 모델에 대해 덜 주목하는 결과로 이어졌다.
기존 ITS의 튜터링 모델은 일반적으로 문제 풀이 결과에 대해 정해진 규칙대로 피드백을 제공하거나 결손이 생긴 선행 학습 콘텐츠 추천, 더 낮은 난이도의 문제 제공 등, 도메인 모델과 학습자 모델에 의존적이었다. 그러나 최근에는 문제 풀이 결과에 따른 사후적 튜터링 방식이 아니라 LLM을 이용해 문제를 풀어 가는 과정에서 소크라테스식 문답법으로 힌트를 제공하고, 학습자가 스스로 문제 해결 능력을 갖추도록 지원하는 교수법으로 진화하고 있다. 칸아카데미와 오픈 AI가 공동으로 개발한 칸미고(Khanmigo)가 대표적인 사례다.
이런 언어적 교환 과정에서 LLM이 학습자의 현재 정서와 동기, 욕구를 반영해 대화의 형태와 분위기를 조절할 수 있는데, 이는 기존 ITS가 학습자의 지식 상태 기준으로만 맞춤형 학습을 설계하던 관행과 비교하면 진일보한 방식이다.
3. LLM의 한계와 향후 발전 방향
LLM은 유창한 언어 생성 능력에도 불구하고 대화의 주도성, 상호작용 방식, 교육학적 지식 보유 측면에서 인간 튜터의 대화 방식과는 차이가 있다(Nye, Mee, & Core, 2023). 즉 대화의 방향성을 주도하지 못하고, 질문에 대한 답변 위주의 대화를 이어가며, 교육과 학습에 대한 이해가 부족하다는 한계가 있다. Swigger(1991)가 ITS 개발을 위해 제안한 대화적 교수(Tutoring), 자문(Consultation), 비판적 안내(Critiqueing) 수준에는 아직 도달하지 못했지만, 전문가들은 2030년대 초반쯤이면 인공지능이 지원(Assisting), 협업(Collaborating), 코칭 및 중재(Mediating), 멘토링(Mentoring) 역량을 갖출 것으로 예측하고 있다(Wayne Holmes et al., 2019)
한편, LLM의 환각 문제를 개선하기 위해 검색증강생성(Retrieval Augmented Generation, 이하 RAG) 기술이 도입되고 있는데, 이는 LLM이 사용자의 질문에 대답하기 전에 먼저 지식이 저장된 DB에서 검색한 내용을 기반으로 대답하는 방식이다. 모든 지식을 DB에 저장할 수 없다는 본질적인 문제는 있지만 특정 범위, 특정 영역의 지식에 한정해서 RAG를 도입하고, ITS의 도메인 모델과 학습자 모델에 통합되는 방향으로 발전할 것으로 예상된다.
Ⅳ. 결론
ITS가 완전한 개인 맞춤형 학습을 달성하기 위해서는 이론적으로 네 가지 모델의 유기적 통합이 필요하지만 그동안 기술적 한계로 인해 제한된 범위 내에서만 목표를 달성할 수 있었다. 그러나 최근 LLM을 포함한 다양한 인공지능 알고리즘이 개발되었고, 이는 튜터링 모델과 사용자 인터페이스 모델의 획기적인 발전 가능성을 시사하고 있다.
한편, 기술의 발전에도 불구하고 네 가지 모델의 통합 운영과 효과성에 대한 연구는 여전히 미진한데, 이는 네 가지 모델이 동등한 수준으로 발전하지 못했던 것이 하나의 이유였다. LLM은 기존 ITS가 학습자의 인지적 특성에만 초점을 맞추는 방식에서 벗어나, 인공지능 튜터와 학습자와의 풍부한 언어적 의사 교환을 활성화시켜 학습자에 대해 다차원적으로 평가하고, 결과적으로 더 포괄적인 측면에서의 개인별 맞춤형 학습을 설계할 수 있는 가능성을 제시하고 있다.
- 최재원, 한국교육정보미디어학회 2024년 춘계학술대회
참고문헌
박미혜, 박정열. (2022). 에듀테크 산업에서 인공지능을 활용한 사례 비교- IBM Watson Talent와 Riiid R.Inside 중심으로. 교육공학연구, 38(2), 333-368,
정혜선. (2020). 인공지능과 인지과학: 기회와 도전. 한국심리학회지: 일반, 39(4), 543-569,
정진우. (1992). CAI(Computer Assisted Instruction) 프로그램이 컴퓨터와 과학 교과에 대한 학습자의 태도에 미치는 영향. 한국과학교육학회지, 12(1), 47-60.
Alkhatlan, A., & Kalita, J. (2018). Intelligent tutoring systems: A comprehensive historical
survey with recent developments. International Journal of Computer Applications, 181(43), 1-20.
Burns, H. L., & Capps, C. G. (2013). Foundations of intelligent tutoring systems: An introduction. In Foundations of intelligent tutoring systems (pp. 1-19). Psychology Press.
Freedman, R (2000). "What is an intelligent tutoring system?". Intelligence. 11 (3): 15–16.
Nkambou, R., Mizoguchi, R., & Bourdeau, J. (2010). Advances in intelligent tutoring systems. Heidelberg: Springer.
Nye, B. D., Mee, D., & Core, M. G. (2023). Generative large language models for dialog-based tutoring: An early consideration of opportunities and concerns. In AIED Workshops.
Nwana, H. S. (1990). "Intelligent tutoring systems: An overview". Artificial Intelligence Review. 4 (4): 251–277.
Ritter, S., Anderson, J., Koedinger, K., & Orbett, A. (2007). Cognitive tutor: Applied research
in mathematics education. Psychonomic Bulletin & Review, 14(2), 249-255.
Piech, C., Bassen, J., Huang, J., Ganguli, S., Sahami, M., Guibas, L. J., & Sohl-Dickstein, J. (2015). Deep knowledge tracing. Advances in neural information processing systems, 28.
Sleeman, D., & Brown, J. S. (1982). Intelligent tutoring systems (pp. 345-pages). London: Academic Press.
Tuomi, I. (2018). The impact of artificial intelligence on learning, teaching, and EDUCATION. European Union Joint Research Centre. Publications Office of the European Union.
Wayne Holmes, Maya Bialik, Charles Fadel. (2019). Artificial Intelligence In Education: Promises and Implications for Teaching and Learning. Independently published
Woolf, B. P., & McDonald, D. D. (1984). Building a computer tutor: Design issues. IEEE computer, 17(9), 61-73.
VanLehn, K., Lynch, C., Schulze, K., Shapiro, J., Taylor, L., & Wingersgill, M. (2005). The
andes physics tutoring system: Lessons learned. International Journal of Artificial Intelligence in
Education, 15(3), 147-203.
Ramesh and Rao(2012), Tutoring and Expert Modules of Intelligent Tutoring Systems, IEEE Fourth International Conference on Technology for Education, Hyderabad, India, 2012, pp. 251-252,
