남들은 감성분석을 활용해서 무엇을 하고 있을까?
Sentiment analysis in education research
모래 위에 성을 짓는 듯한 느낌이 든다. 하고 싶은 것도 많고, 잘하고 싶다는 생각도 드는 반면 기반이 부족한 상태로 새로운 것을 갈구하고 있는 것은 아닐까 하는 불안함을 동시에 느끼게 되는 요즘이다. 통계적 지식도, 데이터 분석도, 관심 있는 텍스트 관련 분석 기법들도 무엇하나 탄탄하게 다져고 있다거나 깊어지고 있는 중인지 잘 모르겠다.
마음이 헛헛할 땐 역시 뭐라도 좀 찾아서 공부를 하면 좋다. 그래서 뭐부터 찾아보면 좋을까 하다가 이러한 활동의 시작점이었던 교육 중 수집된 정량/정성 데이터 분석에 대한 내용부터 하나씩 다시 다져보면 좋겠다는 생각으로 구글 학술 검색을 열고 관련 연구들을 찾아본다. 그리고 잘 모르겠을 땐 관심 주제어에 대한 동향 연구를 보는 게 좋다. 그래서 SSCI급 저널에 등재된 감성분석 연구동향부터 찾아서 내용을 정리해 보았다.
Sentiment analysis in education research: a review of journal publications
(https://www.tandfonline.com/doi/full/10.1080/10494820.2020.1826985)
1. Introduction
감정의 정의와 역할
감정은 인간 사회에서 나타나는 상황과 관련된 개인의 경험과 반응을 의미합니다. 감정은 인간 인지와 삶에 중요한 역할을 하며, 학습 맥락에서 감정은 학생들의 동기와 학습 과정의 결과에 영향을 미칩니다. 따라서 학생들의 감정 정보를 적시에 발견하고 관리하는 것은 학생들의 잠재적 요구를 이해하고, 그에 맞는 제안이나 내용을 제공하는 데 중요합니다. 최근에는 감정을 중심으로 하는 교육 연구의 중요성이 점점 커지고 있으며, 감정 인식, 모니터링, 표현, 개입에 대한 관심이 증가하고 있습니다.
교육에서 감정의 중요성
특히 온라인 학습 환경, 예를 들어 대규모 공개 온라인 강좌(MOOCs)에서는 학생들이 온라인 존재감을 확립해야 합니다. 이 맥락에서 사용자 의견을 텍스트에서 식별하고 이를 감정 또는 감정 상태로 분류하는 과정인 감정 분석(SA)은 유망한 방법입니다. SA는 특수한 하드웨어가 필요 없고 비용 효율적이며, 연구실에서 교실 환경으로의 적용이 용이하다는 점에서 독특한 장점을 가지고 있습니다.
감정 분석(Sentiment Analysis, SA)의 교육적 적용 및 중요성
감정 분석은 학습 과정에서 발생하는 다양한 감정을 분석하여 학생들의 학습 경험을 개선하고, 교사들이 학생들의 감정 상태를 이해하여 보다 효과적인 교육 전략을 수립하는 데 도움을 줍니다. 이를 통해 학습자는 자신의 감정을 인식하고 조절할 수 있으며, 교사는 학생 만족도를 직관적으로 파악할 수 있습니다.
연구 목적 및 연구 질문
교육 연구에서 SA의 일반적인 특성은 무엇인가?
선택된 논문에서 사용된 접근 방법과 고려된 감정 범주는 무엇인가?
이러한 연구의 연구 목적과 주요 발견은 무엇인가?
2. Method
2.1. Search Strategy
연구는 다섯 개의 데이터베이스(Springer, ISI Web of Knowledge, IEEE Explore, Educational Resources Information Center (ERIC), ScienceDirect)를 통해 검색을 수행했습니다. 주요 검색 구문은 "sentiment analysis in education/learning"이었으며, "text AND (sentiment OR emotion) AND (education OR learning)"을 사용하여 병행 검색을 수행했습니다. 모든 검색은 제목, 초록, 키워드에 한정되었습니다.
2.2. Study Selection Process
2020년 4월 6일에 마지막 검색을 수행하여 총 1014편의 논문을 수집했습니다. Endnote를 사용하여 235편의 중복 논문을 제거하고, 나머지 779편을 두 명의 저자가 독립적으로 검토했습니다. 선택 과정에서는 논문의 제목, 초록, 키워드를 포함 및 제외 기준에 따라 분석했습니다. 최종적으로 41편의 논문이 데이터 추출을 위해 선택되었습니다. 대부분의 논문은 SSCI/SCI 저널에서 수집되었습니다.
2.3. Data Extraction and Coding
데이터 추출 및 코딩은 Endnote와 MS Excel 스프레드시트를 사용하여 수행되었습니다. 연구 질문에 따라 데이터 추출 및 코딩은 7개의 열로 나누어졌습니다. Cohen’s kappa 분석을 통해 상호 평가자 신뢰도는 0.93으로 계산되었습니다. 불일치하는 코딩 결과에 대해 합의를 이루기 위해 회의를 개최한 후 코딩 절차를 완료했습니다.
3. Results
3.1. What are the General Characteristics of Educational Research about SA?
41편의 논문 중 63%는 고등 교육을 대상으로 하였으며, 24%는 MOOCs(Massive Open Online Courses)를 대상으로 했습니다. K-12 교육을 다룬 논문은 단 한 편에 불과했습니다. 데이터 크기 분포를 보면, 1001-10,000개의 데이터를 사용한 논문이 34%, 10,001-100,000개의 데이터를 사용한 논문이 34%로 가장 많았습니다. 학습 도메인 분포에서는 'Engineering and Technology' 분야가 17%로 가장 많았으며, 'Arts and Humanities'와 'Social Science and Management'가 각각 7%를 차지했습니다. 이해관계자 분포에서는 교사 또는 교육자가 63%로 가장 많았고, 관리자가 24%, 학생이 17%를 차지했습니다.
3.2. What Approaches Employed, and the Sentiment Categories Considered in the Selected Papers?
대부분의 연구(41%)는 사전 기반 접근법과 기계 학습 접근법을 결합한 혼합 접근법을 사용했으며, 기계 학습 접근법(29%), 사전 기반 접근법(27%), 수동 접근법(7%)이 그 뒤를 이었습니다. 감정 범주로는 긍정적 및 부정적 감정 상태가 가장 많이 사용되었지만, 일부 연구에서는 더 정교한 감정 분류를 통해 학생들의 혼란, 지루함, 불안과 같은 부정적 감정을 중점적으로 다루기도 했습니다. 이러한 세밀한 감정 상태는 학습 성과를 크게 향상시킬 수 있는 것으로 나타났습니다.
3.3. What are the Research Objectives and Key Findings of These Studies?
3.3.1. Research Objectives
가장 일반적인 연구 목적은 SA 방법 또는 시스템 설계(39%)였으며, 학습자의 만족도, 태도, 관심 주제를 조사하는 연구(34%)가 그 뒤를 이었습니다. 감정, 행동, 성과, 성취 간의 관계를 조사한 연구는 17%, 교사의 교수 성과를 평가하는 연구는 10%를 차지했습니다.
3.3.2. Key Findings
3.3.2.1. Application of SA Methods or Systems
SA는 다양한 시스템(예: 관리 시스템, 온라인 학습 시스템, 평가 시스템)에 통합되어 학생 피드백의 실시간 분석을 가능하게 했습니다. 또한, SA를 통해 학생의 만족도를 분석하여 학습 초기 경고를 제공하거나, 부정적 감정이 나타날 때 적시에 교사가 개입할 수 있도록 도왔습니다. 시각적 피드백을 통해 학생들은 자신의 감정을 인식하고 조절할 수 있으며, 교사들은 학생 만족도를 직관적으로 파악할 수 있었습니다.
3.3.2.2. Understand Learning Behavior and Performance
학습 행동과 감정의 상호 작용은 다양한 학습 감정을 유발하며, 그룹 지향 학습에서 더 많은 감정과 상호 작용 행동이 나타납니다. 긍정적 감정 노출은 학습자 생존에 가장 큰 긍정적 영향을 미치며, 감정 인식과 피드백이 학습 성과에 긍정적인 영향을 미칩니다. 또한, 감정의 시간적 특성을 고려하면 위험에 처한 학생을 식별하고 개입하는 데 도움이 됩니다.
3.3.2.3. Improve the Process of Teaching and Learning
SA 기술을 통해 과정 평가를 개선하고 의사 결정 과정을 향상시킬 수 있습니다. SA는 소프트웨어 사용에 대한 태도를 이해하고, 학습 플랫폼에서 학생의 학습 경험을 탐구하는 데 유용합니다. 고등 교육 기관이 생활비를 지원하고, 영어 강좌를 제공하며, 국제적 환경을 조성하면 온라인에서 더 매력적일 수 있습니다. 또한, SA를 통해 교사의 교수 성과를 평가하고 우수한 교사를 선발할 수 있습니다.
4. Discussion and Conclusion
4.1. Incorporation of SA into Education Research
통계 분석에 따르면, 2010년부터 2020년까지 41편의 리뷰 논문이 발표되었으며, 2014년 이전에는 단 한 편의 논문만이 발표되었습니다. 그 이후로 SA 관련 논문 수는 급격히 증가하여 2019년에 최고조에 달했습니다. 이는 SA가 교육 연구에서 점점 더 중요한 역할을 하고 있음을 반영합니다. K-12 맥락에서의 연구가 적은 이유는 주로 텍스트 기반 SA 방법을 직접적으로 사용하기 어려운 면대면 수업이 많기 때문입니다. 향후 연구에서는 젊은 학생들에 대한 SA를 강화할 필요가 있습니다. 대부분의 연구는 10,000개 이하의 작은 데이터셋을 사용했으며, 이는 결과의 신뢰성과 관련성을 감소시킬 수 있습니다. 따라서, 더 큰 데이터셋을 사용하는 것이 권장됩니다.
4.2. Effective Approaches in SA in Education Research
대부분의 연구(70%)는 기계 학습 접근법과 혼합 접근법을 적용했습니다. 이러한 접근법은 대규모 데이터의 자동 SA를 수행할 수 있지만, 감정 측면의 내부 이유를 발견하는 데는 한계가 있습니다. 미래 연구는 설문지나 인터뷰와 같은 정성적 방법과 결합하여 결과를 검증하고 학습 감정의 심리적 동기를 탐구하는 것이 좋습니다. 특히, 신경망을 대표하는 심층 학습 기술(CNN, RNN)이 SA 연구에서 널리 사용되고 있으며, 그 분석 결과는 전통적인 기계 학습보다 우수합니다.
4.3. Implications for SA in Education Research
SA의 교육적 적용은 2014년 이후 급격히 발전하였습니다. 따라서 SA 방법 또는 시스템 설계에 전념하는 연구들이 있습니다. 동시에, 감정, 동기, 인지 사이의 관계를 신뢰할 수 있는 SA 방법으로 탐구하는 것이 중요합니다. 그러나 41편의 연구 중 이러한 관계를 탐구한 연구는 없었으며, 이는 중요한 미래 연구 방향이 될 수 있습니다. 또한, 거의 모든 학습 응용 프로그램과 플랫폼은 미래에 학습자 감정을 감지하고 모니터링하는 기능을 갖추게 될 것으로 예상됩니다. 교육 분야의 연구자들은 SA 프로세스의 모듈화를 가속화하여 관련 플랫폼이나 환경에 통합하는 것이 필요합니다.
SA는 교육 분야의 관련 시스템을 강화하고 시각적으로 결과를 제시하여 교사나 교육자가 학습 개입을 수행할 수 있도록 합니다. 따라서 학습자의 모델에 감정을 통합하여 학습 시스템의 감정 인식 및 조정 능력을 향상시키고, 궁극적으로 학생의 학습 경험을 향상시키는 것이 권장됩니다. 감정, 행동, 성과 간의 특정 패턴이 있는지에 대한 연구는 거의 없으며, 이는 더 많은 주목이 필요합니다. 또한, 감정, 행동, 성과에 대한 인구 통계학적 특성(예: 성별, 연령 그룹, 학문적 배경)의 영향도 연구되어야 합니다.
두 가지 감정이 동시에 든다. 우선 가만히 아쉽다는 생각을 하는 것에 비해 역시 뭐라고 찾아서 읽고 정리해 나가는 작업이 지식을 채움과 동시에 한 편으로는 머리를 가볍게 하는 것 같다. 잡념을 버리고 정돈된 지식으로 채우는 과정에서 느껴지는 감정이라는 생각을 하게 된다.
다만 업무적으로 관련성이 높은 교육 분야에서의 감성분석을 활용한 연구들이 잘 정리된 페이퍼 이기는 한데, 뭔가 아쉽다는 느낌도 있다. 아무래도 2020년 발행된 아티클이다 보니 기법 측면에서 이전 방식으로 진행된 연구들에 대한 내용을 많이 담고 있다. 남들은 BERT 기반으로 혹은 최근의 새로운 방법론을 활용해서 감성분석을 어떻게 진행했는지를 살펴보고 싶었던 건데.. 우선은 이정도 정리로 남겨두고, 이후 시점에 진행된 연구들을 따라 읽어봐야겠다.
