KOTE 모델을 활용한 정성 피드백 분석 예시 ①
단순히 숫자가 아니라 그 안의 생각들을 살펴봐야 합니다.
이전 포스팅을 통해 소개한 KOTE 모델을 알게 되면서 감성분석 시스템 개발 이후 느슨했던 일상에 다시금 소소한 재미가 찾아왔다. 이전 프로젝트들을 포함해서 그간 확보해 둔 텍스트는 이미 많았던 데다가 이후로도 교육 진행을 하면서 실시간으로 수집되는 데이터들이 있다 보니 그야말로 닥치는 대로 적용해 보면서 업무 데이터이긴 하지만 취미처럼 기존과의 차이점을 살펴봤던 것 같다. 그중 교육 관련 데이터에 적용했던 다양한 시도 중 스스로 의미 있었다고 생각한 몇 가지 사례들을 시리즈 형태로 정리해 보고자 한다.
결과지표가 같다고 해서 같은 것은 아닙니다.
지난 한 해, 데이터 리터러시를 주제로 5일간 진행되는 교육 프로그램을 새롭게 기획/개발하면서 꽤나 많이 고민하고 고생하였다. 과정을 성공적으로 론칭한 후에 구글캘린더에 남겨뒀던 스케줄을 돌이켜보니 과정을 준비하는 3~4개월가량의 시간 동안 5일 과정을 구성하는 3개 모듈(과목)의 파트너사들과 적은 경우는 10회의 대면 미팅을 진행했고, 많은 경우는 15회의 대면 미팅을 진행하였으니 그야말로 최선을 다해 흐름과 내용 측면에서 고민하고 검수하였음을 설명하는 수치라고 생각된다.
그렇게 공들여 준비한 프로그램의 첫 번 째 차수를 진행하면서 프로그램 전체에 대한 의견도 궁금했지만 못지않게 각각의 모듈(과목)에 대한 학습자들의 피드백도 확인했어야 하기에 각 모듈이 마치는 시점마다 과목 의견조사라는 이름의 의견조사를 진행하였다. 과목 의견조사는 문항 구성 상 약간의 차이는 있으나 앞선 프로젝트들을 통해 다룬 교육만족도 의견조사와 같은 맥락으로 결국 과목에 대한 5점 척도의 리커트 문항과 주관식 서술형 문항으로 구성되어 있다.
그중 데이터분석을 위한 Hard-skill 과목과 방탈출 실습 과목의 의견조사 결과가 제법 재미있는 결과를 보였다. 두 개 과목의 과목만족도 점수는 동일하게 4.86인 것으로 집계되었다. 데이터를 다루기 전이라면 ‘오 다행히 제법 잘 나왔네’ 하고 가슴을 쓸어내리며 가볍게 지나갔을 수도 있는 일이지만 명색이 DX대학 프로그램인 데다가 이전의 프로젝트들을 통해서 숫자만 보면 안 된다고 많은 사람들에게 외치고 다녔던 터라 단순히 두 과목의 결과지표에서 끝낼 것이 아니라 이면의 의미를 살펴볼 필요가 있었다.
동일한 과목 만족도를 보이는 과목에 대한 참가자들의 감정을 비교해 봅시다.
각각의 과목에서 수집된 텍스트 데이터를 활용해 KOTE 모델을 통해 확인한 결과, 표 형태로만 살펴봐도 각 과목에 대한 참가자들의 감정 상태가 다르다는 것을 확인할 수 있었다. 다만 표 형태로만 봐서는 차이가 한눈에 드러나지 않기에 가장 직관적이라 할 수 있는 바차트 형태의 시각화를 통해 비교해 보았다.
바차트로 표현한 Hard-skill(좌), 방탈출(우) 과목의 감정 분류고생한 후에 확인한 만족스러운 결과이기에 긍정의 감정을 우선 언급해 보자면 Hard-skill 과목에 대한 상위 감정은 “안심/신뢰”, “감동/감탄”, “고마움” 순으로 구성되어 있다. 반대로 방탈출 과목의 경우 “감동/감탄”, “기쁨”, “기대감” 순으로 구성되어 있음을 확인할 수 있다. 과목 별 기획 의도에 기반하여 감정을 해석해 보자면, Hard-skill 과목의 경우 Tool의 제약을 벗어나기 위해 다수의 참가자들이 가장 익숙하게 활용하고 있는 Excel을 통해 데이터 분석을 진행하였기에 “안심”이라는 감정이 최상위 감정으로 나타났을 것이다. 방탈출 과목의 경우 MZ들에게 하나의 문화로 자리 잡은 방탈출 게임 제작사와 함께 개발하였으며, 교육에서 다룬 데이터 관점의 이야기를 스토리상 녹여내어 문제로 다루고 있는 데다가 극단과의 계약을 통해 배우들이 NPC 형태로 등장하고 있으니 몰입도와 완성도에 대해 “감동”하고 “감탄”했을 수 있다고 생각한다. (사후에 raw data를 확인한 결과로도 실제로 각 과목에 대한 참가자들의 의견은 비슷한 느낌이었다.)
다음은 이어질 차수에 대한 개선 아이디어 도출을 위해 각 과목에 대한 부정 감정을 살펴보자면 Hard-skill 과목에 대한 부정의 감정은 “안타까움/실망”, “당황/난처”, “불평/불만” 순으로 구성되어 있다. 반대로 방탈출 과목의 경우 “안타까움/실망”이 그래프 상에 포함되어 있음을 확인할 수 있다.
정량지표가 같은 두 과목에 대한 “안타까움/실망”의 감정은 같은 의미일까?
Hard-skill 과목의 경우 “당황/난처”, “불평/불만”의 감정을 내포하고 있으나 상대적으로 후 순위이기에 양쪽 모두에게서 부정의 최상위 감정으로 표출된 “안타까움/실망”의 감정에 대한 확인이 필요했다. 당연히 참가자들의 부정 감정은 프로그램 기획 의도에 포함된 것이 아니기에 이 경우에는 이유에 대한 섣부른 예상보다는 raw data를 기준으로 확인이 필요했다. 다만 모든 의견을 살펴볼 필요 없이 감정 분류를 통해 각 과목에 대해 해당 감정을 포함한 문장들을 살펴보았다.
Hard-skill 과목 의견 중 “안타까움/실망”을 내포한 문장단순히 “강사의 설명이 빨랐으니 다음 차수에는 천천히 진행해야 한다”식의 해석을 할 것이라면 굳이 감정 분류까지 하며 살펴볼 이유가 없다. 배정된 3일 중 하루는 개인별 프로젝트 형태로 진행이 되어야 하기에 남아 있는 1.5일 내에 데이터 분석 프로세스 전체를 강의와 실습까지 소화해야 하는 Hard-skill 과목이다 보니 교육을 진행하는 강사 입장에서는 시간에 쫓기는 느낌을 받았을 것이다. 이러한 과목의 흐름이 학습자에게는 정신없이 진행되는 것처럼 받아들여졌을 수 있겠다 하는 생각이 들었다. 프로그램의 기획자로서 전체적인 관점에서 분량과 배정된 시간 조정 이 필요했고, 그렇게 개선 작업을 진행하였다.
방탈출 과목 의견 중 “안타까움/실망”을 내포한 문장반대로 방탈출 과목에 대한 “안타까움/실망”의 감정은 구분 상 부정의 감정이기는 하지만 내용상 극찬이라는 생각이 들었다. 이렇게 재밌는 교육은 좀 더 길게 해 주면 좋겠다는 이야기를 데이터 교육 중에 들을 수 있어 다행이었고, 앞서 언급한 15회 미팅의 주인공인 방탈출 게임 제작사 대표님께 참가자들의 피드백 내용과 함께 감사의 인사를 전달하였다.
이상의 2개 과목은 모두 과목 의견조사 4.86을 기록한 꽤나 성공한 프로그램에 대한 분석 결과이다. 하지만 4.86이라는 단순한 숫자 이면에 학습자들은 매우 다른 감정으로 그들의 경험에 대한 생각을 말하고 있다. 간결한 숫자도 좋지만 데이터의 중요성에 공감하고 있다면, 그리고 데이터 중심으로 일하고자 한다면 그 너머에 담긴 의미를 발견하기 위해 노력할 필요가 있다.
