KOTE 모델을 활용한 정성 피드백 분석 예시 ②

단순히 숫자가 아니라 그 안의 생각들을 살펴봐야 합니다.

동일한 교육 프로그램 내 과목 간 의견조사 비교가 그러했듯이 KOTE 모델을 활용해서 감정을 들여다보는 것은 제법 재미있는 작업이었다. 아무래도 수집된 텍스트의 raw data를 그대로 들여다보는 방식이나 감성분석을 통해 보았던 긍부정 수준의 분석 방식보다 세분화해서 살펴볼 수 있다는 점에서 호기심을 가지고 이런저런 텍스트들에 적용을 해봤던 것 같다. 이번 글에서는 교육 중 수집된 텍스트 데이터에 KOTE 모델을 또 다른 방식으로 적용 후 활용했던 몇 가지 사례를 소개하고자 한다.

교육 중 사람들은 어떤 감정의 변화를 경험할까?

코로나 시기부터 현재까지 교육을 진행하면서 교육의 내용이나 진행 방식에 관계없이 반드시 활용하고 있는 하나의 장치가 있다. 이전 포스팅에서도 소개한 바 있는 Daily Reflection이다. 어쩌면 별로 새로울 것 없이 다른 HRDer들도 비슷한 활동을 하고 있는지는 모르겠으나 어쨌든 다른 레퍼런스 참고 없이 코로나 기간 동안 순전히 스스로 고안해 낸 것이기에 많은 애정을 담아서 지금까지도 잘 활용하고 있는 방식이다. 

이해를 돕기 위해 Daily Reflection에 대해 다시 한번 간략히 언급하자면 매일 교육 종료 시점에는 구글 스프레드시트를 활용해서 그날그날의 수업 이해도를 5점 척도의 리커트로 수집하고, 당일 학습에 참여하는 동안 떠오른 생각이나 업무 적용 계획과 같은 정성 의견을 캐주얼한 문장 형태로 작성하도록 하는 것이다. 이 정보를 통해 교육 참가자들의 분위기를 감지하고, 이해도와 작성 내용을 검토해 교육 기간 중 완급 조절이 가능하다.

교육 종료 시점 작성하는 Daily Reflection 예시

분석 대상 프로그램은 5일 간 진행되는 데이터 리터러시에 대한 교육 프로그램으로 과정 시작 전부터 1, 2, 4일 차 총 4회에 걸쳐 Daily Reflection 데이터를 수집하고 있다. (3일 차에는 전체 과정을 구성하는 첫 번째 모듈이 종료되는 시점이기에 과목 의견조사를, 마지막인 5일 차에는 과정 전체에 대한 의견조사로 대체하고 있다.) 해당 교육에서 일차 별 수집된 텍스트 데이터를 활용해 일차 별 감정 패턴을 확인해 보고 싶었다.

파이 차트(좌)와 방사형 차트(우)를 통해 살펴본 일차 별 감정 구성

KOTE 모델을 활용한 감정 분류 이후 파이차트와 방사형으로 시각화를 진행한 결과물이다. 각각을 들여다보는 것은 흥미로운 일이지만 뭔가 한눈에 잘 보이는 것 같은 느낌은 들지 않았다. 여러 분석 결과를 어쨌든 시각화까지 하다 보니 첫눈에 끌리지 않으면 망한 분석이라는 생각을 하게 된다. 단순히 색조합이 예쁘고 말고의 문제가 아니라 선택한 차트의 종류를 통해 전하고자 하는 메시지가 잘 드러나는지 여부인 것 같다. 아무튼 파이차트와 방사형은 그렇지 않다는 생각이 들었다. 

그러고 나서 데이터의 특성을 다시 살펴보니 교육 과정 만족도 평가와 달리 Daily Reflection은 교육 시작부터 일차 별 종료 시점에 수집되고 있기에 일종의 시계열 성격을 띠는 텍스트임을 생각할 수 있었다. 그렇기에 하나의 차트 안에서 교육 기간 중 프로그램 참가자들이 겪는 감정의 변화를 확인해 보기로 했다. 

일차 별 감정 변화

빙고!

여러 감정들이 섞여 있지만 이 차트가 마음에 들었던 것은 3가지 감정을 중심으로 정리 가능했다.

  1. 과정 시작 시점 교육 참가자들에게 드러나는 가장 큰 감정은 “기대감”이다.

  2. 과정 시작 시점 교육장 내의 참가자들에게 “기쁨"이라는 감정은 없다.

  3. 서서히 스멀스멀 올라가다가 Daily Reflection 작성 마지막 날에 정점을 찍는 감정은 “깨달음"이다. 

현업의 바쁜 일상을 뒤로하고 교육에 참석한 사람들에게 과정 첫날 웃음을 강요하지 않아야겠다는 생각이 들었다. 그리고 뭔가 배움과 공감이 중요한 데이터 리터러시를 주제로 한 교육 프로그램에서 교육이 진행되는 동안 깨달음의 감정이 우상향 하는 것에 기획자로서 안도감이 들었다.

교육 프로그램 품질 개선에 세분화된 감정을 활용하면 어떨까?

사실 이번 사례는 너무나 간단하기에 별 다른 설명은 생략해도 되리라 짐작한다.

동일 프로그램 내 차수 간 감정 비교

동일한 교육 프로그램을 진행함에 있어 1 차수 종료 후, KOTE 모델을 활용해 교육에 대한 정성의견 내 감정을 확인하였다. 과정 개선을 위해 그중 부정의 감정인 “안타까움/실망", “불평/불만", “놀람" 등에 주목하여 해당 감정 담긴 문장의 내용 확인 후 강사와 함께 보완하는 쪽으로 미팅을 진행하였다. 이어 진행된 2 차수 종료 후 동일한 방식으로 참가자들의 감정을 확인한 결과 과정 만족도가 소폭 상승하는 것과 1 차수의 부정 감정이 표출되지 않는 것을 확인할 수 있었다. 물론 각각의 차수에 참가한 서로 다른 참가자들이 남긴 정성 의견 기반의 비교이기에 부정 감정에 집중한 결과만은 아니겠으나 적어도 어떤 것을 개선하면 좋을지 막연할 때, 가장 쉽게(?) 적용해 볼 수 있는 방식이라는 생각을 하였다. 

KOTE라는 모델 콘셉트를 기획해서 개발까지 하는 그 과정은 매우 험난하고 어렵겠지만 다행히 HR Analytics를 수행하는 입장에서 직접 모델을 만들어서 써야 하는 경우는 그리 많지 않을 것이다. 오히려 우리에게 중요한 것은 내가 가진 데이터에 대한 이해를 바탕으로 어떤 의도를 담아서 어떠한 방식으로 살펴볼 것인가에 대한 명확한 문제의식 일 것이다.