객관식 평가와 서술형 주관식 평가 간 상관 분석 사례③
그동안 보고했던 리커트 평균은 응답자들의 진짜 속마음을 반영하고 있었을까
이번 분석 프로젝트를 시작하던 당시 품었던 연구 문제는 다음과 같다.
교육만족도 객관식 평가와 서술형 주관식 평가 사이의 관계는 어떠한가?
교육만족도 요인(직급연차, 성별) 별 감성분석 스코어 차이는 어떠한가?
그리고 앞선 포스팅들에서 첫 번째 질문에 대한 답을 찾기 위한 분석을 통해
객관식 문항에 대한 점수를 낮게 줄수록 주관식 서술형 문장을 부정적으로 작성하며, 점수를 높게 줄수록 문장을 긍정적으로 작성하는 경향이 있음을 확인하였다. (다시 보기)
이때, 임의로 구분한 상/중/하 3개 그룹 간 평균 비교와 집단 내 분포를 확인하는 방식을 활용하였기에 실제로 그룹 간 평균 차의가 통계적으로 유의한 것인지에 대해 통계적 검정 작업을 진행하였다. (다시 보기)
이상의 사실을 확인할 수 있었다.
다음으로 또 다른 연구 문제에 대한 확인을 위해 교육만족도 요인이라 할 수 있는 직급연차와 성별에 따라 감성분석 스코어가 가진 차이를 확인하는 작업을 진행하였다. 이는 내가 몸담고 있는 조직 내에서는 처음으로 적용해 본 감성분석 기법을 통해 텍스트를 정량화하는 방식을 어떤 식으로 확장해서 살펴볼 수 있을지에 대한 일종의 활용 예시로서 진행한 분석에 해당한다.
분석에 앞서 내가 확인하고자 선정한 교육만족도 관련 두 가지 요인, 직급연차와 성별에 대한 집단 간 비교를 위해 감성분석 스코어 상위 10% 인원과 하위 10% 인원에 대한 분포를 비교하였다. 즉, 전체 응답자 중 감성분석 스코어를 기준 상하위 각각 10% 인원을 선정하였으며, 직급연차와 성별을 기준으로 해당 항목에 대한 상하위 10% 집단 내 분포를 비교하였다.
정말로 MZ가 더 회사에 대해서 부정적일까?
다른 HRD 조직에서는 어떤지 모르겠으나 내가 속한 조직 내에서는 경험적으로 모두가 공감하는 것이 있다. 다름 아니라 회사 생활 20년씩 한 부장님들보다 직장인 사춘기라 할 수 있는 3~4년 차 사원들이 교육에 훨씬 더 부정적이라는 것. HR 업무에서 데이터의 중요성을 공유하기 위해 시작한 블로그이기에 경험을 통한 생각을 인정하고 싶지 않지만 나 또한 지금 조직으로 처음 이동하여 처음 맡았던 업무가 3~4년차 사원들이 진급 요건을 충족하기 위해 필수로 참석해야만 하는 교육 프로그램이었기에 체감하는 부분이었고, 실제로 교육만족도 스코어 또한 고연차 대상의 교육 대비 낮게 나타나는 것에 많은 담당자들이 기피하는 교육이기도 했다. 한 가지 위안 삼을 수 있는 부분이라면 이러한 생각이 단순히 경험에만 의한 것은 아니며, 선행 연구에서도 높은 연차일수록 교육만족도 응답 결과가 높은 경향이 있다(Ting, 2001)는 것을 말하고 있다는 것이다.
일단 나를 비롯한 다른 담당자들의 경험과 선행 연구에서 말하는 저연차 사원들이 시쳇말로 교육만족도를 긁고 간다는 것은 리커트 스코어에 대한 이야기인데 교육에 대해 그들이 남긴 진짜 속마음이라 할 수 있는 주관식 서술형 문장을 통해 수집된 의견에서도 같은 현상이 나타날까?
아래 그림은 직급연차에 따른 감성분석 스코어 상하위 집단 분포를 비교하기 위해 교육 프로그램 별로 집계한 차트이다. 이연구에서는 내가 속한 연수원에서 진행하는 5개 교육 프로그램으로부터 수집된 데이터를 분석한 것으로, 이 5개 교육 프로그램은 그룹 내 모든 구성원이 입사 이후 3~4 년 단위로 반드시 수강해야 하는 필수 교육 프로그램으로 신입사원 교육 이후 3~4 년 차인 구성원들이 참가하고 있다. 각 교육 프로그램의 숫자는 직급연차를 뜻한다고 볼 수 있다.
직급연차에 따른 감성분석 스코어 상하위 집단 분포
교육 프로그램 별 감성분석 스코어 상하위 집단 내 분포를 살펴보면 직급연차가 낮은 구성원들이 참가하는 MVP I부터부터 III 까지는 감성분석 스코어 상위 집단에 속하는 응답자가 하위 집단에 속하는 응답자 보다 많았다. 반대로 상대적으로 직급연차가 높은 구성원들이 참가하는 MVP IV, V 과정에서는 감성분석 스코어 상위 집단에 속하는 응답자 보다 하위 집단에 속하는 인원이 많은 모습을 보였다. 또한 감성분석 스코어 상위 집단에 속한 응답자와 하위 집단에 속한 응답자 간 차이를 살펴보면MVP I부터 V V로 갈수록 하위 집단에 속한 비중이 높아지는 것을 확인할 수 있다.
감성분석 스코어를 통해 확인한 사항은 그간의 담당자들의 경험과 선행연구에서 말하는 교육만족도 기준의 이야기와는 상반되는 것으로 사원들이 객관식 문항에는 부정적으로 답하고 있을지 모르겠으나 정성의견을 통한 교육에 대한 피드백 문장만큼은 점수 높게 주신 부장님들이 더 부정적으로 작성하는 경향이 있다는 것을 뜻한다. 음.. 교육만족도 객관식 점수는 낮게 주지만 결국 따뜻한 문장들을 적어준 사원들을 츤데레라고 봐야 할지, 아니면 정량 지표로 관리받는 상황에 공감하여 객관식 점수는 높게 주지만 교육에서 보완할 내용만큼은 솔직하게 남겨주는 부장님들의 피드백을 고맙게 생각해야 할지 모르겠으나 아무튼 감성분석을 통해 텍스트를 수치화 함으로써 확인하게 된 새로운 발견이다.
남성들이 여성에 비해 불만 표출을 덜할까?
마찬가지로 경험적으로 담당자들 간에 공유되고 있는 또 다른 하나의 사항은 남성 참가자들이 불만을 덜 표출한다는 것이다. 아무래도 남성 비율이 높은 조직 분위기이기도 하고, 대다수 남성들이 군대 생활을 통해 회사보다는 더 불합리한 환경의 조직 경험을 해봤기에 회사 정도의 조직 환경에서는 그래도 참을성이 있다는 정도의 생각인 것 같다. 그래서 아무래도 교육장 내 소수이지만 여성 참가자들로부터 불만이 발생하지 않도록 조금 더 신경 써야 한다는 몇몇 선배들의 노하우도 공유받은 적이 있다. 이 또한 단순히 경험만 의존한 생각은 아니며, 실제로 선행 연구에서는 남성이 여성에 비해 교육만족도 응답 결과가 높은 경향이 있다고 말하고 있다(Koushki & Kuhn, 1982; 한경수, 2011).
성별에 따른 감성분석 스코어 상하위 집단 분포성별에 따른 감성분석 스코어 상하위 집단 내 분포를 살펴보면 여성은 감성분석 스코어 상위 집단에 속하는 비중이 높은 반면 남성은 감성분석 스코어 하위 집단에 속하는 비중이 많은 모습을 보였다. 이는 남성이 여성에 비해 서술형 주관식 문항에 부정적인 의견을 작성하는 경향이 있음을 뜻한다.
마찬가지로 객관식 교육만족도 점수는 낮게 주지만 교육 피드백만큼은 따뜻한 말로 작성하는 여성 참가자들과 반대로 군대식으로 점수는 높게 주지만 불만사항 또한 확실하게 작성하는 남성 참가자들의 모습은 감성분석을 활용한 텍스트 분석을 통해 알게 된 그간의 경험과는 다른 양상이다.
무엇을 더 해보면 좋을까?
이처럼 목적에 따라 교육 참가자들을 다양한 집단으로 분류하여 또 다른 분석이 가능하다. 이번 분석에서는 직무 정보가 정확하지 않다는 한계로 인해 변수에서 제외 처리 하였지만 정보만 확실하다면 응답자들의 직군 별 분석이 가능하다. 이를 통해 기업 내에서 다양한 업무를 수행하는 구성원들이 동일한 교육 프로그램에 대해 갖는 감정을 정량적으로 비교할 수 있다. 또한 교육만족도 데이터 수집 시스템과 감성분석 스코어 산출 시스템을 자동화한다면 실시간 모니터링을 할 수 있다. 실시간 모니터링을 활용하면 서술형 주관식 문항을 통해 수집한 응답자의 정성적인 의견을 정량화하여 객관식 문항을 통해 수집한 리커트 점수와 비교하여 두 응답 간의 일관성을 확인해 볼 수 있을 것이다.
Epilogue
사실 연구 주제를 고민하던 아주 초기 단계에 그려봤던 장밋빛 미래에 대한 생각이지만 감성분석 기법을 통해 텍스트 문항에 대한 교육 참가자들의 긍부정 수준을 정량화할 수 있고, 리커트 스코어와의 관계성이 입증된다면 교육 참가자들이 남긴 텍스트 문장을 변수 삼아 교육만족도를 예측해 볼 수 있지 않을까 하는 이상적인 상상을 해 보았다. 하지만 누구나 두드려 맞기 전까지는 그럴싸한 계획을 가지고 있다고 했던 타이슨의 말과 같이 내심 기대했던 리커트 스코어와 감성분석 스코어 두 변수 간 관계성을 입증하였음에도 예측까지 해내기에는 제약사항이 너무나도 많았다.
머신러닝을 활용한 예측 모델 생성을 위해 가장 중요한 것은 변수의 개수(Column)와 데이터의 양(Low)인데, 이번 분석에 활용한 데이터의 경우 데이터의 수는 연도를 확장하여 얼마든지 수집할 수 있겠으나 모델 생성 시 학습을 위해 투입할 수 있는 변수의 수가 기껏해야 7개밖에 되지 않았다. 이는 지난 3년 간 업무의 일환으로 진행한 데이터 분석 멘토링 중 마주한 대부분의 현업 부서에서 보유한 데이터의 공통된 한계이기도 하며, 특히 민감한 개인 정보를 다루는 HR 데이터의 경우 이러한 한계가 보다 두드러지게 나타나는 현상이었다.
어려운 말로 데이터 거버넌스라고도 하는 것 같은데, 나는 그 이야기를 데이터가 수집되는 바구니라고 이해해서 말하고 있다. 업무 장면에서 각자가 자기 만의 방식으로 수집한 데이터를 쌓아가고 있을텐데 그 모양이 서로 다르다면, 결국은 전체의 관점에서 분석을 위한 전처리 과정이 될 것이다. 또한 나에게서 수집되는 특정 데이터가 다른 사람에게서는 누락되어 있다면 그것은 결측치로 구분되어 활용이 어려울 것 이다. 그런 의미에서 필요한 순간에 진짜 원하는 분석을 혹은 예측 모델 생성을 위해서는 지금부터라도 모두가 같은 바구니 안에 같은 모양으로 데이터를 쌓아나갈 필요가 있다. 데이터의 양이 부족한 문제는 시간이 지나면 자연스레 해결될 문제이겠으나 수집되는 변수의 가지 수를 애초에 확정해서 함께 수집하지 않은다면 시간이 지나도 해결되지 않는 문제이며, 미래에 또다시 우리 쪽에선 활용할 데이터가 없다는 말 밖에는 할 수 없게 될 것이다.
