brunch

You can make anything
by writing

C.S.Lewis

살얼음판 인성검사

채용인성검사도 '난이도 조절'이 필요한 이유

인성검사, 솔직히 면접보다 싸고 정확하고 빠르다.


  구직자의 심리상태를 파악하는 데 자기보고식(Self-report) 심리검사만한 것이 없다. 그건 아마도 자기보고식 설문만큼 가성비가 훌륭한 방법이 없기 때문일 것이다. 가장 간편하면서도, 가장 다양한 주제에 비교적 쉽게 적용, 측정 가능하면서, 상대적으로 큰 노력을 들이지 않고도 양질의 결과를 낼 수 있다는 장점이 있다.

 책임감, 팀워크, 인내력, 리더십, 추진력, 판단력, 문제해결력, 윤리성, 정직성, 공격성, 충동성, 반사회성 등등 이 많은 특성을 단 한 번의, 짧은 검사로 측정이 가능하다니! 원점수(raw score)만 입력되면 미리 설정해 둔 규준(norm)에 따라 자동으로 서열(표준)점수(standard score)가 탁 출력되어, 해당 응시자 개인의 내적 심리 상태 및 유사한 배경을 가진 여타 응시자들과의 비교 점수까지 한번에 확인할 수 있다.

 다수 연구에 따라 채용 장면에서의 인성검사 결과가 입사 이후의 근무태도나 성과 등을 통계적으로 유의하게 예측한다는 점이 수차례 검증된 바 있으니, 직업 시장에 인성검사가 빠르게 자리잡게 된 것은 전혀 이상한 일이 아니다.


 하지만 채용인성검사에는 역선택(adverse selection)의 위험이 늘 따라다닌다. 구직자는 구직자 스스로가 어떤 사람인지, 어떤 준비가 되어 있는지, 어떤 경험을 해 왔는지 상대적으로 잘 안다. 하지만 구직자를 평가해야 하는 회사 입장에서는 그의 말과 기록에서 어디까지가 진실인지 명확히 알지 못한다. 무엇보다 구직자 입장에서는 채용 과정에 공을 들여야만 하는 이유가 매우 충분하다. 비록 가진 것이 볼품 없더라도 일단 잘 보여서 붙고 봐야 한다는 생각을 ‘의식적’, 혹은 ‘무의식적’으로 갖게 된다. 그래서 더 꾸미고, 더 왜곡하고, 더 치장하려 한다. 자연스럽게 회사에서 구직자를 선별하기 위해 치러야 할 노력과 비용의 크기는 커진다.


 채용 인성검사를 개발하고 연구하는 입장에서 가장 고심하게 되는 것 또한 응답자들의 왜곡된 응답이다. 실제로 데이터를 보면 금방 알게 되지만 동일한 검사를, 동일한 배경을 지닌 이들에게 실시하더라도 채용 장면이냐 아니냐에 따라 점수 차이가 크게 벌어지는 것을 볼 수 있다. 즉, 채용 장면에서 치러질 때 평균 점수가 훨씬 높다. 설사 응답자가 거짓으로 응답하려는 명확한 의도가 없었다 해도 벌어지는 일이다. 채용 장면이라 가정하게 되면, ‘자기도 모르게잘 보이려는 방향으로 스스로를 조종하게 되니 말이다. 결과적으로 입사 지원자들의 응답 점수 분포는 왜도가 (-)인 부적 편포의 양상을 띠게 되는데, 이것이 채용인성검사에서 대개 활용하는 ‘표준화’ 과정을 만나게 되면 정말 다루기 어려운 심각한 상황에 직면하게 된다.


대충 위와 같은 그림이 나와야 하는데… 입사지원자들의 점수 분포는 아래와 유사하다.(그림을 발로 그려서 죄송합니... 예쁜 그림은 구글링을 통해 보실 수 있습니다)


 표준화(standardization)란 무엇인가. 간단히 말해, 데이터 뭉치를 이루는 모든 개별 구성원들을 동일한 기준 하에 일렬로 늘어놓아 상대 서열을 비교하겠다는 의미다. 표준화 과정을 거치게 되면 입사 지원자들의 분포는 표준정규분포를 이룬다. 문제는 채용인성검사 데이터와 같이 높은 점수 방향으로 극단적으로 치우친 데이터를 표준화하여, 비교 준거인 규준(norm)을 세우면 어떤 일이 벌어지느냐는 것이다.


 표준점수(standard score)의 평균과 표준편차는 고정적이다. 대표적인 표준점수인 T점수의 경우, 평균은 50이고 표준편차는 10이다. 표준화 작업을 실시하면 어떤 데이터 형태든 평균 50, 표준편차 10에 근사하게 맞춰진다(‘표준정규분포’인 이유다). 그러나, 채용인성검사 데이터와 같이 상향 평준화된 데이터를 표준화, 즉 표준정규분포로 만들려면 상대적으로 인성 점수가 낮은 이들에게 가혹한심리검사가 되고 만다. 또한 인성 점수가 높은 이들에게는 변별력이 부족한그런 심리검사가 된다. 왜 그럴까? 이치는 간단하다. 높게 형성되어 있는 평균 점수를 끌어내리고 종형 대칭 모양으로 맞추러면 상대적으로 높은 점수를 받은 이들의 점수를 조금씩 깎아야 하며, 특히 낮은 점수를 받은 이들의 점수를 가혹하게 깎아야 한다(극단값의 영향에 취약한 ‘평균’의 특성을 기억하자. 극단적으로 낮은 점수를 확보해야 그만큼 평균을 낮추는 데 수월하다).


 가상의, 간단한 실험으로 예를 들어보자. 20명의 사람이 동일한 검사를 다른 조건 하에 두 번 시행한다고 가정하자. 첫 번째 시행은 채용 장면을 가정하고 시행한 것이 아니며, 20명의 사람은 각각 다음과 같은 점수를 받았다(‘normal’ 조건).


1 2 2 3 3 3 3 3 4 4 5 2 3 4 3 2 3 4 3 3


두 번째 시행에서는 채용 장면이 가정되었으며, 입사 지원자의 입장에 서게 된 20명의 사람은 각각 다음과 같은 점수를 받게 되었다(‘extreme’ 조건).


5 5 5 5 4 1 5 5 2 1 5 5 5 3 5 5 4 5 5 5



<두 조건의 히스토그램(왼쪽이 normal 조건, 오른쪽이 extreme 조건)>


 다음으로 두 조건의 점수를 표준화하자. T점수 공식((원점수-평균)/표준편차×10+50))에 따라 각 개인의 원점수를 표준화한 결과는 다음과 같다.



 우선 두 조건(표준화 이후)의 평균은 50, 표준편차는 10으로 같아졌다. 그러나 각 개인이 받아들게 되는 T점수의 값이 다르다는 것이 확인된다.


1) normal 조건에서는 원점수 기준 3점을 받아야 T점수 50점(평균)에 위치하게 된다. 반면 extreme 조건에서는 원점수 4점은 받아야 T점수 50점을 받을 수 있다(그마저도 조금 못미친다). 이는 앞서 확인했듯 extreme 조건에서의 평균이 더 높게 형성되어 있기 때문이다. 흥미로운 것은 지금부터인데,


2) 원점수 기준으로 동일한 5점이라 하더라도 normal 조건에서는 집단 분포 특성의 영향을 받아 무려 T점수 71.79점을 받는다. 반면 extreme 조건에서는 원점수 5점을 받아도 55.47점밖에 못 받는다. 가장 높은 점수임에도 1표준편차(10점)조차 벗어나지 못하는 값이다. 왜 그럴까? extreme에서는 잘 본 사람이 충분히 많이 있기 때문이다.


3) 다음으로, 원점수 기준으로 1점을 받았을 때, normal 조건에서는 T점수가 28.21점이다. 그런데 extreme 조건에서는 T점수가 26.31점으로 더 낮다. 이는 극단값의 취약한 평균의 특성상, 낮은 점수대의 사람들이 더 낮은 점수를 받아야지만 전체적으로 높게 형성되어 있는 평균을 낮출 수 있기 때문이다.



 이상의 결과를 정리해보자. 일반 상황 대비 채용 장면에서의 인성검사 표준점수가 극단적으로 낮거나, 높은 사람들에게 더 가혹하게 적용될 가능성이 높다. 따라서 아무리 표준화 절차를 거칠 예정이라 하여도 그 전에, 원점수의 분포를 고려하는 것은 매우 중요하다. 원점수 분포 특성에 따라 상위 1% 인재처럼 보일수도, 평균 수준의 범재로 보일수도 있다는 점을 기억할 필요가 있다(위의 가상 사례에서 normal 조건의 원점수 5점을 받은 사람은 T점수 71.79점을 받았는데 이는 2표준편차 범위 바깥에 있는, 극히 상위 케이스에 속한다. 반면 같은 5점임에도 extreme 조건에서는 T점수 55.47점에 머무른 바, 이는 평균에 가까운 점수다).


 바로 이런 이유로, 적절한 왜곡 보정, 방지 절차가 마련되지 않은 채용인성검사는 응시자 입장에서 볼 때 살얼음판을 걷는 것처럼 느껴질 소지가 다분하다. ‘치러봐야 선방한 수준이요, ‘보면 한 없이 나락으로 떨어질 수 있기 때문이다. 물론 원점수 분포 왜곡에 따른 표준점수 극단화 문제는 채용인성검사만의 일은 아니다. 가장 쉽게 떠올릴 수 있는 사례가 있지 않은가. 바로 대학수학능력시험의 난이도 조절 문제다. 쉽게 나오면, 상위권의 변별력이 떨어지며 단 한 두 문제 차이로 등급이 확 낮아질 우려가 생긴다. 반대로 어렵게 나오면, 한 두 문제 차이로 등급이 수직 상승하는 경우가 생길 수 있다.


 그렇다면 채용인성검사에서는 위와 같은 문제를 방지하기 위해 소위 ‘난이도 조절’을 어떻게 하고 있을까? 이 부분은 곧 시간이 나는 대로 다음 글에서 다뤄 볼 생각이다.

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari