by
Jul 28. 2021
인성검사, 어떻게 거짓 응답을 줄일까(2)
제외하기
채용인성검사에는 어떻게든 입사지원자의 ‘입사하고자 하는 강한 열망’이 들어갈 수 밖에 없다. 따라서 채용인성검사에서는 무엇보다 응답 점수의 왜곡 문제를 어떻게 해결할 것인가 하는 부분이 중요하다.
왜곡 문제는 어떻게 해결할 수 있을까? 사실 왜곡에 대처하는 방법은 너무 다양해서 최소 3개의 글로 나눠서 소개하고자 한다. 또한 대부분의 채용인성검사는 단 한 가지의 방법만을 사용하기보다는 최소 두 세 개 이상의 방법을 병행하여 왜곡 문제에 보다 효과적으로 대처하고자 노력하고 있다. 이 글에서는 왜곡 문제에 대처하는 세 가지 대표적인 접근 방식과 각 접근 방식에 따른 방법 예시를 다뤄보려 한다. 우선 접근 방식은 다음의 크게 세 가지 범주로 구분된다.
예방 · 제외 · 보정
‘제외’는 말 그대로 인성검사의 규준을 세우기 전에, 왜곡 응답 패턴을 보인 케이스를 탐지하여 일관된 기준에 따라 제외하는 방법을 말한다. 그런데 제외해야 하는 케이스의 유형이나, 제외 방법 또한 매우 다양해서 단 하나의 기준을 적용하는 것은 어려우며 대체로 여러 개의 기준을 병행하게 된다. 우선, ‘제외’하는 절차를 두기로 했다면 가장 먼저 고려해야 할 것은 어떤 케이스를 ‘문제’로 정의할 것인가에 대한 부분이다.
인성검사에는 어떤 왜곡 패턴이 있을까? 흔히 떠올릴 수 있는 것은 잘 보이려 과장한 케이스가 될 듯 하다. 인재상에 잘 부합하는 것처럼, 대인관계가 원활한 것처럼, 조직에 순응적인 것처럼, 창의력이 뛰어난 것처럼(이 부분은 그래도 일방적이진 않다. 데이터를 분석해보면 국내의 일반적인 기업문화 특성을 고려한 것인지, 보수적으로 보이도록 자신을 꾸미는 응답자들이 사실 더 많다. 창의력을 과장할 것인가, 말 것인가 문제는 의외로 업계, 직군의 특성을 타는 경향이 있다), 정직하고 꼼꼼하며 동료를 배려할 줄 아는 사람인 것처럼 보이려 응답하는 것이다. 하지만 규준 데이터 선별 시 고려해야 할 것은 긍정적인 방향으로 왜곡하는 케이스만은 아니다. 대략 다음의 가능성들도 고려해야 한다.
① 자기 자신을 독특하게, 개성적으로 보이게끔 의도적으로 왜곡하는 케이스
② 여러 이유로, 스스로를 실제보다 더 부정적으로 보이게끔 왜곡하는 케이스
③ 선택적 왜곡(영업 직무는 대인관계 특성을 부각, 회계 직무는 꼼꼼한 특성을 더 부각 등)
④ 기타 불성실 응답
①번의 경우는 소위 ‘튀어 보이려는’ 케이스라 할 수 있다. 면접장에서도 흔히 ‘튀어 보이려 애쓰는’ 지원자가 관찰된다고 하지 않던가. 인성검사에서도 제법 보인다. 자신의 끼와 능력을 발산하고자 ‘상식에 반하는’ 방향으로 응답하는 경우다.
②번의 경우는 취업의 어려움이나 일상 생활에서의 곤란, 위축됨, 자기 방어 등의 이유로 스스로를 의식적이든, 무의식적이든 오히려 낮게 평가하여 응답하는 경우다(대체로 측정 점수가 낮게 나와 채용 평가 시 불리한 상황에 처할 수도 있으나 경미한 경우, 적절한 케어가 동반된다면 얼마든지 퍼포먼스를 낼 수 있는 인재가 숨어있기도 하다).
어쩌면 ③번이야말로 ‘왜곡’에 대한 현실적인 가정일지 모른다. 응시자 입장에서도 알 것이다. 인성검사를 보는 처음부터 끝까지, 줄곧 너무 잘 보이려고만 하면 의심 사기 딱 좋을 것이라는 점을 말이다. 영리한 응시자는 그래서 ‘선택적인 왜곡’을 감행한다. 자신이 연구 직군이라면 지적 탐구력이나 호기심, 논리적 사고력 등을 묻는 것 같은 문항에, 자신이 경력직이고 중간관리자 포지션을 노리고 있다면 리더십 관련 문항에 좀 더 ‘양념을 치고자’ 할 것이다.
④번의 경우, ‘기타 불성실 응답’으로 묶었지만 그 안에는 다양한 세부 기준이 있다. 무응답수가 많은 케이스, 소위 ‘한 줄 찍기’를 시도한 케이스, 비정상적으로 반응시간(RT)이 짧은 경우(생각도 안하고 그냥 눈에 보이는 족족 대충 선택했을 가능성이 크다), 반응일관성 문제(진솔하다면, 같은 두 문항에 대해 동일한 응답을 해야 할 것인데 두 응답이 일치하지 않는 경우)*** 등등이 있다.
*** 하지만 반응일관성에 따른 불성실 응답 탐지가 과연 항상 유효한가에 대한 의문도 있다. 이는 별도의 글에서 곧 다룰 예정이다.
*** 반응일관성: 동의/반의 관계에 있는 문항 쌍을 거리를 두고 배치, 문항 쌍 사이의 상관을 추정하는 것으로, 응시자가 자신에 대해 일관된 응답을 하고 있다면 위 예에서 7번 문항과 221번 문항은 정적 상관을 보여야 하며, 7, 221번과 304번은 부적 상관을 보여야 한다>
** 문항은 로젠버그 자존감 척도 참고(Rosenberg, 1965)
규준을 세우기 전, 채용 도구를 개발하는 입장에서는 규준의 정확도를 제고하기 위해 이상 위의 케이스들을 선별, 제외하려는 노력을 할 수 있다. 그러나 위의 기준들을 아는 것보다 더 중요한 것이 있다. 바로 ‘제외’가 갖는 무게감을 인식하는 일이다. 사실 케이스를 인위적으로 탈락시키는 작업에는 리스크가 동반될 가능성이 적지 않다. 왜일까? 바로 ‘100% 거짓말’이란 존재할 수 없다는 점 때문이다. 덜 거짓말했느냐, 더 거짓말했느냐의 문제일 뿐이다. 불성실한 응답 같더라도, 우리는 그 응답 데이터가 완전히 무가치하다고 ‘확정적으로’ 잘라 말할 수 없다. 혹시 나름의 유의한 정보 가치를 지니고 있다면? 불성실의 정도가 크다고 보기 어렵다면? 표본은 귀할진대, 쉽게 제외해버릴 수 있을까?
데이터의 삭제는 곧 가치의 소멸을 의미한다. 사실, 어쩌면, 단지 불성실 케이스, 별 것 아닌 케이스들로 치부해버리려 했던 그 케이스(데이터)에는 우리가 아직 파악하지 못했던 가능성이 잠들어 있을지도 모른다. 새 시대의 트렌드가 반영되어 있을 수도 있고, 채용 과정에 큰 영향을 미치지만 아직 발견하지 못했던 어떤 경향성, 패턴 등이 존재하여 향후 연구, 활용 가치 등을 날려먹는 일이 될 가능성도 있다.
정확성의 문제도 있다. 1) 케이스의 제외는 어찌되었든, 귀중한 표본(sample)을 줄이는 일이다. 표본이 줄어들면 규준의 모집단(population) 대표성은 떨어지고, 이는 인성검사의 타당도 저하와 직결된다. 2) 괴유불급이다. 물론 채용인성검사의 결과는 대개 표준화점수로 출력되는 바, 극단적인 케이스(특히 잘 보이려 응답)를 방치할 수 없다. 주지하듯 표준화점수 Z, T점수 등을 내는 데 관여하는 중심경향치는 평균(mean)이다. 그리고 평균은 극단값의 영향을 크게 받는다. 따라서 극단값이 무분별하게 퍼져 있는 규준을 활용하게 되면 전체적으로 응시자들의 점수는 하락하는 경향이 있다. 사실은 인성적으로 별 문제가 없는데도, 주의가 필요하다는 결과가 나올 수도 있다는 말이다. 하지만 조금이라도 왜곡 가능성이 보이는 케이스를 모두 제외시켜도 문제가 된다. 이 경우, 당연히 준거가 되는 규준 점수의 평균값은 낮아지고, 개별 응시자들의 표준점수는 크게 늘어날 것이다. 그리고 아까와는 반대의 상황에 직면하게 될 것이다. 탈락 가능성이 높았던 응시자가 혜택을 받아 입사하고, 향후 조직 내에서 불필요한 갈등을 만들지 모르는 상황 말이다.
규준집단의 평균이 높아지면 결과적으로 응시자 T점수 하락. 반대로 긍정적으로 왜곡한 케이스를 모조리 제외한다면 규준집단의 평균이 낮아지고, 결과적으로 응시자 T점수 상향