by
Jul 27. 2021
인성검사, 어떻게 거짓 응답을 줄일까(1)
예방하기
채용인성검사에는 어떻게든 입사지원자의 ‘입사하고자 하는 강한 열망’이 들어갈 수 밖에 없다. 따라서 채용인성검사에서는 무엇보다 응답 점수의 왜곡 문제를 어떻게 해결할 것인가 하는 부분이 중요하다.
왜곡 문제는 어떻게 해결할 수 있을까? 사실 왜곡에 대처하는 방법은 너무 다양해서 최소 3개의 글로 나눠서 소개하고자 한다. 또한 대부분의 채용인성검사는 단 한 가지의 방법만을 사용하기보다는 최소 두 세 개 이상의 방법을 병행하여 왜곡 문제에 보다 효과적으로 대처하고자 노력하고 있다. 이 글에서는 왜곡 문제에 대처하는 세 가지 대표적인 접근 방식과 각 접근 방식에 따른 방법 예시를 다뤄보려 한다. 우선 접근 방식은 다음의 크게 세 가지 범주로 구분된다.
예방 · 제외 · 보정
‘예방’은 측정 이전에 이뤄지는 것으로 가급적 응시자들이 1) 거짓 응답을 하지 않도록, 혹은 2) 하지 ‘못하게끔’ 하려는 노력이다. 전자의 경우 가장 간편하면서 효과적인 방법이 존재하는데 그것은 바로 ‘솔직한 응답을 해 줄 것을 당부’하는 일이다. 검사지 표지에 기재하든, 오프라인 검사의 경우, 진행자가 구두로, 혹은 방송으로 전달하든 ‘솔직하게 응답해 달라’고 반복해서 강조한다.
워딩이 조금 강한 경우도 있다. 솔직하게 응답하지 않으면 ‘검사 결과가 무효 처리’ 된다거나, ‘평가상 불이익이 있을 수 있다’라거나 하는 등의 안내다. 혹자는 생각할 수 있다. 그저 솔직하게 응답해 달라고 강조하는 것만으로 왜곡이 줄어들 수 있다고? 하지만 정말이다. 솔직한 응답에 대한 강조 여부는 응시자 평균 점수에 관여하는 중요 변인이며, 검사 왜곡에 대한 논문들에서도 다뤄지고 있는 사안이다.
2) 다음으로, 거짓 응답을 ‘못하게끔’ 예방하는 방법도 있다. 심리검사의 대표 형식은 리커트(likert)다. 두 개 이상의 문항을 주고 일정 범위(전혀 아니다~매우 그렇다) 내에 응답하게 하는 방식이다. 리커트 척도를 쓰는 검사는 대표적인 normative test에 해당한다. 문제는, 리커트 척도로 이뤄진 검사는 응시자의 왜곡 응답을 막기 어렵다는 점이다.
가령 10문항의, 리커트 범주 질문으로 구성된 채용인성검사가 있다고 하자. 각 2문항씩 책임감, 윤리성, 사회성, 팀워크, 리더십을 측정하도록 구성되었다. 이 때, 만약 응시자가 10문항 전부에 대해 유리한 방향으로 응답한다면(대개 그렇다~매우 그렇다), 이 응시자의 책임감, 윤리성, 사회성, 팀워크, 리더십은 모두 만점에 가깝게 나올 것이다. 나름대로 안면타당도**를 조율하려는 노력도 있긴 하지만 핵심적인 것은, 리커트 척도는 모든 항목에 대해 높은 점수를 받을 수 ‘있는’ 구조로 설계되어 있다는 점이다.
** 여기서 안면타당도(face validity)라는 개념을 조금 부연해야 할 것 같다. 안면타당도란, 매우 쉽게 설명하면 응시자가 검사 장면에서 눈으로 보기에 ‘이 문항이 무엇을 측정할 것 같은지’ 알아볼 수 있는 정도라 보면 된다. 가령 ‘근면함’을 측정하는 문항의 내용이 ‘나는 부지런한 사람으로 평가받는다’ 와 같다면, 응시자들은 쉽게 ‘근면성’에 대한 문항임을 알아챌 것이고 이 때 해당 문항의 경우는 안면 타당도가 높은 것이다. 반면, ‘근면성’을 측정하는 것인지 한 눈에 봐서 알아보기 힘든 경우에는 안면 타당도가 낮다고 표현할 수 있다.
** 안면타당도가 중요한 이유는, 안면타당도가 ‘적당해야’ 응시자의 왜곡도 막을 수 있고, 심리검사 세부 측정 요인의 구인(construct)을 확보하기 용이해지기 때문이다. 지나치게 안면타당도가 높다면(문항이 ‘직관적’이라면 구인을 세우는 데에는 유리하지만, 응시자의 입장에서 왜곡하기가 쉬워진다. 반명 지나치게 안면타당도가 낮다면(도대체 무엇을 측정하는 것인지 알 수 없어 보이는 문항), 응시자가 왜곡하기 어려워지지만, 그만큼 응답의 전체적인 방향성도 중구난방이라 구인타당도 확보 면에서는 불리할 부분도 있다. 이 부분은 나중에 보다 자세히 설명해볼 예정이다.
그렇다면 리커트 척도가 가진 문제점을 극복하려면 어떻게 해야 할까? 강제선택형(forced-choice, ipsative test) 방식으로 검사 구조를 바꾸는 것이 하나의 대안이 될 수 있다. 강제선택형은 쉽게 말해 객관식의 형태로 구성되며, 최소 2개 이상의 선택지 중, 일부만 선택할 수 있도록 되어 있다. 그래서 응시자는 늘 선택을 해야 하는 처지에 놓인다. 책임감이냐, 정직성이냐? 순응성이냐, 리더십이냐? 꼼꼼함이냐, 창의성이냐? 등등. 모든 것을 다 가질 수는 없다. 설마 모든 선택지가 마음에 들어도, 다 자기 얘기 같아도, 그래도 그 중에서 자기 자신과 조금이라도 더 가까운 내용을 선택해야만 한다.
물론 강제선택형 방식이라 해서 단점이 없는 것은 아니다. 기회가 된다면 다른 글에서 보다 자세히 다뤄볼 예정이지만, 간단히 설명하면 측정 점수를 받아보면 결국 모든 응시자의 만점이 같아지므로 개인 간 비교가 용이하지 않다는 점, normative 방식에 비해 변량(variance) 확보나 통계 분석이 어렵다는 점, 신뢰도가 떨어진다는 점 등이 있다. 하지만 모든 면에서 다 뛰어나다고 응답할 수 없게 만드는 강제성이 있다는 점에서, 적어도 채용 장면에서 강제선택형이 갖는 의미는 분명 크다 할 수 있다.
정리하자면 채용인성검사에서 이뤄지는 왜곡 문제에 대처하는 세 가지 접근 방법이 있음을 언급하였으며(예방, 제외, 보정), 그 중 하나인 ‘예방’에 대해 간략히 소개하였다. ‘솔직함의 강조’는 가장 간편하면서도 또한 가장 효과적인 대처 방법이다. 다음으로, normative 방식이 가진 약점(모든 측정 요인에 대해 점수를 ‘뻥튀기’하는 것이 가능함)을 극복하는 대안으로 강제선택형(ipsative) 방식이 있음을 설명하였다.
요즘에는 normative 방식과 ipsative 방식이 가진 장점을 두루 취하고, 단점은 상쇄하기 위해 이 두 가지 방식을 혼합한 검사도 활용되고 있다. normative가 가진 강점(높은 신뢰도, 변량 확보, 분석의 용이함 등), ipsative가 가진 강점(왜곡 방지)을 살리기 위함이다. 제법 보편화된 관계로, 채용검사를 여러 번 치러보셨다면 아마 다음과 같은 형태를 보셨을 듯 하다.
