by
Aug 02. 2021
인성검사, 일관성 있게 응답하면 된다고?
반응일관성에 대한 속사정들
인성검사에서 왜곡 응답을 가려내기 위해 자주 활용되는 장치는 바로 ‘반응일관성’이다. 평소 익숙한 자신의 모습대로 솔직히 응답했다면 ‘같은 질문’에 대해서는 ‘같은 답변’을 해야 하지 않겠느냐는 논리다. 만약 인위적으로 조직의 인재상 등에 맞춰 ‘자기’를 꾸며냈다면, 아무리 스스로에게 세뇌를 건다 하여도 있는 그대로의 ‘자기’만큼 단단할 수 없을 것이고 따라서 부지불식간에 같은 문항에 대해 서로 다른 두 자기가, 다른 응답을 하게 되는 상황이 연출되어 결국 거짓이 탄로나리라는 믿음이다.
반응일관성은 그럼 어떻게 측정하는가? 일차적인 방법은 1) 아예 동일한, 혹은 2) 조사, 어미, 시점 등 매우 제한적인 수정을 가해, 아예 같지는 않지만 ‘사실상 같아’ 보이는 문항 쌍을 준비하여 두 문항에 대한 응답자 반응이 얼마나 유사한가를 보는 것이다(물론 두 문항이 아예 동일하지 않기 때문에 인성검사를 만드는 사람은 두 문항의 동질성을 사전 검증해야 한다).
그리고 당연하겠지만 반응일관성이 고려된 인성검사라면 다음의 조건들이 충족되어야 할 것이다. 첫째, 반응일관성을 측정하는 두 문항은 서로 멀리 떨어져 있어야 한다. 앞 뒤 문항으로, 혹은 한 페이지 내에 바로 붙어서 등장하면 응시자 입장에서는 한 문항의 답변을 ‘참고’하여 나머지 문항에 답변하기 딱 좋다. 둘째, 맥락에 대한 고려가 필요하다. 쉽게 설명하면 두 개의 반응일관성 문항 각각 앞뒤에 배치된 문항이 어떤 내용인가에 따라 예상치 못했던 편향(bias)이 발생할 가능성이 있다.
위의 예는 극단적인 사례지만, 맥락효과가 발생할 가능성을 보여준다. 7번의 앞뒤 문항은 자기 자신에 대한 부정적인 기억을 점화시킨다. 반면 221번의 앞뒤 문항은 자기 자신에 대한 긍정적인 기억을 점화시킨다. 이와 같은 상황이라면 앞뒤 문항이 일종의 ‘심리적 닻(anchor)’으로 작용하여 동일한 두 문항에 대한 응답 패턴을 다르게 만들어버릴 가능성이 존재한다(대니얼 카너먼 저, <생각에 관한 생각>을 보면 문항 배치의 맥락효과에 관한 내용이 등장한다. 정확한 페이지는 기억이 나질 않지만, 조만간 책을 보고 관련 내용을 찾으면 몇 페이지인지 추가할 예정이다.. 양해 부탁드립니다).
만약 여타 심리학 연구처럼 개개인의 진단, 평가가 목적이 아니라면, 단지 집단 전체의 경향성을 보기 위한 것이 목적이라면 문항 섞기 테크닉인 상쇄균형화(counterbalancing) 조치를 통해 맥락효과를 통제할 수 있다. 하지만 개개인의 진단, 평가가 목적이라면 문항을 섞는다 해서 맥락효과가 해결되는 것은 아니다. 누군가는 ‘잘 섞여서’ 맥략효과를 안 볼 것이고, 다른 누군가는 ‘나쁘게 섞여서’ 맥락효과의 피해자/수혜자가 될지도 모르는 일이다.
정리하면 반응일관성 문항 쌍의 측정 상 동일성을 예상/확립하기 위해서는 문항 배치에 대한 고려가 필요하다. 문항 배치는 비단 반응일관성에 대해서만 중요한 것은 아니다. 그 어떤 요인을 측정하든, 그 어떤 목적으로 포함된 문항이든 언제든 앞뒤 문항의 영향을 받을 가능성은 존재한다.
지금부터는 반응일관성 개념의 현실적 유용성에 대해 따져보고자 한다. 반응일관성은 왜곡 응답을 포착하기에 얼마나 유용한 수단일까? 우선 반응일관성 문항을 도입하려면 다음의 현실적 우려를 생각하지 않을 수 없을 것이다.
반응일관성은 취업준비생의 입장에서 볼 때,
이미 파훼된 수일지 모른다
인성검사 검사자가 생각하는 것만큼이나 응시자들도 이미 잘 안다. 채용인성검사에는 반응일관성이라는 왜곡 탐지 척도가 ‘보편화’되어 있다는 점을 말이다. 구글, 네이버에 인성검사 대비, 인성검사 준비, 인성검사 전략, 인성검사 일관성 등 검색해보면 관련 내용들이 무수히 쏟아진다. 그리고 응시자들에게 안내한다. 동일한 문항에는 같은 번호를 찍어야 한다고 말이다.
여기서 끝이 아니다. 응시자들의 인성검사 준비 전략은 상상 이상이다. 흔히들 ‘적성검사’와 달리 인성검사는 실력 싸움이 아니라고 말한다. 참고서 공부한다고 점수가 잘 나오는 검사가 아니라는 것이다(다른 말로 표현하면 수학문제 풀기, 도형맞추기 등이 나오는 ‘적성검사’는 최대수행검사(maximum performance test)에 해당하며 ‘정답’이 없는 인성검사는 전형적수행검사(typical performance test)에 해당한다). 하지만 요즘은 인성검사도 ‘공부’하고, ‘연습’하고, ‘대비’하는 시대다. 포털에 검색해보라. 인성검사를 각 회사의 인재상에 맞춰 개발한 뒤 응시자들에게 연습시켜주고, 측정 점수와 반응일관성 점수 등을 출력해주는 서비스가 이미 많이 존재한다.
정리하면 1) 아예 동일한, 혹은 2) 사실상 동일한 반응일관성 문항 쌍을 이용하여 왜곡 응답을 탐지하는 전략에는 한계가 있다고 생각한다. 아무래도 이미 파훼된 수여서, 응시자의 대비를 막기 어렵다는 점이 가장 크다. 그래서 반응일관성을 측정할 문항 쌍을 조금 다른 방식으로 찾아야 할 필요가 있다.
내가 만든 인성검사의 문항 수가 400개라 가정하자. 그리고 나는 다음의 타겟 문항에 대한 반응일관성 ‘짝’ 문항을 찾고 싶다. 그래서 400개 문항에 대한 N명의 파일럿 테스트 결과를 확보하였다.
일을 하게 될 때 책임을 맡고 싶다.
타겟 문항과 나머지 397문항 간 피어슨 상관분석을 시도한다. 그리고 절대적 계수 크기 순으로 397문항을 정렬하여 타겟 문항과 상관이 가장 큰 문항이 무엇인지 탐색적으로 알아본다.
