우리, 잘 뽑고 있는 걸까? Part #1
채용과 관련한 HR Analytics Project
안녕하세요? 한 동안 글이 뜸했습니다;;;
건강히 잘 지내셨지요?!
그간 HR Analytics와 관련한 일반적인 주제에 대해 제 생각을 정리하여 공유하였습니다만, 많은 분들께서 직접 HR Analytics Project를 실행에 옮길 수 있는 주제들에 대한 문의와 요청을 해 주셨습니다.
부족하지만 조금씩 써 내려가 볼 까 합니다.
통상 제가 HR Analytics Project를 진행할 때와 같이 문제정의 → 이론적 배경조사 → 분석 → 결과 → 제안의 문법을 가급적 유지하며 써보고자 합니다. 공개된 Data를 중심으로 분석을 진행할 예정이고 참고한 문헌들은 Reference를 통해 안내드리고자 하니 필요하신 분들은 참조하여 주시기 바랍니다.
부족한 글에 대한 많은 의견과 feedback은 언제든 환영합니다. 많은 분들이 함께 논의할 수 있었으면 좋겠습니다! 부득이하게 글이 길어질 경우에는 여러 회차에 걸쳐 작성하겠습니다 ^^
채용, HR Analytics의 출발
HR Analytics 프로젝트를 진행하다 보면, HR의 기능 중 '채용'은 독보적으로 많은 데이터를 가지고 있는 것 같습니다. 통상 업무적인 관점에서 볼 때는 크게 구분하지 않지만, '채용'이라는 HR의 기능을 '모집'과 '선발'로 나누어 생각해 볼 때 '모집'은 회사의 매력적인 부분을 다양한 채널을 통해 지원자들에게 소구하여 그 결과로 많은 사람들이 우리 회사에 지원하도록 하는 것을 의미합니다. '선발'은 그렇게 모여진 지원자 중 우리 회사의 구성원으로 적합하다고 생각되는 인적 자원을 선정하는 것을 의미합니다.
'모집'은 노동시장에 우리 회사의 매력을 소구해 입사 지원을 유도하는 행위로 일정 정도 'Marketing' 혹은 'Promotion'의 성향을 가지고 있습니다. 따라서, 어떠한 채널을 통해서 얼마만큼의 지원자가 지원했는가? 지원자에게 가장 소구 된 우리 회사의 가치는 무엇인가? 어떻게 더 강화해야 하는가? 지원자들에게 우리 회사의 어떠한 면모가 부정적으로 인식되는가? 소요된 비용 대비 가장 효율적인 모집 채널은 무엇인가? 등과 같은 질문에 대한 Data를 측정하고 분석할 수 있습니다. 그러나, 이 글의 목적은 '선발'에 보다 집중하고 있는 관계로 '모집'과 관련한 Data 이야기는 다음을 기약해 보겠습니다. '채용'을 Data 관점에서 조망하고자 하는 이하의 글은 '모집' 과정을 통해 우리 회사에 지원할 의사가 생긴 지원자가 입사 지원을 하고 난 이후 시점부터에 관한 것입니다. 즉, '선발'에 초점이 맞춰져 있습니다.
채용전형이 시작되면 기업은 적합한 인적자원을 선발하기 위해 수많은 지원자들로부터 다양한 정보(Data)를 제공받습니다. 입사지원서에 기록된 Biodata, 자기소개서 및 경력기술서, 기존 직무 수행 이력 등 회사가 선발 의사결정을 내리기 위해 필요한 기반 Data를 수집합니다. 여기에 그치지 않고, 기업이 선발 오류를 줄이고 '정확도'를 높이기 위해 활용하는 다양한 선발 전형의 결과값이 더해집니다. '인적성검사', '서류전형', '자기소개서 평가', '면접' 등 다양한 전형을 거치며 생성되는 결과값들이 지원자의 Data에 더해져 보다 정보량이 많은 Data로 변화하게 됩니다. 채용은 상시로 발생하기 때문에 위에서 언급한 Data는 1회성에 그치지 않고 계속 생성되고 누적됩니다. 이렇듯 채용에서 생성되는 Data는 지원자들이 제공한 Data에 그치지 않고, 전형 과정에서 발생하는 결과값이 또 다른 Data를 만들어 내기 때문에 인적자원과 관련한 Data의 출발점이자 HR Analytics의 훌륭한 정보 근원 (Data source)이 됩니다. 채용 과정을 통해 생성된 정보를 연장하여 해당 인적자원이 입사 후 성장하는 각 단계를 누적하는 과정에서 해당 Data는 인적자원에 관한 더 많은 정보를 담을 수 있기에 그 가치가 점차 높아지게 됩니다. 한 사람의 인적자원에 대한 Data들이 누적되며 보다 면밀한 분석을 할 수 있게 되는 것입니다.
그런데, 채용 Data의 활용에 관한 관점을 지원자 개인에서 조직의 선발 전형과 평가자의 관점으로 넓혀 볼 수도 있습니다. 각 선발 전형이 저마다의 독특한 장단점을 가지고 있고, 각 선발 전형의 결과가 입사 이후의 성과를 예측할 수 있는 정도가 다를 수 있으므로 우리 회사에서 어떠한 선발 도구가 적합한 인적자원을 선발하는 데 있어서 가장 효과적인지 분석해 볼 수도 있습니다. 또한, 선발 전형 결과를 활용하여 평가자로서의 역량 (혹은 오류)를 판단해 볼 수도 있습니다. 이 모든 것은 입사 지원자에 대한 채용 전형 과정에서 생성되는 Data가 없다면 분석이 불가능할 것입니다.
'우리, 잘 뽑고 있는 걸까?'라고 하는 이 글의 제목의 질문에 답할 수 있으려면 선발 전형의 결과 Data를 기반으로 분석하고 검증할 수 있어야 합니다. HR Analytics가 활용될 수 있는 하나의 출발점입니다.
선발도구의 편파 효과 (Adverse Impact)
선발 전형의 결과값을 활용해 분석할 수 있는 선발도구(전형)의 여러 가지 특성은 다양합니다. 선발도구의 신뢰도나 타당도 등과 같은 대표적인 지표들과 더불어 또 하나의 중요한 사항은 선발 결과의 '공정성 (fairness)'입니다. '공정성'에 관한 다양한 정의가 있고 이에 대한 사회적 합의가 선행되어야 하고 현재 우리 사회는 다양한 의견들이 표출되고 있는 중이라고 생각합니다. 그렇기 때문에, 이 글의 목적은 '공정성' 그 자체를 논의하기 위해 작성되고 있지 않음을 우선 밝혀두고자 합니다. '선발도구의 편파 효과' 즉 'adverse impact'란, 선발을 위해 활용하고 있는 특정한 전형 (선발도구)가 특정 집단 (인종, 성별, 연령 등)에 대해 의도적 혹은 비의도적으로 차별적인 전형 결과를 가지고 오는 것을 의미합니다. 채용 혹은 승진에 대한 인사 의사결정상의 차별적인 결과는 불공정하게 인식될 수 있습니다.
'Adverse impact'의 개념은 1971년 미국 연방 대법원의 Griggs v. Duke Power Company의 판례를 통해 처음 알려졌습니다. 차별 효과 이론 (disparate impact theory)에 따라, 특정 집단간의 대한 승진률이나 합격률 상의 통계적인 차이에 대한 증거가 존재한다면 차별이 존재한다고 보았습니다. 물론, 이러한 통계적인 차이가 사업의 필요성에 의한 것이라면 이를 차별로 인정하지는 않고 있습니다 (Morris, 2001).(단, '사업의 필요성'을 입증할 수 있어야 합니다.)
'Adverse impact'는 선발 전형 상에서 기업이 의도하건 의도하지 않았건 간에 선발 전형이 구조적으로 인종, 성별, 연령, 종교 등 특정 소수 집단을 차별하는 결과를 가지고 오는 것을 의미하는데, '의도된 차별'은 법적, 윤리적 지탄의 대상이 되므로 결코 있어서는 안 되는 일일 것 입니다. 그러나, 더욱 더 조심해야 하는 것은 '의도하지 않았으나' 선발전형의 결과가 차별적인 결과를 가지고 오는 경우입니다. 예를 들어, 인지역량검사 (Cognitive ability test)를 통한 선발은 백인이 유색인종들 보다 더 유리한 결과를 가지고 오는 경우가 있음이 다양한 연구들을 통해서 밝혀진 바 있습니다 (Ployhart & Holtz, 2008). 인지역량검사를 개발하는 단계에서 의도적으로 백인에게 유리한 결과를 목표로 개발하지 않았지만, 결과론적으로는 일정 정도의 구조적인 차별을 내포할 수도 있는 개연성이 높음을 제시하는 것 입니다. 'Adverse impact'는 기업이 활용하는 선발 전형 모두에서 발생할 수 있는 가능성이 있기 때문에 Polyhart와 Holtz(2008) 는 여러가지 대안 선발도구를 병행하여 활용하는 것을 제안하고 있습니다.
선발도구의 편파 효과 검증, 왜 중요할까?
선발도구의 편파 효과를 검증하는 것은 긴장감 있게 우리의 선발 전형을 돌아본다는 의미와 동일합니다. 사람은 누구나 편향(Bias)에서 자유롭지 못하고, 불충분한 정보를 짧은 시간에 처리하지 못해 합리적인 판단보다는 편의적인 추론 (heuristics)을 합니다. 선발 전형에서도 동일한 현상은 발생합니다. 조직에서의 선발 전형은 시간과 자원의 부족, 평가자의 편향성과 휴리스틱 등에 의해 엄밀함이 저해됩니다 (e.g., Converse, Oswald, Gillespie, Field, & Bizot, 2004; Tsai, Huang, Wu, & Lo, 2010; Sajjadiani et al., 2019). 그렇기 때문에, 우리의 선발 전형은 언제나 '오류 (error)'를 가질 수밖에 없음을 인정해야 합니다. 현재 활용하고 있는 선발 전형이 절차적으로 잘 갖춰져 있다고 해서, 그 선발 전형이 완벽한 것을 의미하는 것은 아닙니다. 선발 전형의 절차적 오류가 없다고 하더라도 선발의 결과적 오류는 항상 수반될 수밖에 없습니다. 중요한 것은 이 오류를 얼마만큼 줄 일 수 있는가? 하는 것입니다. 그 보다 더 선행해야 하는 것은 해당 오류가 있는지의 여부를 검증하는 것입니다. 그렇기 때문에, HR Professional들은 상시적으로 선발 전형의 결과를 분석함으로써 오류의 존재 여부와 정도를 파악해 발전/보완할 수 있어야 합니다.
ESG, 다양성 (diversity), 공정성 (fairness) 그리고 기업의 사회적 책임과 같은 개념들은 우리 나라를 비롯한 Global한 Agenda가 된 지 오래입니다. 정도의 차이가 있겠으나 향후 기업의 지속적인 발전을 위해서라도 HR Professional은 우리의 Practice에 차별적 요소가 있는지 점검하고 또 개선해야 할 것입니다.
더욱이, 최근 인공지능을 선발 전형에 도입하는 것이 가속화되면서 여러 조직에서 다양한 시도가 진행하고 있습니다. 그런데, 선발에 인공지능(AI)을 도입하기 위해 과거의 선발 Data를 인공지능에게 학습시켜야 할 때, 학습 대상이 되는 과거 Data에 편향성이 존재할 경우 AI는 이 편향을 그대로 학습하고 공고히 하는 경향성을 보이게 됩니다 (Barocas & Selbast, 2016). 실존하는 현재 관행의 불합리성을 학습한 AI 알고리즘은 선발 도구의 편파 효과를 더욱 공고히 하게 될 것입니다. 따라서, 우리의 선발 전형의 모습이 어떠한지에 관한 지속적인 검토가 필요하고 이는 AI를 활용한 선발 전형의 도입하기 전에 반드시 확인해야 할 매우 중요한 부분이기도 합니다. 공정하지 못 한 데이터를 학습한 AI는 공정하지 못 한 편향성을 갖게 될 것입니다. (물론, 보정을 할 수 있습니다만 미연에 방지하는 것이 좋겠습니다.)
다음 장에서는 본격적으로 선발 전형 상의 'Adverse Impact' 분석을 위한 다양한 방법들을 소개해드리고, 실제 분석 결과와 해석을 함께 해보도록 하겠습니다.
[Reference]
Barocas, S., & Selbst, A. D. (2016). Big data's disparate impact. Calif. L. Rev., 104, 671.
Converse, P. D., Oswald, F. L., Gillespie, M. A., Field, K. A., & Bizot, E. B. (2004). Matching individuals to occupations using abilities and the O* NET: Issues and an application in career guidance. Personnel Psychology, 57(2), 451-487.
Morris, S. B. (2001). Sample size required for adverse impact analysis. Applied HRM Research, 6(1-2), 13-32.
Ployhart, R. E., & Holtz, B. C. (2008). The diversity–validity dilemma: Strategies for reducing racioethnic and sex subgroup differences and adverse impact in selection. Personnel Psychology, 61(1), 153-172.
Sajjadiani, S., Sojourner, A. J., Kammeyer-Mueller, J. D., & Mykerezi, E. (2019). Using machine learning to translate applicant work history into predictors of performance and turnover. Journal of Applied Psychology, 104(10), 1207.
The EEOC Uniform Guidelines on Employee Selection Procedures (1978)
Tsai, W. C., Huang, T. C., Wu, C. Y., & Lo, I. H. (2010). Disentangling the effects of applicant defensive impression management tactics in job interviews. International Journal of Selection and Assessment, 18(2), 131-140.
