무엇을 기준으로 채용하시겠습니까?
검증된 데이터 VS 미래 잠재력
오늘은 채용 과정에서 탐색과 활용의 중요성을 강조한 흥미로운 논문을 소개하려고 합니다. "Hiring as Exploration"이라는 제목의 논문은 기업이 인재를 찾기 위한 알고리즘의 개선을 다루고 있습니다.
먼저 용어를 조금 알아보겠습니다. 탐색(Exploration)은 새로운 지식, 기술, 및 자원을 발견하고 실험하는 과정입니다. 반대로 활용(Exploitation)은 기존의 지식, 기술, 및 자원을 효율적으로 사용하는 과정입니다. 혁신을 잘하는 기업은 이 두 가지의 과정의 균형을 잘 관리합니다.(탐색과 활용을 잘하면 디지털 혁신에 유리하다는 것이 제 박사논문 내용입니다.ㅎㅎ)
채용 알고리즘에서도 탐색과 활용을 정의할 수 있습니다. 탐색(Exploration)은 새로운 후보자 그룹을 시도하여 그들의 잠재력을 평가하는 과정입니다. 활용(Exploitation)은 과거 데이터에서 성공적으로 검증된 그룹에서 후보자를 선택하는 것입니다. 이 논문의 주제 역시 이 두 가지 접근법을 균형 있게 사용하면 기업은 더 다양한 인재를 발굴하고 효율성을 높일 수 있다는 것입니다.
현대의 많은 채용 알고리즘은 과거 데이터를 바탕으로 후보자의 예측 성과를 평가하여 최적의 인재를 선택하는 데 중점을 둡니다. 이는 '활용'(exploitation)으로 불리며, 과거에 좋은 성과를 보인 그룹에서 후보자를 선택하는 경향이 있습니다. 그러나 이 접근법은 비전통적이거나 저평가된 후보자를 간과할 수 있습니다. 특히 소수자 그룹이나 데이터가 충분하지 않은 그룹의 경우, 과거 데이터에 기반한 선택은 편향을 유발할 수 있습니다.
이 논문은 채용 과정을 '탐색'(exploration)과 '탐색'(exploitation)의 균형으로 보고 있습니다. 기업은 새로운 후보자 그룹을 탐색하여 잠재적 인재를 발굴해야 할 필요가 있습니다. 이를 위해 USL, Updating Supervised Learning과 , UCB, Upper Confidence Bound의 알고리즘을 추천합니다.
- Updating Supervised Learning, USL)
USL 모델은 기존의 지도 학습 알고리즘을 주기적으로 업데이트하여 새로운 데이터를 반영합니다. 구체적으로는 다음과 같은 단계로 작동합니다:
1) 초기 모델 훈련: 과거 데이터를 사용하여 모델을 훈련합니다.
2) 새로운 데이터 추가: 새로운 지원자 데이터를 주기적으로 추가합니다.
3) 모델 재훈련: 추가된 데이터를 바탕으로 모델을 재훈련합니다.
4) 반복: 이 과정을 반복하여 모델이 점점 더 많은 데이터를 학습하도록 합니다. 이 모델은 주기적으로 업데이트되므로, 최신 데이터를 반영하여 더 정확한 예측을 할 수 있습니다.
- Upper Confidence Bound, UCB
UCB 모델은 예측된 품질과 탐색 보너스를 결합하여 후보자를 선택합니다. 이는 기존의 예측 알고리즘에 탐색 보너스를 추가하여, 데이터가 부족한 그룹의 후보자들도 고려하도록 합니다. UCB 모델의 주요 단계는 다음과 같습니다:
1) 초기 모델 훈련: 초기 데이터를 사용하여 로지스틱 회귀 모델을 훈련합니다.
2) 탐색 보너스 계산: 각 후보자의 탐색 보너스를 계산합니다.
3) 인터뷰 결정: 예측된 채용 가능성과 탐색 보너스를 결합하여 인터뷰할 후보자를 결정합니다.
4) 결과 업데이트: 인터뷰 결과를 바탕으로 모델을 업데이트합니다.
5) 반복: 이 과정을 반복하여 모델이 점점 더 많은 데이터를 학습하도록 합니다.
이 연구의 결과는 크게 3가지로 요약할 수 있습니다. UCB 알고리즘은 블랙 및 히스패닉 후보자의 비율을 10%에서 23%로 증가시켰으며, 여성 후보자의 비율도 증가시켰습니다. UCB와 USL 모델은 인간 면접관보다 높은 채용 잠재력을 가진 후보자를 선택했습니다. UCB 알고리즘은 시간이 지남에 따라 새로운 정보를 더 효율적으로 학습했습니다. 새로운 알고리즘이 다양성, 학습능력, 품질면에서 탁월한 결과를 나타냈습니다. 결국, 채용 과정에서 탐색의 중요성을 강조하며, 이를 통해 더 효율적이고 공정한 채용이 가능함을 시사합니다. 기업들은 새로운 알고리즘을 도입함으로써 채용 효율성과 형평성을 동시에 달성할 수 있습니다.
