AI 면접은 인간보다 공정할까?
AI면접의 한계와 활용 ③
2020년 1월, 미국 미시간주에 사는 로버트 윌리엄스(Robert Williams)는 퇴근해서 집에 들어가기 직전 가족들이 보는 앞에서 경찰에 의해 수갑이 채워진 채 체포되었다. 2018년에 발생한 절도사건의 흑인 용의자가 CCTV에 찍혔는데, 영상 속의 용의자 얼굴 이미지를 경찰이 보유한 운전면허 사진 데이터베이스와 대조하는 과정에서 그가 범인으로 지목된 것이다. 장시간 구금된 상태에서 알리바이를 확인하고, 용의자 사진과 실제 얼굴을 대조하는 등 여러 과정을 거친 후에도 그는 보석금을 낸 다음에야 풀려났다.
그를 범인으로 지목한 것은 바로 '인공지능(AI) 안면 인식 시스템'이었다. AI 시스템은 방대한 양의 얼굴 사진을 학습하여 모델을 만드는데, 학습 데이터가 주로 백인 얼굴 중심으로 구성되어 있었다. 흑인 얼굴 학습 데이터가 부족하다 보니 제대로 인식하지 못하는 오류가 나타난 것이다. 알고리즘 설계자들조차 시스템에 이러한 한계가 있음을 알지 못했을 가능성이 크다.
MIT의 조이 불라므위니(Joy Buolamwini)의 연구 결과, 여러 상업용 안면 인식 알고리즘에서 백인 남성보다 흑인 여성의 오류율이 40배 이상 (0.8% : 34.7%) 높았다. AI의 훈련 데이터가 지나치게 백인 남성 중심으로 이루어진 결과다.
표정이나 안면 이미지 분석 등을 기반으로 하는 AI 면접평가가 오류와 편향(bias)에 취약할 수 있음을 보여주는 사례다. 범죄 용의자로 잘못 지목되는 것은 매우 위험한 문제이기는 하지만, 증거와 알리바이를 통해 오류를 입증할 수 있다.
반면, AI 면접의 큰 문제는 오류가 명확하게 드러나지 않는다는 데 있다. 대부분 지원자는 역량이나 태도 면에서 비슷한 수준으로 분포되어 있어서 AI 알고리즘과 판단에 문제가 있더라도 이를 증명하기가 쉽지 않다.
아마존(Amazon)은 2014년부터 입사지원자 이력서를 자동 평가하는 AI 채용 시스템을 개발하기 시작했다. 이후 여성 지원자를 지속적으로 낮게 평가하는 편향이 발견되어 프로젝트를 폐기하였다. 이력서에 '여성'과 연관된 단어가 있으면 낮게 평가하는 식이었다. 소프트웨어 개발자 직무에 대해 과거 10년간 대부분 남성으로 이루어진 채용 데이터를 AI가 학습하면서 '남성적 패턴은 우수한 지원자'라는 왜곡된 규칙이 생성된 것이다.
AI는 과거 데이터를 학습하여 모델을 만들기 때문에, 편향된 데이터를 학습하면 편향된 결과가 나오는 것은 당연하다. 편향된 학습 데이터를 정답으로 받아들이고 그 편향을 더 강화하기도 한다. 잘못된 판단 결과로 새로운 데이터가 쌓이면, 그것이 편향을 강화하는 악순환을 초래한다.
이러한 편향으로 여성이나 특정한 연령대 지원자를 차별할 수 있다. 억양이나 표현 방식에 따라 특정한 지역이나 문화권 사람들에게 불이익이 발생할 수도 있다. 사투리를 쓰는 지원자가 역량과 관계없이 탈락한다면 받아들이기 어려울 것이다.
학습 데이터의 편향뿐만 아니라, AI 시스템 개발자가 알고리즘을 설계하는 단계에서부터 편향이 발생할 수도 있다. 개발자가 어떤 요소를 중요한 평가 기준으로 설정하느냐에 따라 AI의 판단 기준이 달라진다.
예를 들어, 지원자의 빠른 말투에 높은 점수를, 느린 말투에는 낮은 점수를 부여하면 AI는 그 기준을 따르게 된다. 설정한 기준에 따라 표정이 적은 사람, 긴장하는 사람은 직무 적합성과는 관계없이 낮은 점수를 받게 될 수 있다.
면접은 대부분 조직이 채용 과정에서 활용하는 핵심적인 선발 도구다. 면접의 가장 큰 문제는 면접관이 지원자를 평가할 때 나타나는 편향이다. 첫인상에 의한 강한 선입관, 자신과 비슷한 사람을 선호하는 현상, 지원자의 특정한 이력사항에 대한 고정관념 등 다양한 심리적 편향이 존재한다.
면접에 AI를 활용하는 중요한 목적 가운데 하나는 사람의 이러한 편향에서 벗어나서 객관적이고 공정하게 평가하기 위한 것이다. 그러나 이처럼 AI도 역시 편향으로부터 자유롭지는 않다.
* 참고자료
American Civil Liberties Union (ACLU), Williams v. City of Detroit case. (https://www.aclu.org/cases/williams-v-city-of-detroit-face-recognition-false-arrest)
J. Buolamwini. & T. Gebru (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. PMLR 81:1–15.
Dastin, J. (2018, October 10). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters.
** 이미지 : AI활용 생성
