AI 면접 & 검사 과정 분석
경영자와 HR을 위한 심리학. AI 면접 과정 분석
Photo by Ben Mullins on Unsplash
* 개인적으로는 저의 영역 외의 다른 사람 전문가 분들의 활동이나 작품에 큰 관심을 두지는 않습니다. 특히 다른 전문가 분들이 개발하신 제품이나 작품에 대해 비판적인 평가는 더더욱 안 하려고 합니다.
* 그런데 최근 AI 면접과 관련해서 제 고객분들의 많은 피드백과 문의사항들이 있어서, 객관적이고 중립적인 견지에서 한번 조망할 필요는 있는 것 같아서 감히 글을 써 봅니다.
* 참고로 저는 임상/상담 심리학을 전공하고, 정신과에서 심리평가/진단 및 정신감정과 심리치료를 전공한 임상가이면서, 동시에 HR에서는 선발 평가 및 리더십 역량 진단 도구 개발(AC, 역량검사, 심리검사 등)과 코칭 등을 수행하고 있는 사람임을 먼저 알려드립니다.
* AI에 대해서는 거의 지식이 없는, 심리학을 전공한 일개 역량과 역량평가 및 면접 전문가의 견해라는 제한을 고려하여 보시기를 권합니다.
0. 역량과 능력을 평가하는 방법
역량, 능력, 심리, 정서 등 비가시적인 심리적 요소들을 평가하는 것은 쉽지 않은 일입니다.
그래도 이와 같은 심리적인 요소들을 정확히 평가할 필요는 있지요.
군대나 회사에서는 한 개인의 최적의 능력을 평가하여 그에 맞는 일을 맡기는 것이 최고의 성과를 만들기 위한 핵심적 전제가 됩니다.
또한 상담이나 심리치료 장면에서는 내담자나 고객의 심리적 상태를 정확히 진단하거나 성격을 알아내어 최적의 치료를 제공합니다.
이를 위해서는 다음의 두 가지 과정이 이루어져야 합니다.
1) What. 무엇을 측정할 것인가? : 심리적 구성요소의 개념 정의(특히 조작적 정의)
2) How. 어떻게 측정할 것인가? : 정의된 구성 요소를 가장 잘 평가할 수 있는 방법
이와 같은 두 가지 과정이 이루어진 후 상황적 요구나 고객사의 요청 등에 따라 다음 중 한 가지 형식을 선택하게 됩니다.
1) 설문지형 (체크리스트, SJT(상황판단검사), 전통적 설문지형 방식 포함)
2) 능력검사형 (인성적 측면보다는 지적인 능력 중심의 평가, 보통은 적성검사나 지능검사가 이에 해당함)
3) 기타 맞춤형 방법들 (Simulation Exercise 등 평가 대상 역량 혹은 고객사 역량에 따른 맞춤형 평가 방법 개발)
보통은 평가방법이나 과제를 개발한 후 다음과 같은 타당화 과정을 거칩니다(엄격히 말하면 저는 평가도구 개발과 관련하여 내용 전문가에 해당하며, 개발 방법론 전문가는 아닙니다. 혹시라도 잘못된 내용이 있으시면 피드백 바라며, 수정/보완토록 하겠습니다!^^).
1) 내용 타당도 : 전문가들에 의하여 해당 역량을 실제로 잘 측정할 수 있는지에 대한 검토와 피드백
2) 교차(준거) 타당도 : 해당 역량을 측정한다고 공인된 기존 검사와의 상관을 보는 것
3) 구성 타당도 : 평가하고자 하는 역량이나 능력이 정확하게 잘 평가되었는지를 검증하는 방법(보통은 요인 분석을 사용하여 검증함)
1. STT 없는 면접 평가?
보통 AI의 핵심적 기능 중 하나가 바로 STT(Speech-to-Text) 분석입니다.
말을 하는 경우 이를 글로 전환하여 그 내용을 분석하는 것입니다.
그리고 분석된 내용을 기반으로 하여 다양한 애플리케이션과 연계하는 것입니다.
가장 대표적인 것이 음성인식 스피커 등입니다.
(제가 이 쪽 전문가는 아니지만) 그 알고리즘의 핵심은 음성언어를 텍스트로 전환하고, 전환한 텍스트를 기반으로 하여 여러 가지 활동에 연계하는 것으로 알고 있습니다.
그런데 제가 개인적으로 알고 있는 수준에 한정하여 말하면,
말하는 것을 STT로 전환하여 내용을 평가하는 면접 솔루션은 아직 없는 것으로 알고 있습니다.
왜냐하면 면접이라는 것은 내용 자체가 매우 방대하며, 각 상황과 맥락을 고려하여 평가를 해야 되는 정교하고 복잡한 과정을 거치기 때문입니다.
예를 들어, '인턴을 했다'라는 문장에 대해서 기계적으로 5/4/3/2/1 점을 부여할 수는 없으며, 어떤 회사에서 인턴을 하였으며 어느 정도의 기간 동안 하고, 주로 어떤 일을 하고 어떤 성과를 보였는지 등의 맥락과 상황 정보가 동시에 반영되지 않으면 정확한 판단을 내리기 어렵습니다.
그렇다면, STT 과정이 없이 행동적 측면 만을 보고 평가하는 면접(?) 솔루션이라고 한다면,
그것은 행동 분석 툴로 보는 것이 더 합당하며, 면접이라는 이름을 붙이지 않는 것이 더 올바른 사용법일 것입니다.
혹은 기존의 자기소개서 검색이나 평가 솔루션과 같이 특정 단어가 들어있는지 혹은 들어가지 말아야 할 단어들이 포함되어 있는지를 검색하거나, 기초적인 수준에서의 팩트 확인이나 정리 수준의 평가도구라고 정의하는 것이 적절할 것입니다.
만약 이를 넘어서는 기능이나 평가가 가능하다고 말한다던가 혹은 이와 같은 착각을 불러일으키게 한다면 그것은 왜곡된 정보를 제공하는 것입니다.
2. 게임 형식의 검사?
저 개인적으로도 게임 형식의 심리검사 개발에 깊은 관심을 가지고 있기 때문에 이와 같은 접근을 진지하게 고려하고 시도해보기도 합니다.
특히 IT 기술을 접목한 게임 형식의 검사들은 사람이 이를 관찰하고 평가하는 것에 비하여 파악할 수 있는 정보의 양이나 내용이 훨씬 더 다양합니다.
저희가 개발했던 예시를 통해서 관련 이슈를 논의해 보겠습니다.
예시 1. 숫자 체크 과제
숫자 체크 과제이 과제는 아주 간단합니다. 1부터 16까지의 숫자를 순서대로 체크하면 됩니다.
보통 주의력 결핍 아동들의 주의집중력 평가 시 자주 사용되는 간단한 과제입니다.
일반적으로는 전체 반응 시간, 오류 횟수 등을 확인합니다.
그런데 만약 이 동일한 과제가 IT 기반의 온라인 게임 형식을 갖추게 된다면 어떻게 될까요?
아이패드에 탑재된 숫자 체크 과제만약 동일한 검사가 아이패드에 탑재된다면 좀 더 정확하고 다양한 정보들을 알아낼 수 있습니다.
왜냐하면 아이패드의 경우 실시간 반응 속도나 시간을 정확하게 기록할 수 있기 때문입니다.
구체적인 평가 정보의 예는 다음과 같습니다.
- 1부터 16까지 순서대로 체크하기 : 정확한 반응 시간 체크
- 첫 반응 시간 : 적극적 시도 VS 탐색적 숙고 반응 → 환경에 대한 반응성
- 반응 간 평균 시간 및 변동성 수준 : 심리적 안정성 및 주의집중력
- 오류 횟수 및 패턴 : 초반/중반/종반 오류 양 및 패턴 분석
- 검사 간 평균 시간 변화 및 변동성 수준 : 반복 실시 시 반응 패턴 및 오류 패턴에 대한 비교와 변화 분석
- 반응 중 감정 반응 : 심박수 등 BioData 통합 해석을 통해 감정적 변화 모니터링
- 재검사 시 이전 반응과의 유사성 혹은 변동성 : 주의집중력 등 심리적 특성/상태의 변화/개선/학습 수준 평가에 활용
예시 2. Stroop Test 응용 검사
또 다른 예를 하나 들어보도록 하겠습니다.
이 검사는 Stroop Test라고 하는 신경심리검사의 원리를 응용한 것입니다.
특히 이 검사는 전두엽 기능과 밀접한 관련이 있어서 전두엽 손상 환자들은 뚜렷하게 수행이 떨어지는 경향을 보이는 것으로 알려져 있습니다.
하지만 이 검사에서 점수가 낮다고 하여 전두엽의 특정 영역에서의 손상을 탐지한다고 말할 수는 없습니다.
왜냐하면 연구 결과 상 이 검사 점수가 낮아지는 것은 전두엽 손상도 있으나 주의집중력 부족, 충동성, 혹은 다른 뇌기능 상의 문제 등 다양한 이유가 있기 때문입니다.
그래서 이 검사에서의 '점수가 낮아졌다 = 전두엽 특정 영역의 손상'이라고 말할 수는 없습니다.
다른 신경심리검사들을 종합적으로 고려하여 최종적인 결론을 내려야 합니다.
Stroop Test 형식의 뇌기능 검사 예시만약 동일한 검사가 아이패드에 탑재된다면 좀 더 정확하고 다양한 정보들을 알아낼 수 있습니다.
앞서 검사와 마찬가지로 정확한 반응 탐지와 반응 시간, 그리고 오류 패턴 등을 체계적으로 기록할 수 있기 때문입니다.
이와 같은 면들은 사람 검사자가 하는 경우에는 그 정확도나 파악할 수 있는 정보의 양 자체에서 큰 차이를 보이게 됩니다.
이와 같은 이유로 IT-Based Assessment Tool 개발은 검사의 정확도나 신뢰도 그리고 얻을 수 있는 데이터의 양에서 차이를 보이게 됩니다.
만약 이와 같은 자료들이 체계적으로 축적되고 합리적인 논리에 의해서 분석되거나 다양한 기준치에 의한 분석(예를 들어 유전적 소인이나 뇌기능 상 장애나 문제 등)을 해 나간다면 보다 좋은 평가도구가 될 수 있습니다.
그런데 앞서 예시를 들었던 두 가지 검사를 한 후,
"본 검사는 전두엽의 superior frontal gyrus 및 superior frontal sulcus와 관련이 있는 것으로, 인간의 주의집중력 및 순차적인 사고와 행동능력을 측정합니다!"
라고 결론 내릴 수 있을까요?
만약 제가 이와 같은 주장을 한다는 것이 신문을 통해 알려진다면, 저희 지도교수님부터 여러 동료들이 저한테 엄청난 비난을 퍼부을 것입니다.
이와 같은 형식이 의미가 있으려면, 정확하고 확실한 근거에 기반하여 충분한 근거 자료를 기반으로 하여 이루어져야 합니다.
창의적인 접근임은 인정하며 새로운 형식적 진보 임에는 틀림없습니다.
하지만 역량을 평가한다는 말은 쉽게 하면 안 되는 표현이라고 생각합니다.
최근 핫한 개념 중 하나가 바로 게임화(Gamification)입니다.
여러 가지 정의가 있을 것이나 제 나름대로 재정의해 본다면, '기존의 방식에 게임 플레이 형식을 더하여 그 몰입이나 재미를 증가하는 것'이라고 정의할 수 있을 것입니다.
이는 단순히 게임 형태로 진행한다는 의미를 넘어서서, 기존의 방식(즉 활동 내용이나 목적, 방법 등이 제대로 정의되어 있음)에 게임 형식으로 더하여 그 가치와 의미를 더하는 것입니다.
그리고 Gamification의 발달로 인하여 특정 게임 방식을 통해 기존에 없었던 새로운 영역들을 평가할 수 있기도 합니다.
그런데, 게임 형식을 도입했다고 해서 무조건 Gamification이라는 말을 사용할 수는 없을 것입니다.
특히 선발과 같이 평가의 결과가 한 개인에게 미치는 지대한 영향이 있는 경우라면 더욱더 신중하고 조심스러운 판단과 접근이 필요할 것이라 생각합니다.
이는 개발자의 입장에서도 그렇고, 사용자의 입장에서도 마찬가지라고 생각합니다.
사람과 관련된 일은 아무리 신중해도 지나침이 없기 때문입니다!
AI 면접 시리즈
1. AI 면접? 글쎄요.. : AI 면접의 효용성
2. AI 면접 로직 분석 : 뇌과학과 전두엽
3. AI 면접 과정 분석 : 게임 형식 검사의 활용 상 제한
4. AI 면접의 가치 : AI 면접이 가야 할 길
본글을 쓰는 과정에서 참고한 자료와 글들은 다음과 같습니다.
* 이미 일찌감치 관련된 이슈에 대해서 잘 정리하신 글이 있습니다. "아뭏튼워라밸"님께서 쓰신 '요즘 유행하는 AI 면접의 실체' 등 일련의 글들을 참고하였음을 우선 말씀드립니다. 또한 제가 보기에도 제가 보지 못했던 여러 가지 관점도 보실 수 있는 좋은 자료인 것 같으니 여러분들도 한번 참고하시면 좋을 것 같습니다.
https://brunch.co.kr/@work-and-life/12
* 최근 AI 면접과 관련하여 한겨레 21의 박태우 기자님께서 관련된 심층보도(?)를 하시는 중인 것 같았습니다. 객관적인 견지에서 균형적 분석을 해주신 것 같아서 해당 기사의 내용을 많이 참고하였습니다.
http://h21.hani.co.kr/arti/economy/economy_general/49403.html
http://h21.hani.co.kr/arti/reader/together/49437.html
본 글과 함께 읽으시면 좋을 글은 다음과 같습니다.
https://brunch.co.kr/magazine/ceo-hr
https://brunch.co.kr/brunchbook/interviewclinic
