레퍼런스 체크 결과가 비효율적인 성과 예측지표인 이유
지난 브런치 포스팅에서 비지정 레퍼런스의 도덕적 딜레마에 대하여 다뤘다. 오늘은 레퍼런스 체크 결과의 성과 예측지표로써의 효율성을 다루고자 한다.
헤드헌터가 제일 싫어하는 업무
요즘 Coursera를 통하여 People Analytics 수업을 듣고 있는데 하기 그래프가 내 관심을 사로잡았다. 8가지 잡인터뷰 방법들의 성과 예측 효율성을 통계분석한 것인데, 흥미롭게도 헤드헌터로써 나의 시간을 가장 많이 잡아먹는 두 가지 평가방법이 각 1위와 꼴찌를 차지하였다.
Coursera, UPenn Wharton, People Analytics 수업자료 일부1등을 차지한 work sample은 코딩 과제처럼 실제 입사 후 하게 될 일의 샘플을 보여주는 형식의 평가이다. 1분 1초가 빠듯한 일과속에서 "과제 어떻게 잘 보고 계세요?" "듀데잇 내에 제출 가능하시죠?" 까지 챙기는 것이 쉽지많은 않다. 아이에게 "숙제 다했어?"라고 재촉하는 엄마가 된 것 같은 기분도 든다. 뿐만아니라 대부분의 과제는 주말에야만 후보자님이 시간적 여유가되기때문에 소요시간이 1-2주 정도다. 인터뷰 프로세스에 굉장한 시간 적 부담을 주고 때문에 retention도 낮다. 적합한 후보자 찾는 것도 힘든데, 찾아서 지원까지 진행하여도 1-2주 기간의 코딩 테스트를 보아야 한다면 시작도 안 하는 경우, 중도 포기하는 경우, 해도 열심히 안 해서 기준선에 못 미치는 경우 등 속속들이 탈락자가 나온다.
성과 예측 꼴찌를 차지한 레퍼런스 체크도 오퍼 전 가장 critical 한 시간에 시간을 많이 잡아먹는다. 테크 마켓에서는 한 후보에게 오퍼가 2개 이상 나오는 경우가 자주 있다. 레퍼런스 체크 때문에 최종 합격과 오퍼가 1-2일이라도 지연된다면, 막판에 다른 회사에 후보를 너무 쉽게 빼앗길 수도 있다. 때문에 나는 레퍼런스 체크를 요하는 고객사는 미리 파악하고 2차나 3차 인터뷰 때 미리 후보자에게 레퍼런스 체크 주실 분(Referee/레퍼리)을 요구한다. 그리고 요청과 동시에 지정된 레퍼리에게 연락을 드려 당일 2-3시간 내에 30분 정도 통화를 스케줄 하여 모든 내용을 verbatim으로 기록한다. 사람을 많이 만나다 보니 듣는 즉시 받아 적는 스킬이 늘었다. 레퍼런스 체크가 30분만 걸린다면 얼마나 좋을까.. 완성되지 않는 문장들을 완성해야 되고, 말했던 context에 따라 주석을 추가한다. 여차저차 파일을 고객사에게 보내기까지는 1-2시간은 충분히 걸리는 작업이다.
레퍼런스 체크는 사실 레퍼리 체크
나는 다행히도 안 좋은 레퍼런스 체크 결과를 받아본 적은 없다. 아무래도 지정 레퍼런스 체크만 진행하다 보니 그런 것 같다. 하지만 모든 레퍼런스 체크 결과가 같은 것은 아니다. 사실 레퍼런스 체크 결과는 평가를 받는 후보자보다는 레퍼리에 대하여 더 많은 것을 알려준다. 디테일이 살아 있고 생동감이 가득한 레퍼런스 체크 결과는 레퍼리의 스토리텔링 역량과 커뮤니케이션 역량을 말해준다. 평소 사람에게 관대한 사람이라면 칭찬이 앞서고 비관적인 사람이라면 부정적 피드백이 앞설 것이다. 때문에 나는 경험상 영어권 레퍼리들의 결과가 한국권 레퍼리들의 결과보다 훨씬 더 생동감 있고 적극적이었다. 언어적, 문화적 차이가 평판조회 결과에 녹아든 것이다.
스타 레퍼리보다는 당신을 좋아하는 레퍼리
재미있는 여담으로 한 후보자의 레퍼런스 체크를 2명의 레퍼리와 각각 진행한 적이 있다. 첫 번째 레퍼리는 후보자의 첫 직장에서 직접 사수였던 분이었고 중소기업의 과장급 정도의 개발자였다. 두 번째 레퍼리는 잘 알려진 테크 스타트업의 CTO였고, 직전 직장에서 division lead로써 알게 된 사이였다. 나는 당연히 두 번째 레퍼런스 체크 결과가 더 파워풀할 것이라고 생각하였다. 레퍼리가 속한 직장의 네임밸류, 또 CTO라는 타이틀 때문이었다. 하지만 결과는 반대였다, 대화를 이어가는 것이 고통스러울 만큼 두 번째 레퍼리의 답변은 단답형이었다. 각 질문에 한 문장 이상의 답변을 받아내기 어려웠고, 끝내 그는 "사실 제가 **님하고 다른 층에서 일했어요, 잘 알지 못해서.. 길게 드릴 말씀이 없네요."라며 10분도 채 안 되는 통화를 마무리하였다. 그에 반해 첫 번째 레퍼리는 몇 년 전 일임에도 불구하고 굉장한 디테일과 표현력을 이용하며 후보자의 대한 칭찬을 계속했다. 그에게 후보자는 굉장한 임팩을 남긴 수제자 같은 의미였고, 두 번째 레퍼리에게 후보자는 그냥 전 직장에서 알던 애 정도였던 것이다.
때문에 독자도 레퍼리를 지정할 기회가 있다면 본인을 정말 잘 알고 좋아하는 사람을 고르자, 누구나 들어도 알만한 스타급 레퍼리보다는 말이다.
Illusion of Validity/정당성 착각
그렇다면 왜 많은 조직들은 레퍼런스 체크에 많은 채용 리소스를 투여할까? 특히 레퍼런스 체크는 주니어 롤보다는 c-level이나 채우기 어려웠던 롤, 또는 내부 연봉 테이블을 깨고 높은 값에 인재를 모셔오는 경우 등에 더 자주 요구된다. 즉, 내리기 어려운 결정을 조금 더 쉽게 내리기 위한 도구로 사용된다고 생각한다. 이미 내려진 결론의 정당성이 한번 더 의심될때 정당성을 부가하는 것이다. 헤드헌터를 하면서 레퍼런스 체크 결과가 최종 합격여부를 변화시킨 적은 없었다. 이미 긍정적이었던 후보를 뽑기까지 하나의 추가적인 동기가 되거나, 이미 꺼림칙하고 의심이 들던 후보의 탈락을 정당화시켜주거나 하는 것이다. 채용을 할 때 우리는 자주 "Illusion of Validity"에 빠진다. "나는 사람 보는 눈이 좋아"라는 과대평가로 인해 데이터를 무시하고 감이나 느낌만 믿고 채용여부를 결정한다. 레퍼런스 체크 결과는 이런 착각을 한층 더 정당화시키는 수단 아닐까?
스스로를 과대평가 하지말자
평판조회가 나쁜 것만은 아니다
평판조회를 통하여 이력서와 인터뷰 과정에서 깨닫지 못했던 후보자의 역량이나 일화 등을 들어 볼 수 있다. 실제로 레퍼런스 체크를 진행했던 후보자님들과는 한 층 가까워진 느낌이 드는데, 본인은 모르는 평판을 듣는다는 것은 꽤 친밀한 과정이다. 레퍼리의 스토리텔링 역량에 따라 후보자의 역량과 히로이즘에 매료되어 감탄을 뿜어내며 레퍼런스 체크를 진행한 적도 한두 번 있었다. 이때의 결과는 빛이 나는 보물처럼 고객사에게 선물할 수 있다. 그런 결과를 읽고 채용을 안 할 수는 없을 테니 헤드헌터로써는 어떻게 보면 굉장한 무기이다.
결론
레퍼런스 체크하지 말라는 이야기가 아니다. 다만 레퍼런스 체크가 유의미한 성과지표라는 착각만 하지 말라는 것이다. 당신은 이미 후보를 채용하고 싶은지 안 하고 싶은지 안다.
