brunch

You can make anything
by writing

C.S.Lewis

by 데이터드리븐리포트 May 28. 2024

로봇심판, ABS로 살펴보는 AI와 HR

자동투구판정시스템(ABS) 도입과정을 통해 채용에 AI 도입시 유의할 점

9회말 2아웃 2스트라이크 3볼 풀카운트. 투수가 공을 던지고 포수가 공을 받는 순간, 모두의 시선은 심판에게향한다. 심판은 팔을 크게 흔들며 특유의 포즈를 잡는다. 스트라이크, 삼진이다. 투수는 포효하고 타자는 절망한다. 우리가 심판의 콜에 일희일비하는 상황 중 하나이다. 야구만큼 심판의 콜이 빈번하게 개입되는 스포츠가 있을까?

올해 한국 프로야구에서 가장 눈에 띄는 것은 세계최초로, 특히 미국 메이저리그보다 먼저 자동투구판정시스템(ABS : Automatic Ball-Strike System)을 도입했다는 것이다. ‘세계 최초 로봇심판’에 대해 정확도와 공정성에 대한 찬성과 기대도 있지만, 반대로 야구의 재미를 줄이는 것 아니냐는 우려의 시선도 있다.

세계 최초 로봇심판 도입한 한국프로야구

로봇심판이라는 표현을 쓰지만, 실제로는 로봇이 판정한 결과를 인간심판에게 알리는 방식이다. 구체적으로는 야구장에 설치된 4대의 카메라가 투수가 던진 공의 궤적 을 추적하고, 내장된 알고리즘으로 스트라이크·볼 판정을 내린 뒤 이를 포수 뒤에 서 있는 인간 심판에게 전달한다. 무선 이어폰으로 내용을 전달받은 인간 심판은 로봇심판의 결과를 참고해 최종 의사결정을 한다.

KBO에서는 퓨쳐스리그·고교야구 등에서 지속적인 테스트를 통해 검증을 거쳐 99.9%의 정확도를 확보했다고 한다. 특히 로봇심판의 결과물을 전달하는 속도가 2초 정도 걸리는 것을 0.44초로 줄임으로써 경기의 지연을 방지하게 됐다고 한다.하지만 이런 최첨단 기술의 성능 지표와는 별개로 경기를 도입한 첫 시즌 구단 감독·타자·투수·관중의 반응이 엇갈리고 있다.

마찬가지로 기업의 채용과정에서도 인간의 편견을 줄이고 공정성을 높이기 위한 AI의 도입은 이해관계자에 따라 다양한 반응과 우려가 존재한다. 이번 글에서는 자동투구판정시스템 (ABS) 도입과정을 통해 채용절차에 AI 도입시 유의할 점을 살펴본다.

평가지표(Metrics) : 정확도가 99.9%면 사용할 수 있는가?

[자동투구판정시스템(ABS)] ABS에 대한 많은 기사에 정확도가 99.9%라는 자극적인 제목이 보인다. 일단 감탄이 나온다. 하지만 여기서 중요한 것은 정확도의 수치보다 ‘무엇을 측정했는가?’이다. 기사에서 언급하는 정확도란 투구추적에 대한 정확도를 의미한다. 즉, 투구추적 정확도가 99.9%라는 것이다.

투구 추적 정확도라는 것은 투수가 공을 던졌을 때부터 포수가 공을 받을 때까지 카메라가 공을 놓치지 않고 판독하는 성공률을 뜻한다. 즉, 공을 100개 던졌을 때 100개에 대한 추적 성공 여부를 말한다.

하지만 일반적으로 ABS를 소개하면서 ‘정확도'라는 개념을 대중이 받아들일 때는, 추적 성공 여부보다는 로봇심판의 스트라이크·볼 판정에 대한 정확도로 이해한다. 예를 들면 인간 심판의 스트라이크·볼 판정 평균 정확도가 90%라고 가정했을 때, 로봇심판의 스트라이크·볼 판정에 대한 평균 정확도가 99.9%라고 주장하게 되면 논리적으로 설득이 가능한 것이다.

이러한 지표를 갖기 위해서 투구 추적에 대한 정확도는 100%에 가까운 것이 전제조건이 된다. 투구 추적에 오류가 발생한다면, 판정 정확도는 당연히 떨어질 것이기 때문이다. 이런 방식으로 평가지표, 즉 메트릭스(Metrics)가 무엇을 측정하고 평가했는지 명확하게 구분하는 것이 AI 도입시 필수적이다.

심지어 한 기사에서는 작년 인간의 볼 판정 정확도인 91.4% 보다 ABS의 볼 판정 정확도 99.9%가 뛰어나기 때문에 훨씬 설득력이 있다고 주장하지만, 전자는 스트라이크·볼 판정 정확도이고, 후자는 투구 추적 정확도를 비교했기 때문에 같은 평가지표(메트릭스)의 비교가 아니다. 무엇이 우월한지 객관적으로 비교 자체가 되지 않는다.

[HR 사례] 99.9%라는 절대적 수치가 높다고 하더라도 이 지표가 어떤 정확도를 설명하는 것인지 확인할 필요가 있다. 여러분이 새로운 채용 AI 솔루션을 도입했다고 가정해 보자. 이 솔루션은 지원자의 이력서와 자기소개서를 분석하여 우리 회사의 해당 직무에 적합한지 합격·불합격 여부를 결정한다. 만약 이 제품의 정확도가 95%라고 광고한다면, 그 정확도의 의미를 구체적으로 이해하는 것이 중요하다.

1) 정보추출 정확도: 지원자의 이력서·자기소개서를 95% 확률로 학력·경력·스킬 등의 정보추출

2) 직무적합성 예측 정확도: 지원자가 해당 직무에 95% 확률로 적합한지 여부 정확히 예측

3) 성과예측 정확도: 지원자가 입사 후 실제 업무성과 95% 정확히 예측

4) 면접합격 예측 정확도:서류전형 다음 단계 면접전형에 올라갈 합격자 95% 확률로 정확히 예측

이처럼 동일한 95%라도 실제 무엇을 측정하는지에 따라 그 의미와 가치가 크게 달라진다. 이에 따라 새로운 제품(솔루션) 도입을 통해 채용의 어떤 부분을 향상시킬지 목적을 분명히 하고 메트릭스를 확인하는 것이 중요하다.

신뢰도 : 공개되는 부분은 완벽하게 작동해야 한다

[자동투구판정시스템(ABS)] 로봇심판 도입의 가장 큰 장점은 ‘일관성’이다. 기존 인간심판의 스트라이크존은 심판별 개성이 어느 정도 존재했다. 심판에 따라 바깥쪽을 조금 넓게 잡아주기도 하고, 높은 공을 선호하거나, 특정 스타플레이어에게 관대한 판정을 내리기도 했다. 심지어 경기가 크게 기울어져 루즈해질 경우 심판의 퇴근본능이 발휘되어 ‘퇴근존’이라고 하는, 같은 심판이 스트라이크존을 넓혀서 판정한다고 의심되는 사례도 존재한다.

“2018년 메이저리그 심판들이 경기당 평균 14차례, 이닝당 평균 1.6차례 볼 판정 실수가 있었고, 심판의 오심으로 경기가 종료된 경우도 총 55경기였다”는 내용도 보스턴 경영대학 교 수 마크 윌리엄스(Mark Williams)의 논문에서 확인할 수 있다.

ABS를 도입하면서 이런 오심이 사라질 것으로 기대되어 많은 환영을 받았지만, 여전히 신뢰도 부분에서 논란도 존재한다. 그 논란의 핵심에는 공개되는 부분이 완벽하게 작동하지 않는다는 것과 기존 관중이 해석하는 방식과 판정결과가 다르다는 점이다.(그림 참조 - 스트라이크존 판단방법)

첫번째 논란과 관련하여 최근 경기에서 “ABS 추적 실패로 주심 이 볼로 판정하겠습니다”라는 상황이 발생했다. 아무리 투구 추적 정확도가 99.9%라고 해도 관중에게 공개될 때 하나의 실수라도 발생한다면, 로봇심판에 대한 신뢰도는 떨어질 수 밖에 없다. 물론 처음 도입하는 시기라서 어쩔 수 없는 부분도 있겠지만, 경기에 결정적인 영향을 미치는 부분이라면 공개 여부에 대해서 면밀한 검토가 필요하다.

또한 우리가 야구중계를 TV로 볼 때, 익숙한 직사각형의 스트라이크존을 기억할 것이다. 투수로부터 1구, 2구가 던져질 때 전문가가 아닌 눈으로도 스트라이 크인지, 볼인지 쉽게 판단할 수 있어 편리한 시각적 도구다.

ABS 스트라이크존 판정방식

하지만 ABS를 도입하고 나서 오히려 혼란스러워진 이유는, ABS의 판정 정확도를 위해서 <그림2>와 같이 두 가지 존을 동시에 활용하고 있기 때문이다. 홈플레이트 중간과 끝부분 모두 상하 기준을 통과해야만 스트라이크로 판정된다. 현재 우리가 중계화면에서 보는 스트라이크 존은 홈플레이트의 중간부분이기 때문에 끝부분에서 벗어나게 되면 스트라이크로 보이는것이실제로는볼로판정될수있다.

기술적인 정확도를 위해서 섬세하게 설계한 시도는 좋지만, 기술의 진보와 별개로 이전과 동일한 시각화는 대중에게 공개될 때 오히려 혼란을 줄 수 있다. 예를 들어 중간과 끝부분이 일치하지 않을 경우 별도로 표시를 해 준다던지, 시각화 방식을 소폭 개선함으로써 관중에게도 ABS의 기술적 진보와 투명성을 동시에 강조할 수있을 것이다.

[HR 사례] 아마존(Amazon)은 과거 10년 동안의 직원 데이터를 학습시켜 지원자 적합성을 평가하는 AI 채용시스템을 개발했고, 자동화와 효율성을 추구하는 아마존의 실제 채용에서 활용됐다. 하지만 기술의 정확성과 별개로 이 모델의 투명성에 대한 요구가 증가하게 되었는데, 모델을 설명하는 과정에서 성별의 차이에 따른 영향력이 다른 어떤 개인의 특성보다 크게 작용한다는 것을 알게 된다. 예를 들어 ’여성체스클럽회장‘ 같은 단어가 포함된 이력서는 불리한 평가를 받고, 남성의 이력서에 흔히 나오는 단어를 포함한 이력서는 지원자 적합성 평가에 긍정적인 가중치를 주고 있었다.

결국 아마존은 이 시스템의 차별 이슈를 해결하지 못하고 프로젝트를 폐기해야 했다. 국내 공공기관에서도 비슷한 사례로 AI 면접의 신뢰도가 떨어지는 사건이 발생했는데, A공공 기관은 AI면접과정 중 프로그램 접속오류로 면접 진행이 중단된 경우가 발생하였다. 이 과정에서 구직자는 탈락하게 되었지만, 해당 공공기관은 재응시 기회를 주지 않았고, 그 결과 감사원에서 주의조치까지 받았다. 또한 B기관은 AI 면접시 제공되는 질문에 별도 담당자의 검토없이 용역업체에 일괄 위임을 한 이유로 채용 결과에 대한 어떤 설명도 할 수 없었다.

여전히 오류는 있다, 그 중심에 인간이 있다.

[자동투구판정시스템(ABS)] 지난 4월, NC와 삼성의 경기 도중 ABS상으로는 스트라이크존을 통과했는데 심판이 ABS의 결과와 다르게 볼로 선언한 상황이 있었다. 해당 팀 감독이 스트라이크 판정에 대해 항의했지만 4명의 심판합의 결과 “실제 ABS스트라이크존으로 지나간 것은 사실이지만, 로봇심판이 음성으로 전달했을 때 볼로 전달됐다”는 음성전달의 오류로 원심을 유지하기로 했다.

여기서 문제는 4명 심판의 논의내용이 중계방송을 통해 흘러나왔고, 심판진이 본인의 책임을 최소화하기 위해 거짓을 말했을지도 모른다는 것이 팬들 사이에 논란이 됐다. 사실 확인 결과 공이 ABS 스트라이크존으로 지나갔을 경우 심판에게 볼이라는 음성으로 나갈 확률은 0%라는 것이 밝혀졌고, 해당 심판에게 강한 징계가 내려졌다.

이 사건은 사실 관계에 따라 로봇심판의 공정성 이슈로 번질 뻔했지만, 인간심판의 개입이 오히려 판정결과에 오류를 일으킨 대표적 사례가 되고 말았다. 이후 프로야구에서는 로봇심판의 결과를 구장내 인간심판뿐만 아니라 각 팀의 더그아웃내 팀원 중 누구나 ABS 수신기를 공유받을 수 있도록 조치했다.

[HR사례] 채용절차에 AI를 부분적으로 활용하는 기업이 점점 확대되는 추세이고, 주로 서류검토와 면접과정에 활용되고 있는 것으로 보인다. 하지만 HR부서의 인력부족과 전문성 결여, 그리고 외부기관에 위탁했을 때 관리문제 등으로 인해 AI 채용프로세스의 투명성에 대한 문제가 대두되고 있다. 실제 일부 기관에서는 AI 채용알고리즘과 평가기준을 충분히 검토 하거나 자문을 받지 않고 도입하여, 지원자에게 AI가 어떤 기준으로 결정을 내렸는지 설명하지 못하는 경우가 있다. 공정한 채용을 목적으로 AI를 도입했음에도 프로세스의 불투명성으로 인해 또 다른 형태의 차별이 발생할 위험이 있다.

이를 해결하기 위해서는 AI 채용시스템에 대한 점검과 관리가 필요하다. 먼저 AI 알고리즘과 평가기준을 투명하게 만들고 이를 공개해야 한다. 아울러 AI 채용프로세스에서 차별적 요소가 없는지 확인하기 위해 전문가의자문을 받는 것이 중요하다. 이와 함께 인사담당자들이 AI 기술을 잘 이해하고 활용할 수 있도록 교육프로그램을 제공하는 것도 필수적이다.

AI 도입, 인간의 역할은?

최근 미국 뱅크오브아메리카(BOA)와 영국 옥스퍼드대 연 구팀이 발표한 보고서에 따르면 ‘스포츠 심판’ 직종이 로봇에 의해 대체될 확률이 90~100%에 이르는 것으로 나타났다. 하지만 기술의 발전이 인간 심판의 일부기능을 부분 대체할 수는 있지만, 경기의 전체적인 운영과 흐름을 이해하고 관리하는 데는 여전히 인간심판의 역할이 중요하게 남아 있다. 예를 들면 고의성 판단이나 경기 중 감정이 고조되거나 충돌이 있을 때 심판은 단순한 규칙집행자를 넘어 경기의 질을 향상시키고, 경기에 생동감을 부여하는 중요한 요소로 기능한다.

마찬가지로 채용담당자들은 AI를 사용하여 효율적으로 우수한 인재를 선별할 수 있는 시간을 절약함에 따라그 시간을 활용하여 회사에 가장 적합한 인재가 누구인지 심도깊게 고민해야 한다. AI 알고리즘은 많은 측면에서 효율적이지만, 그 한계도 분명하므로 인간의 통찰력을 활용하여 AI가 놓칠 수 있는 부분을 보완하는 것이 중요하다. 결국 HR분야에서 AI의 활용은 효율성과 공정성을 높이는 한편, 채용담당자의 전문적인 역량과 깊은 통찰이 함께 하며 최적의 인재채용으로 이어져야 한다.

스포츠에서 흔히 나오는 말로 ‘오심도 플레이의 일부’라는 말이 있다. 물론 결과론적으로 경기에 영향을 미치는 것에 대해서 오심을 받아들일 필요가 있지만, 이미 활용할 수 있는 좋은 기술이 나오는 상황에서 고집스럽게 옛것을 고수하기보다는 사람이 판단하기 어려워 오심이 나올 가능성이 있는 것은 최소화하는 것이 더 많은사람을 진정한 야구의 재미에 빠지게 하는 것 아닐까.

MLB 볼판정을 분석했던 윌리엄스 교수는 “기술도입이 심판의 죽음을 의미하지는 않는다. 오히려 심판이 더 나은 일에 집중할 수 있도록 돕는 도구가 된다”라고 했다. 기업의 채용담당자 또한 기업의 입사를 담당하는 문지기(Gate Keeper)로서가 아닌 조직에 적합한 인재의 기회를 열어주는 기회창출자(Gate Opener)로서 AI 를 활용하는 방향을 고민해야 할 것이다.