챗GPT로 작성한 자기소개서, 검출할 수 있나?
채용 시장에 인공지능(AI) 등장
채용 시장에 인공지능(AI) 등장
고용노동부의 ‘2023년 하반기 기업 채용동향조사’에서 기업과 구직자가 느낀 가장 큰 변화는 인공지능(AI)의 등장이었다. 최근 채용에서 가장 달라진 부분이 무엇인지 묻는 질문에 기업 인사담당자의 약 30%, 구직자의 52%가 ‘AI 활용 증가’라고 답했다. 구직자는 AI 활용 채용, 비대면 면접 도입 등에 대한 변화 체감이 높았던 반면, 기업의 인사담당자들은 챗GPT 등 생성형 AI로 작성한 자기소개서에 대한 부정적 인식(64%)이 높았다. 심지어 챗GPT로 작성한 자소서라는 것이 확인될 경우 감점(42.2%) 또는 불합격(23.2%) 등 불이익을 주고 있는 것으로 조사됐다.
다만 73%의 기업들은 자기소개서가 챗GPT를 활용해 작성됐는지를 특별히 판별하지는 않는 것으로 나타났다. 이에 대해 향후 자기소개서 선별 기능을 강화(51%)하거나 자기소개서가 아닌 다른 전형 비중을 높이는 방향(41%)으로 대처할 것으로 예상했다.
글로벌 AI 개발기업 OpenAI는 지난 주 새로운 AI 모델인 ‘GPT-4o’를 발표했다. o는 영어 ‘모든(every-)’에 대응하는 라틴어 ‘옴니(omni-)’의 첫 글자이다. 카메라와 음성 인식 기능을 탑재해 ‘보고 듣고 말할 수 있는 본격적 AI’로 여겨지고 있다. 이처럼 최근 대규모 언어모델 기반의 생성형 AI는 인터넷, 모바일 혁명에 이은 제3의 IT 혁명이라고 할 수 있다. 하나의 화제로 적당한 깊이와 논리를 갖춘 일정 분량의 글을 매우 빠르게 만들어 낸다. 또한 사람이 직접 검색을 해서 모은 정보를 일목요연하게 정리하는데 필요한 시간을 비약적으로 줄여준다. 이러한 특징들로 인해 각종 산출물에 대한 표절 문제가 대두되고 있는 것이다. 특히 채용 시장에서는 동시에 여러 곳에 지원하는 구직자의 경우 본인의 경험과 가치관을 바탕으로 조금씩 다른 듯하면서도 비슷한 자기소개서를 여러 개 써야하기 때문에 챗GPT의 텍스트 생성 능력을 빌린다면 큰 도움이 될 것이 분명하다.
AI의 대리 작성, 검출할 수 있나
다만 개별 기업에서 이처럼 챗GPT로 작성한 자기소개서 여부를 확인할 수 있게 될 때까지는 시간이 좀 더 필요할 전망이다. AI로 작성한 텍스트인지 정확하게 탐지할 수 있는 알고리즘이나 검출 방법을 개발하려는 시도는 대체로 효과가 없는 것으로 입증되었기 때문이다. 이러한 탐지는 이론적으로 정확하게 이루어지지 않으면 선량한 지원자가 억울하게 누명을 쓰는 것을 막을 방법이 없다. AI 연구자들은 인간 텍스트와 AI 생성 텍스트를 구별하기 위해 통계적 특징이나 언어 패턴을 사용할 가능성을 탐구하고 있지만 이러한 접근 방식은 현재로서는 효율성이 떨어지는 것은 물론, AI의 발전 속도가 탐지 로직 개발 속도보다 훨씬 빠르기 때문에 큰 의미가 없다.
작년 3월 메릴랜드대 컴퓨터공학과에서 발표한 논문*에서, 워터마킹, 신경망, 제로샷 및 검색 기반 탐지기를 포함한 네 가지 클래스의 탐지기(검출기)의 성능을 분석하고 신뢰성 문제를 분석한 결과 신뢰성에 문제가 있는 것으로 나타났다. 특히 최근 제안된 워터마킹 및 검색 기반 탐지기를 깰 수 있는 강력한 재귀적 파라프레이징 공격을 개발하고 적용했으나, 검출기의 오탐률이 충분히 낮지 않아서 실제 적용할 수 없다는 결론을 내렸다.
또한 작년 12월 교육계에서 발표된 또다른 연구 결과**에서는 AI 생성 텍스트에 대한 탐지 도구의 일반적인 기능을 조사하고 정확도 및 오류 유형 분석을 기반으로 평가해 본 결과, 사용 가능한 탐지 도구가 정확하지 않고 신뢰할 수 없으며, AI 생성 텍스트에 대해 사람이 직접 작성한 것으로 오탐지하는 경향이 큰 것으로 나타났다. 연구자들은 ‘탐지’보다는 ‘예방’에 초점을 맞춰야 할 것이며, 따라서 최종 산출물보다는 텍스트의 작성 과정을 테스트하는 것이 나을 것이라는 제안을 남겼다.
시장에는 이미 LLM으로 생성된 텍스트와 사람이 작성한 생성된 텍스트를 식별할 수 있음을 표방한 서비스가 속속 등장하고 있다. 그 중 하나는 프린스턴대 학부생 Edward Tian이 개발한 인공 지능 탐지 소프트웨어 GPTZero이다. 이 프로그램은 학술 논문 표절을 방지하기 위한 대응으로 2023년 1월 출시되었다. GPTZero는 텍스트 안에 숨겨져있는 ‘당혹감과 폭발성(Perplexity and Burstiness)’을 사용하여 작성자가 사람인지 AI인지 확인하는 방식을 취하고 있다. GPTZero는 펀딩을 통해 350만 달러 이상을 모금했고 출시 첫 주에 3만 명의 유저를 끌어모으는 등 화제가 되었지만, 오탐률이 20%에 육박한다는 것이 알려지면서, 실제 자동화된 판단에 활용하기는 아직 무리라는 인식이 커지고 있다.
/게티이미지뱅크결론적으로 AI가 생성한 텍스트를 신뢰성있게 감지하는 것은 현재로서는 기술적으로 불가능하다는 주장이 힘을 얻고 있다. 앞서 전제했다시피, 인간의 신경망을 모방한 생성형 AI 모델의 복잡성과 정교함은 텍스트 작성자가 사람인지 AI인지를 연역적으로 구별하는 것 자체를 극도로 어렵게 만들고, 귀납적으로 통계적 특징이나 언어적 패턴을 기반으로 한 탐지 방법은 향후 더욱 발전된 AI 모델을 통해 쉽게 극복될 수 있기 때문이다.
HR의 대응 방향
따라서 기업의 대응은 크게 두 가지로 나뉠 것이다. 첫째는 앞으로 자기소개서를 아예 받지 않는 방향이다. 둘째는 면접을 통해 자기소개서의 내용을 확인하고 검증하는 것이다. 숙련된 면접관이 자기소개서를 바탕으로 질문을 하면, 지원자의 경험과 성취 및 자기 평가가 사실에 기반을 두고 있는지를 확인할 수 있다. 또한 지원의 진정성과 지원자의 성격, 경험, 역량 그리고 기업과의 적합성을 평가하는 데 다양한 장점을 활용할 수 있다. 특히 이렇다 할 직장 경험이 없는 신입의 경우, 자기소개서에 기술된 가치관이나 학습 동기에 대해 질문함으로써, 개인적 신념이 우리 회사의 문화와 얼마나 잘 맞는지를 평가할 수 있어 직원의 만족도와 조직 내 인재 유지에 큰 역할을 할 것이다.
지원자들이 챗GPT를 글쓰기 능력 향상이나 개요 작성과 같이 부수적 용도로 활용하지 않고, 자기소개서 등 입사지원 서류를 ‘대신’ 작성하는데 쓰려는 시도는 현재 기업의 채용 업무에 큰 도전으로 인식되고 있다. 하지만 조금의 노력을 부가함으로써 우리는 이러한 도전을 또다른 기회로 만들 수도 있다. 자기소개서를 미리 검토하고 면접 전형에서 이를 바탕으로 한 질문을 활용하면, 지원자가 어떻게 자신의 생각을 조직적으로 표현하고, 복잡한 경험을 명확하게 설명할 수 있는 능력이 있는지까지 평가할 수 있다. 대부분의 직무에서 의사소통 능력은 반드시 요구되는 소프트 스킬이며 자기소개서와 연계한 질문은 이를 측정하는 매우 좋은 수단이다.
ⓒ 2024. 사람인 HR연구소
*Vinu Sankar Sadasivan, Aounon Kumar, Sriram Balasubramanian, Wenxiao Wang, Soheil Feizi(2023), “Can AI-Generated Text be Reliably Detected?”, Department of Computer Science, University of Maryland.
**Debora Weber-Wulff, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut & Lorna Waddington (2023), “Testing of detection tools for AI-generated text”, International Journal for Educational Integrity.
최신 HR 트렌드를 더 알아보고 싶다면?
