brunch

매거진 디지털 서비스 리포트

라이킷 11 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 김영욱 Jan 23. 2023

AI 시스템을 강화하는 휴먼인더루프(HITL)

'Human-In-The-Loop'의 정의와 빅테크기업의 솔루션을 설명

이 글은 제가 삼성 SDS < 인사이트 리포트 > 2022년 11월 30일에 기고/발행한 글입니다. 원본 글 'AI 시스템을 강화하는 휴먼인더루프(HUMAN IN THE LOOP)'의 서문만을 이곳 브런치에서 공유합니다.

그리고 AI의 전체적인 강화프로세스를 알고 싶으신 분과, 특히 PM/PO, 기획자분들이 꼭 읽고 도움이 되길 바랍니다.

다양한 비즈니스 영역에서 AI를 활용하여, 업무 프로세스를 혁신하여 초자동화를 이뤄내려는 시도가 늘고 있다. 초자동화는 그 기술 자체라기 보다는 ‘체계적인 문제 접근 방식’이다. 즉 AI와 머신러닝뿐만 아니라, 로봇 프로세스 자동화 (RPA: Robotic Process Automation), BPM / iBPMS (‘intelligent’ Business Process Management System), 통합 플랫폼 서비스 (iPaaS), low code / no code tools 및 다른 의사 결정도구나 조직의 베스트 프랙티스와 같은 기술, 도구, 플랫폼을 사용하여 최대한 많은 비즈니스 프로세스를 신속하게 찾아내고, 검증하여 자동화를 추진하는 체계적인 접근방법이라 할 수 있다.1 즉, 반복적이고 지루한 일련의 작업을 자동화된 시스템으로 대체하여, 인간이 더 가치 있는 업무에 집중할 수 있도록 하는 것이다.

그러나 이 부분은 큰 필요조건이 만족되어야만 가능하다. AI의 작업 과정을 인간이 충분히 이해하고 신뢰하지 못한다면, 기업에서의 AI 도입과 효과는 매우 불투명해질 수밖에 없다. 기업의 입장에서는 AI를 사용하여 업무효율을 10% 올리는 것보다, 과정에서 예상하지 못하고 이해하기 어려운 상황을 어떻게 처리할는지가 더 중요하기 때문이다.

예를 들어, AI에게 맡겨진 작업이 기업의 비용과 직간접적으로 연결이 되어 있어, 예상치 못한 금전 손실의 원인이 된다면, 아무리 많은 작업을 효율적으로 대신해주는 시스템이라 하더라도 신뢰하고 사용할 수는 없을 것이다. 또한 이것은 단순히 사용의 범위를 넘어, 전체 프로세스 중에 일어나는 중요한 결정에 대하여 AI의 예측 결과를 이해하고 수용할 수도 없게 된다. 즉 기업은 항상 혁신과 안정 중에 하나를 선택해야 한다면, 보수적이지만 안정적인 시스템을 선호할 수밖에 없는 조직이다.

AI 서비스가 실제 업무 프로세스에 통합되기 위해서는 먼저 투명성, 공정성, 안정성이 확보되어야 작업 위임이 가능해진다. 현재 AI 모델의 예측 한계를 명확히 표시하고, 신뢰도가 낮거나 중요한 의사결정을 포함하는 데이터에 대해서 인간이 직접 리뷰하고 수정하여 품질을 높이는 과정은 AI 서비스에 대한 신뢰도를 높이는 전략이 된다. 이런 과정을 휴먼인더루프(Human-in-the-loop; 이하 HITL)라고 부른다.

[그림 1] A2I HITL 프로세스 (출처: AWS)

이처럼 HITL은 사용자가 AI 서비스를 수용할 수 있는 이해도를 높이고, 작업 과정의 효율화를 이끌어낼 수 있기에 기업의 초자동화를 이끄는 핵심 프로세스가 될 수 있다. HITL에 대해서 좀 더 자세히 정의하고, 활용 방안을 알아보자.

신뢰할 수 있는 AI 업무 자동화

휴먼인더루프 즉, HITL 접근을 좀 더 명확하게 정의하면 “AI를 활용해 추출한 데이터가 실제 중요한 비즈니스 프로세스에서 사용되기 전에, 사람이 데이터를 직접 검증 및 수정할 수 있도록 하는 시스템을 추가하여 데이터의 품질을 보장하기 위한 접근 방식”이다. HITL을 AI 도입 과정에서 시스템화하기 위해서는 작업 과정에서 발생할 수 있는 오류 케이스를 인간의 작업이 어떻게 더 쉽게 수행할 것인지에 대한 고민이 필요하다.

아마존, 구글, 마이크로소프트와 같은 빅테크 플랫폼 기업의 경우엔, 자사의 AI 모델의 적용을 돕기 위한 관련 기능에 이미 HITL을 시스템화했다. 예를 들어, 구글은 Document AI에서 HITL과 관련된 다음의 4가지 기능을 제공하여, 검수 작업 관리에 대한 편의성을 높였다.

• 신뢰도 기준값 필터 설정
• 검수를 손쉽게 도와주는 기능과 사용자 인터페이스
• 검수 인력 관리 기능
• 검수 작업 및 검수자에 관한 분석 기능

먼저 사용자는 AI 작업 및 태스크 분류의 기준이 되는 신뢰도 점수를 직접 설정할 수 있다. 해당 신뢰도 점수를 기준으로 AI는 방대한 양의 문서에 대한 인식 작업을 진행한다. 이때 명확하게 인식하지 못한 문서에 대해서는 사용자가 주도적으로 수정할 수 있다.

사용자의 인지 및 작업 흐름에 따라 맞춰 단순화한 사용자 인터페이스는 사람의 개입을 더욱 쉽게 만들어 데이터 품질 향상에 큰 도움이 된다. 적용 도메인 및 문서 특성에 따라 정확하게 인식하지 못한 예외 경우에는, 해당 문서를 분류한 뒤 선택적으로 확인하고 수정할 수 있게 시각적인 가이드를 제공한다. 예를 들어, 비용 지출 증빙 문서와 같은 정형화된 문서에서 날짜가 잘못 기입된 경우, 추출된 데이터에 빨간색으로 경고 표시를 한다. 또한 문서에서 인식된 영역을 표시하여 사용자가 맥락을 이해하고 수정할 수 있도록 지원한다.

[그림 2] 구글 Document AI의 HITL 예 (출처: 구글 코드랩스)

Document AI에서는 검수 작업을 사용자 스스로 진행할 수 있도록 하는 것뿐 아니라, 특정 검수 인력을 고용하거나, 내부 검수 인력을 관리한다는 점이 꽤나 인상적이다. AI 모델이 인식하지 못한 데이터에 대해서 인간이 검수 작업을 수행한다고 했을 때, 검수자의 변동, 태스크 할당을 동적으로 운영해야 하는 과정을 시스템적으로 해결하지 못한다면, 그 자체가 작업 오류 가능성을 높여 데이터의 품질 저하로 이어질 수 있다. 구글은 관리자의 대시보드에 검수 작업 할당과 인력, 비용 관리 기능을 제공하여, 관리자와 검수자의 커뮤니케이션 효율을 높였다. 또한 검수 작업과 검수 인력에 관한 분석 기능을 제공하여, AI와 인간 검수자의 작업 전환 과정과 효율을 동시에 높였다.