정부지원사업 회고 - Part II
2021년도 AI 바우처 사업을 마무리하며
이전 글 요약 (정부지원사업 회고 - Part I)
어렵사리 정부지원 사업에서 문제없는 결과를 받았으나 그 과정은 녹록지 않았음
사업이 난항을 겪은 3가지 이유는 과제 설계, 미흡한 역량, 과도한 기대로 요약될 수 있음
무리한 세일즈에 기반한 미흡한 과제 설계는 사업 전반에 걸친 딜리버리 리스크를 높이는데 일조하였음
어떤 문제점이 있었는가?
미흡한 역량
과제 설계가 잘못된 상태에서 고객의 크리티컬한 요구사항을 맞추지 못하는 제품은 프로젝트 진행을 더욱 어렵게 한 요소였다. 근본적으로 이는 고객이 원하는 적절한 형태의 제품을 개발하는 역량 부족에 기인하였는데, 그중 시장 및 사용자 중심이 아닌 공급자 관점의 제품 기획이 특히 아쉬운 점이었다.
당사는 금번 사업에 AutoML 패키지 솔루션 공급기업으로 참여하였는데, 솔루션을 사용해 자동으로 적합한 예측모델의 성능도 중요하지만 사용성 및 운영 연계 관련 부분 역시 고객에게는 매우 중요한 사실을 제품 기획에서 많이 간과한 것으로 보인다.
머신러닝 프로젝트에 있어 모델 성능과 방법론이 중요해 보이지만 이는 활용하는 데이터와 전처리 방식에 따라 많은 차이를 보이기 때문에 실제로 성능이 사용 가능한 수준 범위 내에 있다면 모델 배포/운영 관점이 현업에게는 훨씬 중요한 요소일 수 있다. [1] 또한 데이터에 영향을 적게 받는 제품 기능들은 시장과 고객의 니즈에 기반한 설계를 통해 좀 더 확실하게 고객을 만족시킬 가능성이 높기도 하다.
물론 신제품을 기획하고 출시함에 있어 100% 고객이 원하는 기능을 갖춘 완벽한 제품만 판매할 수는 없다. 특히 작은 회사는 이런 방식으로는 영영 판매기회를 잡을 수 없고, 특히 정책적으로 커스터마이징을 많이 허용하지 않는 패키지화된 제품이라면 완벽한 제품을 만드는 것 자체가 불가능한 일이다. 그럼에도 불구하고 제품 출시와 판매 싸이클이 비교적 긴 B2B 제품에 대해서는 깊이 있는 시장조사와 기존 고객의 반응을 살펴보며 제품 기획의 부족한 점을 보완해 나가는 현명함이 필요해 보인다.
과도한 기대
3,4년 전부터 인공지능 및 머신러닝의 업무 적용을 진행해 온 금융권은 이제 한계점을 인지하고 현명한 적용과 기술의 기반이 되는 데이터 인프라 및 거버넌스 구축을 위해 노력하고 있다. 하지만 이러한 흐름이 비교적 최근 보이기 시작한 업권 - e.g.) 비금융 업권 중견기업들 - 의 경우 머신러닝에 대한 과도한 기대로 그 결과가 인력을 대체할 수 있다거나, 기존 통계툴의 산출 결과보다 무조건 우월하다는 식의 생각을 하는 경우가 종종 있다. 본 사업을 어렵게 만든 또 하나의 이유는 당사의 제품을 이용하는 수요기업 - 정확히 말하자면 수요기업의 카운터 파트 부서 - 이 가진 위와 같은 과도한 기대감이었다.
물론 처음부터 과제 설계에서 기대치 관리가 성공적이지 않았지만, 그럼에도 불구하고 다양한 실험 없이 시종일관 머신러닝만 적용만 하면 성능이 보장되어야 한다는 기대감을 프로젝트 진행 중에 관리해야 하는 과정은 녹록지가 않았다. 여기에 더해 데이터 상황도 좋지 않았는데, 식자재 유통 판매계획에 대한 시계열 분석 과제에 있어 사용한 데이터가 2년간의 코로나 상황이 혼재된 상태였다. [2] 또한 프로모션 정보와 같이 판매실적에 영향을 줄 것으로 예상되는 외부정보의 데이터화 역시 미진한 상태여서 수요기업이 원하는 것처럼 마법같이 성능 향상이 일어나긴 사실상 불가능하였다.
또한 양사 간 사업 결과물에 대한 기대치 역시 상이하였다. 수요기업은 솔루션 공급의 부가서비스로 제공하는 모형 개발을 하나의 용역서비스로 인식하고 지속적인 성능 개선을 요구하였고, 잘못된 과제 설계와 요구사항을 제대로 만족하지 못하는 제품으로 인해 일정 부분 대응을 해야만 하는 상황이 반복적으로 지속되었다. 다행히 담당 직원이 포기하지 않아 끝까지 프로젝트를 마무리 지을 수 있었지만 자칫하면 더 큰 리스크에 직면할 뻔하였다.
(To be continued)
[1] 항상 그런 것은 아니고 모델 수가 많고 업데이트 주기가 빠른 경우 성능보다 관리/운영의 용이성에 초점을 두는 경우가 있을 수 있다. 예를 들어 수요예측과 같은 분야는 사람의 직관을 기계의 판단으로 대체하기에는 아직까지 어려운 점들이 있고, 최상의 성능보다는 예측 결과 산출의 자동화에 방점을 찍고 프로젝트를 진행하기도 한다. 정교한 예측모델을 긴 주기로 교체하지 않으면서 보수적으로 운영하는 여신금융의 신용평가 같은 영역에서는 크게 이런 부분을 신경 쓰지 않는다.
[2] 이제는 정상적인 수요로 돌아올 기미가 보이고 있으나 여전히 과거 데이터 사용에 있어 코로나 시점의 데이터는 노이즈로 작용할 가능성이 높아 보인다.
