예측 모델과 비즈니스 의사결정
모델 이외에 무엇을 생각해야 하는가?
비즈니스 언어로 설명하는 예측 모델링 결과
최근 업무와 관련하여 흥미로운 아이디어의 페이퍼[1]를 읽을 기회가 있었다. 학계 사람이 아닌지라 공신력에 대한 부분은 잘 모르겠지만 예측 모델링의 비즈니스 적용에 대한 고민을 하는 사람들이라면 재미 삼아 읽어보면 좋을 것 같다.
대략적인 내용은 예측 모델링 중 알고리즘 최적화와 성능평가에 활용되는 통상적인 지표(e.g. MSE, Gini 등) 대신 비즈니스에서 활용되는 지표를 활용하는 것에 대한 아이디어였다. 열심히 모형을 개발하더라도 비즈니스 현업 입장에서 손쉽게 그 효과를 확인하고 운영하는데 어려움을 겪는 요소 중 하나가 모델 평가 방식에 대한 이해라는 점을 생각해보면 그럴듯한 이야기라고 생각한다. (성능평가지표는 평가뿐만 아니라 설계를 포함한 모델링 전반에서 고려 필요)
실제로 현업의 관심사는 모델의 성능이 아닌 비즈니스 성과인데, PM으로 참여했던 식품기업 프로젝트(관련 글: 정부지원사업 회고 - Part I)에서도 이러한 점을 확인할 수 있었다. 당시 실제 판매와 예측치의 MAE를 최소화하는 방향으로 모델링을 진행하였는데 결국 최종적인 평가지표는 '오차율'이라는 내부 KPI였고, MAE 기준으로 성능이 좋은 모델이 무조건 KPI 기준으로 성능이 좋은지 확인하기 위해 작업량이 늘어날 수밖에 없었다. 이러한 현상은 이미 널리 사용되고 있는 성능지표가 있는 신용평가모형이나 조기경보모형과 같은 경우가 아니라면 빈번히 발생할 수밖에 없다.
만약 위 페이퍼와 같이 비즈니스 언어로 예측 모델의 결과를 최적화하고 설명할 수 있다면 모델 평가지표를 이해하기 쉽고 다양한 실험을 해 볼 수 있을 것이며 직관적인 결과 해석으로 내부 의사결정의 속도 증가, 커뮤니케이션 코스트 감소와 같은 효과를 볼 수 있을 것이다. 하지만 이게 전부일까?
모델이 전부는 아니다
통계에 기반한 예측 모델은 샘플을 통해 추정한 모집단의 특성을 정형화한 것이라고 볼 수 있다. 모델을 통한 예측은 학습(또는 적합) 시킨 데이터의 분포나 패턴에 기반할 수밖에 없는데 대부분 학습 데이터는 예측하고자 하는 현상을 100% 설명할 수 있는 정보들을 포함할 수 없고, 정보의 수집/가공 과정에서 많은 노이즈나 유실이 일어나기 때문에 예측 정확도는 한계를 가진다.
특히 비즈니스 의사결정은 정확도 외에도 내/외부 환경의 변화에 따라 다양한 변수들을 더하거나 빼는 유연한 상황 판단까지 고려해야 하기 때문에 예측 모델만을 사용한 의사결정은 쉽지 않은 일이다 (5년 내에 업무에서 엑셀을 쓰지 않는 세상이 올까?). 오히려 비즈니스 로직(또는 룰)의 조합과 예측 모델에서 고려되지 않은 정보들의 탐색이 모델과 함께 사용될 때 인간의 직관을 함께 활용한 비즈니스 의사결정을 내릴 수 있을 것이다. 실제로 여신 심사를 할 때 흔히 신용평가모형만을 생각하지만 모형의 결과와 다양한 변수들의 조합을 통해 실제 비즈니스 프로세스와 정책에 맞게끔 설계된 의사결정이 일어나는 복잡한 구조를 가지고 있다.
여기에 더해 의사결정사항의 실행과 모니터링, 이에 기반한 피드백으로 모델, 비즈니스 로직의 연속적인 개선이 뒷받침되어야 의사결정의 궁극적인 목적을 달성하는 것일 텐데 이는 해당 업무의 프로세스와 도메인 지식을 파악하고 있어야 가능하다. 더불어 더 작은 업무 단위에서의 의사결정과 민첩한 실행을 통해 조직의 경쟁력을 높이기 위해서라도 의사결정 기능 자체는 점점 상위가 아닌 하위단 업무와 융합되어갈 수밖에 없어 보인다. 실제로 이러한 개념은 Embedded Analytics [2]라는 개념으로 소개가 되고 있고 개인적으로 세일즈포스닷컴이 CRM-Data-Analytics-Prediction의 버티컬 체계를 가장 빠르게 구축해 나가고 있는 곳이 아닌가 싶다.
모델링과 알고리즘에 대한 경외심(?)은 적어도 국내 금융권에서는 사라져 가고 있다. 과거 3~4년간 디지털 전환의 바람을 타고 많은 돈을 들여 실험을 해본 결과 모델은 모델일 뿐이라는 것을 이해하고 데이터에 대한 확보와 준비가 중요하다는 것을 이해하였으리라 (관련 글: AutoML 솔루션에 대한 단상). 다른 업권들도 도메인에 대한 이해와 잘 준비된 데이터, 그리고 의사결정 과정/결과의 업무 시스템과의 유기적인 연동이 중요하다는 사실을 점점 깨달을 것이고 의사결정 지원과 관련한 업계 역시 이런 흐름에 맞춰 재편이 일어날 것으로 보인다.
바람이 불어오는 방향으로 풀이 눕는다. 나는 어떤 선택을 해야 할까?
[1] Machine learning product key performance indicators and alignment to model evaluation
[2] What is embedded analytics, and how does it benefit BI? (Link)
