예측 모델 비교 이후에 남는 질문들
수요 계획을 평가할 때 가장 자주 등장하는 기준은 ‘수요 예측 정확도’이다.
MAPE가 얼마인지,
지난 분기 대비 정확도가 얼마나 개선되었는지,
모델 간 정확도 차이는 어떤지.
수요 계획에 대한 논의와 평가는 종종 이 숫자들로 정리된다. 정확도가 높아졌다면 계획은 좋아진 것이고, 정확도가 낮다면 개선이 필요하다는 식으로 논의가 정리된다.
하지만 여기서 우리는 질문해 볼 수 있다.
정확한 예측은 정말 좋은 계획을 보장하는가?
우리는 숫자로 평가하고 의사결정을 해오는 과정이 익숙하다. 그렇기에 예측 정확도는 예측 모델을 비교하기 위한 기준으로 매우 매력적인 지표다. 같은 데이터에서 어떤 모델이 과거 실적을 더 잘 설명하는지를 판단할 수 있기 때문이다.
자주 사용되는 MAPE, Bias, RMSE와 같은 지표들은 과거의 예측 값과 실적 값이 얼마나 가까웠는지를 보여준다. 이는 예측 모델 간 성능을 비교하고, 모델 선택과 개선에 중요한 역할을 한다.
하지만, 이 지표들이 예측 모델을 평가하는 도구의 역할을 벗어나, 수요 계획 전체를 판단하는 기준으로 사용되기 시작할 때 문제가 생긴다.
예측 정확도는 하나의 질문에 답한다.
“과거를 기준으로 봤을 때, 이 모델의 예측은 얼마나 잘 맞았는가?”
하지만, 계획은 전혀 다른 질문에 답해야 한다.
“이 예측 결과를 바탕으로, 우리는 무엇을 결정할 것인가?”
예측은 설명이고, 계획은 선택이다.
아무리 정확도가 높은 예측이라도, 그 숫자만으로는 얼마를 생산할지, 어디까지 재고를 감수할지, 언제 계획을 변경할지에 대한 결정을 내려주지 않는다.
이 지점에서 결국 의사결정 주체로서 사람의 개입이 필요해진다.
현실의 수요 계획은 예측 결과가 나오면서 끝나지 않는다. 오히려 그때부터 시작이라고 볼 수 있다.
이 예측 결과를 그대로 받아들일 것인가
일부 조정이 필요하다면 어디까지 허용할 것인가
이 변경은 다른 조직에 어떤 영향을 미치는가
이 질문들은 예측 모델이 아니라 사람이 판단해야 하는 영역이다. 이 판단이 개인의 감각에 맡겨질수록 위험해지고, 계획은 일관성을 잃게 된다.
계획 수립 과정에서는 사람의 개입이 어떻게 이루어져야 하는지를 정의한다.
누가 어떤 단계에서 계획을 검토하는가
어떤 기준으로 예측을 조정할 수 있는가
어디까지를 확정으로 보고, 어디부터를 변경 대상으로 볼 것인가
이 질문들에 대한 답이 SCM 내 의사결정 프로세스다. 이 프로세스가 정립되지 않으면, 사람의 개입은 ‘판단’이 아니라 ‘변덕’이 된다.
DP(Demand Planning) 시스템은 “예측 → 계획 수립 → 검토 → 조정 → 확정”이라는 반복적인 의사결정 흐름을 담기 위해 설계된다.
예측 모델 결과를 한 화면에서 비교하고,
조정 이력을 남기며,
확정된 계획과 검토 중인 계획을 구분하고,
조직 간 동일한 단위를 기준으로 논의할 수 있게 만들었다.
결국 시스템의 역할은 가장 정확한 숫자를 찾는 것이 아니라, 사람의 개입이 필요한 지점을 명확히 나타내고, 그 판단이 반복 가능하도록 구조화하는 것이라고 생각한다.
예측 정확도가 충분히 높다고 시스템에서 확인된 순간, 아래와 같은 질문을 던질 수 있어야 한다.
이 계획은 언제까지 유효한가
어떤 조건에서 사람의 개입이 허용되는가
그 판단은 어떤 프로세스를 따라 이루어지는가
이 질문들은 계획 수립의 과정을 숫자 맞추기가 아닌 의사결정 구조로 끌어올린다. 그리고 이 지점에서 수요 계획은 분석의 결과가 아니라 SCM 전 과정에 영향을 미치는 운영의 기준이 된다.
수요 예측 정확도는 예측 모델을 비교하고 선택하기 위한 중요한 지표다.
하지만 좋은 계획을 보장해 주지는 않는다.
좋은 계획은 예측 결과 위에 사람의 판단이 어떻게 개입되는지를 명확히 보여주는 구조다.
그리고 그 판단이 SCM 프로세스와 시스템을 통해 일관되게 이루어질 때, 수요 계획은 비로소 조직을 움직이는 기준이 된다.