수요 예측은 왜 어려운 걸까
검증, 검증, 검증
개인적인 생각으로 최근 몇 년간 고객 행동 예측에 비해 재고나 매출에 대한 예측은 상대적으로 활용이 더딘 것 같아 보입니다. 아무래도 데이터 분야를 IT 서비스 기업들이 집중적으로 발전시키고 있는 것을 생각해 본다면 그럴 수도 있겠다는 생각도 듭니다. 여러 채널에 있는 고객 로그 데이터를 토대로 다양한 실험을 실시간으로 하면서 얻은 것들이 많기 때문이죠. 하지만 재고나 매출에 대한 예측, 큰 범위에서 수요 예측이라 부르는 예측은 주로 제조업이나 직매입을 하는 커머스에서 중요하게 생각하는 분야라 조금은 이슈밖에 있는 것처럼 보이기도 합니다. 그렇지만 지금 이 시간에도 많은 기업들은 수요 예측을 필요로 하고 있고 적지 않은 경력직 직원을 이 직무를 위해 채용하고 있습니다. 하지만 큰 발전에 대해 들은 바는 많지 않은 것 같습니다.
수요 예측을 하는 여러 분들과 이야기를 한 적이 있습니다. 어떤 모델을 쓰는지, 상품 카테고리별로 분석할 대상을 어떻게 정하는지, 모델에 대한 평가는 어떻게 하는지 등을 주로 이야기했습니다. 고객 행동 예측 분야와 사실은 크게 다르지는 않았습니다. 다만 몇 가지 차이 때문에 어렵게 느껴지고 이 분야의 발전이 더디게 보이는 부분도 있었습니다.
1. 인내심이 필요한 절대 시간
고객 행동과 관련된 예측 - 캠페인에 대한 반응율, A/B 테스트 등 - 에 비해 수요 예측은 실험의 설계와 결과에 걸리는 시간이 조금 더 많이 걸립니다. 제조를 직접 한다면 수요 예측한 결과에 따라 제품을 만드는 데 걸리는 절대 시간이 필요하고 매입을 한다고 해도 업체와 일하는 절대 시간이 필요합니다. 직접 실험을 디자인하고 결과를 빠르게 볼 수 있는 고객 관련 예측에 비해서 인내심이 필요합니다.
여기서 말하는 인내심은 데이터를 다루는 사람의 인내심보다는 회사의 인내심이죠. 이렇게 시간이 흘러가면서도 수요 예측이 맞는 방향이며 계속 이것을 위해 투자를 해야 한다는 인내심 말이죠. 그래서 때로 예측이 정확하지 않더라도 예측한 모델을 수정해야 하는지 외생변수가 예측과 다른 환경을 만들었는지를 참고 다음 단계로 나아가는 인내심이 필요한 것이죠. 하지만 대부분의 회사들은 이런 시간을 견디지 못합니다. 열에 아홉은 예측이 틀렸다고 생각하면 필요 없는 아젠더로 생각하고 폐기해 버리고 몇 년 뒤 다시 하자는 이야기로 시간을 보내버리죠.
2. 분석 대상의 정의
고객 행동 예측은 고객 한 명 한 명이라는 분명한 예측 대상이 있습니다. 고객을 클러스터로 묶어서 뭔가 하기도 하지만 결국은 개인화된 고객 한 명이 최종 대상이죠. 그래서 고객 한 명을 기준으로 데이터를 가져와서 뭔가를 하는 데 고민이 들어가는 부분은 많지 않습니다. 하지만 수요 예측은 여기서부터 어려움을 겪는 일이 많습니다. 상품을 카테고리로 정의할지, 개별 단품으로 할지, 단품이면 어느 정도를 SKU의 기준으로 할 지에 대해 정의하는 데 사람마다 의견이 다르기도 합니다.
만약 어떤 기준으로 분석 대상을 정했다고 해도 활용이 어려워 다시 분석 대상을 정의하기도 합니다. 자주 상품 코드가 바뀔 수밖에 없는 상품이라면 예측하는 게 의미가 없을 수 있죠. 라면이나 생수, 자동차 등은 비교적 한 상품이 오랜 기간 판매가 이뤄졌고 앞으로도 예측하는 기간 동안 같은 상품이 팔릴 거지만, 의류 같은 아이템은 작은 차이에도 수요가 달라지게 됩니다. 그래서 예측하는 기간에는 같은 이름이지만 다른 상품이 팔리는 일도 많습니다. 분석을 해도 쓸 수 없게 되곤 합니다.
3. 고관여하는 관리자들
'기온이 중요하다', '올림픽 효과가 반영이 덜 된 것 같다', '기저효과가 있다' 등 수요 예측은 항상 말이 많습니다. 수요 예측이 필요한 기업 대다수가 상대적으로 업력이 있는 기업이고 과거 수요 예측을 사람이 한 적이 있기 때문에 데이터를 통해 예측한 결과에 사람이 관여하는 일이 많습니다. 그래서 변수들을 같은 선상에 놓고 어떤 효과가 있는지 분석한 내용을 일단 자신의 경험에 비추어 다시 평가하기도 합니다. 변수의 가중치가 이런 이유로 달라지면 안 되지만 수평적이지 않은 조직 문화는 이상한 가중치를 만듭니다.
데이터 분석가는 고관여하는 관리자들을 설득하는 데 처음에는 시간을 보냅니다. 하지만 점점 설득할 사람이 늘어남을 느끼게 됩니다. 나중에는 보다 좋은 모델을 개발하는 것보다 설득을 위한 서류를 만드는데 많은 시간을 쓰고 있는 것을 깨닫고 보람보다는 현타가 오고 이직하는... 그런 일들이 벌어지기도 합니다. 데이터가 말하게 하는 일은 데이터가 말하게 두면 됩니다.
4. 흩어진 데이터들
큰 기업들은 데이터 관리가 상대적으로 잘 되지만 기업 규모가 작고 판매 채널이 많다면 데이터를 분석할 수 있도록 모으는 과정부터 많은 에너지가 필요합니다. 자사몰과 타사몰, 이용하는 서비스에 따라 데이터는 영업할 수 있는 편의에 따라 다 다른 이름과 코드로 흘러가고 있고 정확한 실적조차 파악이 되지 않기도 합니다. 이 과정에서 인프라 투자가 소액 필요하기도 합니다. 수요 예측이 첫 난관을 맞는 시간이기도 합니다. 사실 데이터 전처리에 대한 상황 인식은 향후 데이터 자산을 잘 활용하기 위해 매우 필요한 일이지만 역설적으로 관리자들에게는 가장 관심이 없는 영역이기도 합니다. 당장 뭐가 나오는지를 생각한다면 흩어진 데이터를 모으지 못해 나가떨어지고 프로젝트는 사라집니다.
5. 분업화된 환경
고객 행동 예측은 대부분 몇 명이 긴밀하게 예측과 실행을 하는 구조로 되어 있습니다. 스타트업에서는 혼자 이 과정을 하기도 하고 여럿이 해도 같은 조직으로 서로 같은 방향으로 하려고 하는 것 같습니다. 하지만 수요 예측을 하는 기업에서는 예측을 하는 사람과 발주를 하는 사람이 다른 사람, 심지어 다른 조직인 경우가 많습니다. 어떻게 보면 기존에 이 업무를 하는 사람을 대체하기 위해 예측을 한다는 말을 공공연히 하기도 합니다. 당연히 예측 결과를 우호적인 눈으로 보지 않습니다.
지나치게 분업화된 환경은 마치 데이터를 통해 지금 발주를 하는 사람의 뇌구조를 맞추는 일을 해야 하는 게 아닌지 하는 아젠더 자체에 대한 회의감을 만듭니다. 차라리 데이터 조직에 전적인 권한과 책임을 주는 게 조금이라도 앞으로 나갈 수 있는 방법이지만, 사실 이런 부분까지 이해하고 있는 관리자는 많지 않은 게 현실입니다.
물론 모든 기업에서 수요 예측이 어려운 환경에 놓인 것은 아닙니다. 고객 행동 예측과 같이 실험을 통해 예측을 검증하고 다음 단계로 나아가는 과학적 접근을 하는 곳도 있습니다. 하지만 수요 예측의 태생적 어려움을 이해하고 정말 사람이 잘하는 것과 데이터가 잘하는 것을 이해하고 발전하는 조직은 체감상 여전히 많지는 않은 것 같습니다. 개인적인 짧은 생각을 나누었지만 그렇지 않은 케이스도 많았으면 좋겠습니다.
