데이터의 복잡도가 한계 이상으로 올라가서 물류 SSOT(Single Source Of Truth)들을 설계하는 업무를 자진해서 하게 되었다.
거의 1년 반 동안 만들어둔 테이블들 간의 관계도를 바라보며 한참 동안 물류 데이터의 특징은 무엇이고, 분석에 활용할 때 무엇이 중요하고, 어떤 데이터들이 비즈니스적으로 핵심인지 생각해보았다. 이를 기록으로 남겨본다
물류 데이터와 프로덕트 데이터의 근본적 차이
물류 데이터의 특징을 알기 위해서는 유저 행동 데이터와 비교해보면 된다. 앱 서비스가 핵심인 회사의 유저 행동 데이터를 깊이 이해하고 분석하기 위해서는 앱의 구조, 즉 UI 혹은 IA를 깊게 이해해야 한다. 그래야만 앱 서비스가 어떤 유저 행동 흐름을 목표로하고, 그 목표를 위해 어떤 페이지 및 버튼들이 존재하고, 그 구조위에서 어떤 유저 행동이 가능한지 알수 있기 때문이다. 그리고 이 행동 데이터를 기반으로 프로덕트 데이터 분석가들은 사람에 대한 이해를 발견하거나, 서비스의 변경이 어떤 영향을 끼치는지 실험을 하게 된다.
물류 데이터는 조금 다르다. 앱 서비스가 아니라 물류 시스템(supply chain management system, warehouse management system, delivery management systenm) 내에 프로그래밍 언어로 구현된 물류 비지니스 플로우와 해당 플로우에 기반한 실질적인 물품의 이동에 대해 이해를 가지고 있어야 한다. 해당 프로세스가 실물의 움직임, 정책, 수학적 모델링과 엮여 있어서 단시간 내에 이해하기가 꽤나 어렵다고 생각한다.
분석 방법론의 분화: 실험 vs 시뮬레이션
지금까지 물류 데이터와 유저 행동 데이터의 차이점을 알아보았다. 이제 이 특성에 기반한 데이터 분석가들의 업무 분화를 알아보도록 하자.
프로덕트 데이터 분석가들은 위에 잠깐 말한것처럼 유저의 행동이 남긴 흔적을 기반으로 유저가 무엇을 바라고, 어떻게 반응하고, 어떤 특징을 지니는지 실험하고 또 추적해 나아간다. 여기서 실험이 핵심이다. 데이터를 기반으로 사람에 대해 추론하기에 개인의 인사이트로 알수 없는 부분을 알수 있고, 실험을 통해 무엇이 어떤 결과를 야기 했는지 알수 있다.
물류 데이터 분석은 조금 다르다. 실물과 연동되어 있기에 A/B 테스트를 하기 어렵다.
예를 들어, 우리가 가상 재고(virtual inventory) 시스템을 도입했을 때를 생각해보자. 실제 창고의 재고와 별개로 시스템상에서 재고를 가상으로 관리하여 주문 가능 여부를 결정하는 시스템이었다. 이 시스템의 효과를 측정하기 위해 A/B 테스트를 할 수 있었을까? 불가능했다. 같은 상품의 재고를 두 가지 방식으로 동시에 관리할 수는 없기 때문이다. 대신 간단한 인과추론을 활용해야 했다. 도입 전후의 품절률, 구매전환율 등의 변화를 분석하되, 계절성, 프로모션, 외부 요인들을 통제변수로 두고 가상 재고 시스템이 실제로 미친 영향을 분리해냈다.
그렇기에 실험이 아니라 (거창하게 말해보자면) 수학 모델에 근거한 시뮬레이션을 통해 다양한 케이스에 대한 결과와 가능성을 추론하고 이를 기반으로 의사결정을 한다. 그리고 해당 의사결정을 통해 정책이 변경되고 이로 인한 결과를 한 번 더 추론하게 된다. 즉, 인과추론이 좀 더 많이 사용된다.
데이터 마트와 SSOT의 필수성
물류 데이터 분석이 프로덕트 분석과 다른 점은 데이터 마트의 생성에서 또한 볼 수 있다. 보통 프로덕트 분석에서는 데이터가 한도 이상으로 복잡해지지 않는다면 고정적인 데이터 마트를 생성하지 않는다. 특정 프로덕트 기능이 배포되고 이를 테스트해보는 동안에만 데이터를 모니터링할 수 있도록 리대시 같은 시각화 도구에 쿼리를 작성해두면 되기 때문이다. (물론, 핵심적인 KPI 유지를 위해서는 당연히 데이터 마트를 만들고 유지보수한다)
물류 데이터 분석은 조금 다른데, 대부분의 데이터 시각화가 일시적 모니터링 용도가 아니라 장기적인 그리고 매일의 업무 프로세스에 활용되기 때문에 복잡한 정책 요구사항이 적용된 데이터 마트들을 계속해서 만들고 유지보수 하게 된다. 이렇게 일시적인 분석보다는 정책을 시뮬레이션 해보고 그 중 베스트 로직을 업무 프로세스에 바로 활용하기에 프로덕트 분석때보다 많은, 복잡한, 까다로운 데이터 마트들을 많이 만들게 된다.
그렇기에 SSOT의 존재 여부가 필수적이게 되고, 더 자주 만들게 된다. 개인이 머리속에 정책들을 담아두고, 이를 기반으로 계속해서 데이터들을 만들어 나아가는 방식이 한계를 빠르게 맞이하기 때문이다.
물류 데이터 분석이란 뭘까
따라서 어찌보면 물류 데이터 분석이란 함축된 정책을 명시적인 정책으로 만들어 이 정책이 실행 가능하도록 데이터를 만들고, 시뮬레이션하고, 매일의 운영 프로세스에 녹이기 쉬운 방식으로 제공하는 것이 핵심이 아닌가 생각한다