우리가 시도하는 추적성은 무엇인가?

베터코드 인사이트의 시작 2

우리가 시도하는 추적성

앞서 <추적성(Traceability)과 그 쓰임새> 편에서 찾아본 Traceability의 보편적 쓰임새를 기준으로 우리의 쓰임새는 무얼까?

Traceability is applicable to measurement, supply chain, software development, healthcare and security.

일단 내가 즉흥적으로  맥락을 그린 그림에 단서가 있을 것이다. 

그건 아마 사업적인 실험(혹은 시도)에 대한 추정이 아닐까? 너무나 넓은 정의라는 단점은 있지만...

출처: 구글링 결과

그러면 우리의 쓰임새를 이렇게 정의할 수 있을까?

Traceability is applicable to business experiment

실험과 로깅

메일링으로 접한 기사 <Android in Analytics Infra>에 흥미를 끄는 그림이 등장했다.

출처: https://engineeringblog.yelp.com/2022/08/android-in-analytics-infra.html

정의를 떠나 구현(실체화)의 관점에서 보면 어떤 실험을 하든 측정을 할 수 있어야 한다. 측정을 위해서는 기초 데이터가 있어야 한다. 그것만 있다고 구현이 해결될 수는 없지만, 기초 데이터가 없다면 측정 자체가 부실하다. 

측정과 비즈니스 실험

측정이란 말을 썼더니 조금 찜찜해진다. 두 가지 이유인데 하나는 앞선 우리의 Traceability 쓰임새가 'Traceability is applicable to business experiment'가 아니라 'Traceability is applicable to measurement'일 수도 있는 것 아닌가 하는 의문이었다. 

아무래도 둘 사의 관계를 파야 할 것 같다. 어쩌면 기업에서 큰 돈을 들여 구축한 BI가 대부분 충분히 쓰이지 못하는 이유가 실험적 시도 즉, 변경을 주기 어려워서 일 수도 있다는 생각이 든다.그렇다면, 어디를 변경해야 하는가에서 정의할 수 있다면 만들어낼 수도 있다. 

단서를 구글링으로 찾으려 했더니 제일 먼저 찾은 글은 <A Step-by-Step Guide to Smart Business Experiments>라는 제목의 HBR 기사다. 도움이 되는 듯도 하고, 글의 주제 관련해서는 방해가 되는 듯도 하다. 주제와 관한 부분을 찾아보니 6. Measure everything that matters 구절인 듯하다.

A caution about feedback measures: They must capture all the relevant effects. A large national apparel retailer recently conducted a large-scale test to decide how often to mail catalogs and other promotions to different groups of customers. Some customers received 17 catalogs over nine months, whereas another randomly selected group received 12 catalogs over the same time period. The retailer discovered that for its best customers the additional catalogs increased sales during the test period, but lowered sales in subsequent months. When the retailer compared sales across its channels, it found that its best customers purchased more often through the catalog channel (via mail and telephone) but less from its online stores. When the firm aggregated sales across the different time periods and across its retail channels, it concluded that it could mail a lot less frequently to its best customers without sacrificing sales. Viewing results in context is critical whenever actions in one channel affect sales in other channels or when short-term actions can lead to long-run outcomes. This is the reason that we recommend starting with actions that have only short-run outcomes, such as actions that drive customer acquisition.

위 내용과 우리회사 제품 디자이너가 추적에 대한 자신의 니즈를 기록한 메모을 살펴보면 공통점을 추출해보면 어떨까? 기사와 아래 일부 발췌한 동료의 기록 모두를 보면서 깨닫는다.

출처: 동료의 두레이 기록 일부

너무 거대한 것을 한번에 풀려고 했다는 점을 말이다. 비즈니스는 연속적인 활동이고, 실험은 단기적 결과를 가지고 상관관계를 파악하는 일이다. 그래서, 필연적으로 과거 운영 데이터와 새로 수집한 데이터를 비교하는 행위를 해야 하는데 우리가 지금 하려는 것이 그 일은 아니다.

비즈니스 범용 계량기로 바꿔야 하나?

그래서 다시 정의를 한다. 도리어 위키피디아 정의에서 아래 내용을 그대로 차용하는 편이 편안하다는 사실을 깨닫는다.

Traceability is applicable to measurement

그런데 '뭘 측정하지?'라고 다시 묻다가 '비즈니스 범용 계량기'라는 말이 머리속에서 튀어나왔다. 뒤이어 '계량'을 키워드로 구글링했더니 <계량에 관한 법률>에서 계량을 다음과 같이 정의하고 있었다.

1. “계량”이란 상거래 또는 증명에 사용하기 위하여 어떤 양의 값을 결정하기 위한 일련의 작업을 말한다.

마음에 드는 말이다. 법을 따지려는 것은 아니지만 비즈니스에서 어떤 가정이나 실험 결과를 증명하기 위해 데이터를 사용하는 경우에 적용할 수 있을 듯한 기대감 때문이다.

계량으로 관심이 온전히 옮겨가기 전에 애초에 차용한 위키피디아 정의에서 Measurement분야의 설명을 읽어 보았다. 

The term measurement traceability is used to refer to an unbroken chain of comparisons relating an instrument's measurements to a known standard

측정 맥락에서 Traceability는 측정치의 지속적인 비교를 말했다. 그리고 a known standard는 '단위'라고 할 수 있다. 앞서 관심을 두었던 비즈니스 실험을 섞어서 생각해보면 단위처럼 쓸 수 있는 반복적인 값(평균UV, 평균 일매출 등)을 단위로 둔다면 계량화(?)과 된 상황에서 실험 결과를 분석하는 일은 조금 더 수월해질 수 있겠다고 상상해본다. 

위키피디아를 더 살펴보면 보정에 대한 이야기도 나온다.[1]

Calibration to a traceable standard can be used to determine an instrument's bias, precision, and accuracy.

데이터를 다루는 일을 상상해보면 그 필요성을 쉽게 짐작할 수 있다.

주석

[1] 기업 내부에서 사용할 비즈니스 맥락을 다루기 때문에 위키피디아 Measurement분야의 이후 설명(국제 관계 등)을 무시한다.