진짜 기여자는 누구인가? (2편)
기여모델 작동원리와 의미 생각해보기
1편에서는 기여모델의 서비스 적용 과정에 대한 내용을 주로 담았습니다. 2편에서는 2가지 알고리즘에 대한 아주 기본적인 컨셉을 설명하고, 기여모델은 서비스 지표로서 어떤 의미가 있는지 적어보고자 합니다. 일종의 부록과 같습니다. 지난번 글을 먼저 읽으시면 내용 이해에 도움이 됩니다. (https://brunch.co.kr/@mapmatters/24)
구성 가능한 모든 팀의 경우의 수 - Shapley Value
여기에 A, B, C 세 사람이 있습니다. 이들은 혼자서도 무언가를 만들 수 있고, 같이 협력해서 만들 수도 있는데, 이들을 신발 장인이라고 가정하고 팀의 조합별로 몇 켤레의 신발을 만들 수 있는지 관찰했다고 가정합시다. A를 기준으로 살펴보면, A 혼자서 일하면 다섯 켤레를 만들 수 있습니다. 근데 B랑 둘이 일하면 여덟 켤레를 만들고, C랑 둘이 일하면 아홉 켤레를 만들고, A, B, C 셋이 힘을 모으면 열 켤레를 만들어 낼 수 있다는 사실을 알게 되었습니다. 그렇다면 A는 다른 장인들(B, C)과 협업할 때 과연 어느 정도 기여를 하는 것일까요?
신발 장인 A, B, C가 각자 일하는 경우, 협업하는 경우 생산량 비교 및 Marginal Contribution위 그림은 A, B, C 세 신발 장인의 Shapley Value를 계산하는 과정을 나타낸 도표입니다. 계산방법은 간단합니다. 둘 혹은 셋이 함께 일해서 만든 결과에서 각 개인이 빠진 경우를 상상해보는 것입니다. 예를 들어 A가 B와 일할 때 총 9 켤레의 신발을 만들 수 있는데, B 혼자 만드는 경우 4 켤레를 만들 수 있으므로 A가 5 켤레만큼의 기여를 했다고 인정하는 것입니다.
9(A와 B 공동성과) - 4(B 혼자 일한 성과) = 5(A와 B 공동 작업 시 A의 기여, marginal contribution)
이것을 ‘marginal contribution’, 직역하면 여분의 기여라고 합니다. 동일한 방법으로 모든 경우의 수에 대해 A의 기여를 평가하고, 참여자 인원수에 따라 얼마나 기여했는지 평균을 구합니다. A 혼자 일하는 경우는 4만큼 생산(=기여), A가 누군가와 둘이서 일하는 2가지 경우(B 또는 C)에는 각각 5와 6만큼 기여하므로 평균 5.5켤레만큼 기여, 셋이 함께 일할 때는 4 켤레만큼 기여하므로 (4+5.5+4)/3 = 4.5가 됩니다. 전체적으로 평가할 때, A의 기여도는 4.5라고 평가할 수 있습니다. 이를 Shapley value라고 합니다. A, B, C 각각에 대해 모두 평가를 마치면 B의 shapley value는 5, C는 5.5로 계산이 되는데, 이를 합산하면 셋이 함께 작업할 때 만들어 낼 수 있는 결과물인 15 켤레와 같음을 알 수 있습니다.
우리를 목적하는 곳으로 데려갈 확률은 얼마인가? - Markov Chain
우리가 밥을 먹고 커피를 마실 확률은 얼마나 될까요? 누군가는 커피를 마실 것이고, 누군가는 담배를 피우러 갈 것이며, 아주 소수는 두 번째 점심 혹은 저녁 식사를 연이어 할 수도 있습니다. 우리가 관찰 대상이 되는 사람들의 행동들을 매일 기록하여 데이터로 남긴다면, 몇 퍼센트의 확률로 커피를 마시게 될지 추정해볼 수 있을 것입니다.
여기서 '밥을 먹는다', '커피를 마신다', '담배를 피운다' 등의 행동을 우리는 '상태(state)'라고 부르고, 특정 상태의 행동 이후 다음 상태의 행동을 하는 것을 '전이'라고 부릅니다. 100명 중 45명이 밥을 먹은 후 카페를 간다면, '점심식사를 한다' 상태에서 '커피를 마신다'는 상태로 '전이'되는 확률은 45%라고 말할 수 있습니다.
이러한 '상태의 전이' 과정에 목적지를 부여해보겠습니다. 밥을 먹고 커피를 마시는 등의 행동을 소개팅으로부터 '사귐을 선언'하기까지의 각종 상태로 연결하는 것입니다. 총 10만 건의 소개팅 과정을 담은 데이터를 모았더니, 소개팅 '시작' 상태에서 출발하여 5000건이 '사귐' 상태에 도달하여 대한민국 소개팅 성공률이 5%로 확인되었습니다.
이 안에는 온갖 상태들의 순서가 뒤섞여있을 것입니다. 첫 만남에서 밥을 먹고 바로 다음 상태가 존재하지 않는 '헤어짐, 더 이상 만나지 않음'의 상태로 전이되는 건도 있을 것이며, 첫 저녁 식사 이후 커피 마시기, 영화보기 등등 10번의 어떤 행동들 후에 또 역시 '더 이상 만나지 않음'로 전이되는 건 또한 있을 것이며, 만난 날 저녁 먹고, 커피 마시고, 영화 보기까지 3번의 상태만 빠르게 거쳤음에도 '사귐' 상태로 전이되는 행복한 사례도 있을 것입니다. 어떤 경우는 밥 커피 모두 건너뛰고 '콘서트를 본다'는 상태 하나로 '사귐'으로 발전한 사이가 있을지도 모릅니다.
그 과정에 '커피를 마신다'는 상태의 기여도는 얼마나 될까요? 샤플리 값에서의 논리와 마찬가지로, 마르코프 체인에 기반한 기여모델 역시 '커피를 마신다'는 상태가 제대로 기능하지 못하는 상황을 상상합니다. 그 이전에 어떤 상태에 있었건, '커피를 마신다'는 상태에 도달하자마자 소개팅 이후 이어진 만남을 종료시켜 버리는 것입니다. 커피만 마셨다 하면 소개팅이 실패로 끝나버린다면, 전체 소개팅 성공률에는 얼마나 영향을 미칠까요? 5%로 확인했던 성공률은 얼마나 낮아질까요?
만약 전체 소개팅 성공률 5%가 4%로 하락한다면, '커피 마신다'의 상태는 소개팅 성공률에 20%(4%/5%) 만큼의 영향력을 가진 것으로 계산할 수 있습니다. 이것을 'Removal Effect'라고 합니다. 즉, 존재하지 않을 때의 영향력이 얼마나 큰 것인지를 측정하는 것입니다. 만약 여러분의 조직에서 '내가 없으면 일이 잘 되나 보자'라고 말하는 사람이 있다면, 또 그 말이 정말 사실로 확인된다면, 그 사람의 가치를 높게 평가할 수밖에 없는 것과 같습니다.
고객의 구매여정은 소개팅 시작으로부터 성공까지의 과정과 다르지 않습니다. 제품을 처음 만난 그 순간부터 구매 완료 혹은 이탈까지 하나 또는 여러 개의 마케팅 채널이 관여하고. 마코프 그래프 모델에서 각각의 마케팅 채널은 하나의 ‘상태’로 간주할 수 있는 것입니다.
이런 방식의 기여도 평가는 지표로서 어떤 의미가 있는가?
모든 서비스에서 가장 광범위하게 사용하는 지표는 방문수(PV, Page View)와 전환율(CVR, Conversion Rate)입니다. 방문수는 말 그대로 '얼마나 빈번하게 사람들이 서비스에 접근하였는가'를 의미합니다. 전환율은 '얼마나 많은 사람들이 방문 이후 구매고객으로 전환되었는가'를 뜻합니다.
기여도 지표는 '방문수'와 '전환율'의 통합지표라는 점에서 의미가 있습니다. 만약 새로 오픈한 베이커리 가게에서 길거리에서 전단지를 수 만 장 뿌려대면 이에 접촉하는 잠재고객 규모는 클 것입니다. 하지만 실제로 식당에 방문하는 비율은 낮을 수도 있겠죠. 반대로 정성스레 구운 빵을 인근 사무실마다 방문하며 시식하게끔 해볼 수 도 있습니다. 수고가 많이 드는 만큼 접촉할 수 있는 잠재고객은 한정적이겠지만, 빵집을 찾아와 하나라도 사 먹는 사람은 훨씬 많을지 모릅니다.
이 두 마케팅 방법이 각각의 고객에 반복적으로 순서가 뒤섞이며 전달되었을 때, '전단지'와 '방문 시식' 중 어느 것이 나은 방법일까요? 기여도 모델은 각각의 접촉과 구매를 추적하여 더 영향력 있는 방식을 판별해줍니다. 그렇기에 수학적 방식으로 고안할 수 있는 OMTM(One Metric That Matters)에 근접한 지표라고도 볼 수 있습니다.
나의 Marginal contribution, Removal effect
약 5년 전 읽었던 어떤 경영전략 서적 도입부에 다음과 같은 인상적인 문구가 있었습니다.
당신의 기업은 중요한가?
이는 모든 리더가 대답해야 하는 가장 중요한 질문이다. 만약 오늘 당신의 기업이 문을 닫으면 고객들이 큰 손해를 보게 되는가? 고객이 당신네만큼 그 니즈를 충족시켜줄 수 있는 다른 기업을 찾기까지 얼마나 시간이 걸리고 얼마나 어려움을 겪을 것인가?
- 당신은 전략가입니까, 신시아 A. 몽고메리
몽고메리 교수는 어떤 기업의 중요도를 가정하는 접근방식으로 ‘그 기업의 부재’를 상상해보길 권하고 있었습니다. 마코프 체인을 활용한 removal effect 또는 shapley value를 적용한 marginal output과 동일한 맥락으로 읽힙니다. 오늘 당장 '네이버', '카카오', '구글'이 없다면 내 생활은 어떻게 변하게 될까를 상상해보게끔 합니다. 그리고 아무리 생각해도 조금의 변화나 타격이 없다면 그 기업은 내 인생에 별로 기여하지 못한다고 볼 수 있을 것입니다. 그런 의미에서 내가 속한 기업 또는 조직, 그리고 나의 removal effect는 무엇이고 얼마나 될까 잠시 생각해보는 것도 흥미로운 일이 될 것 같습니다.
