50%의 전환율

확률은 실무에서 어떻게 무시되는가

아주 예전에 고객 타겟팅을 개선하는 과제를 한 적이 있었습니다. 쉽게 말해 쿠폰을 받으면 구매할 것 같은 사람을 찾는 일이었죠. 서비스를 이용하는 고객을 선별하여 할인 쿠폰을 보내 주문을 증가시키는 일을 기획부터 데이터 모델링, 실행까지 몇 달을 진행했습니다. 당연히 과제 전의 쿠폰의 구매 전환율보다는 높은 실적을 목표로 했습니다. 예를 들어 기존의 쿠폰 발행 시 쿠폰 사용 만료 기간까지 쿠폰을 통해 구매로 이어진 고객의 비중이 쿠폰 발행 고객의 10% 수준이라면 이걸 얼마나 향상하는가가 핵심이었죠.

기획 단계부터 여러 사례와 활용할 수 있는 기술들을 찾아보고 어떻게 도입할지 정리했습니다. 새로운 학습 데이터 세트를 만들고 기존에는 활용하지 않았던 기계 학습 방법을 적용해 고객별로 구매 확률을 부여하고 일정 확률이 넘어가는 고객을 추출하는 방식으로 지금보다 높은 목표를 써내야 했죠. 20% 이상, 이 정도면 만족하지 않을까 싶었습니다. 지금보다 두 배 정도 높은 반응률이면 과제의 성과가 있을 거라고 생각했습니다. 수익으로 환산할 수도 있었던 손에 잡히는 성과를 목표했습니다. 사실 학습 데이터를 계속 바꿔가며 효율이 잘 나는 방식을 적용하면서 최대 얼마나 높은 전환율이 일어날지 알 수 없었던 상황이었습니다.  

그러나 그런 기획안은 곧 내부 반대에 부딪혔습니다.  

“20% 이상이면 목표가 너무 낮은 거 아냐?” 

그럴 수 있다고 생각했습니다. 구매 최상위 고객의 전환율이 20%가 약간 넘는 수준이니 이 숫자에 익숙한 분들이 전체 고객 전환율 20%도 성에 차지 않을 수 있겠다 생각이 들긴 했죠. 

“아니, 쿠폰을 보내면 쓰거나 안 쓰거나잖아요. 그러면 50%는 넘어야 목표 아니에요?” 

이런 말이 따라 나올 줄은 몰랐습니다. 그것도 수학 전공에 나름 통계 지식이 있다고 떠들어대는 관리자의 입에서 생각하지도 못한 말이 나왔죠. 

“50%가 안되면 모델링하는 게 의미 없는 거잖아요. 동전 뒤집기 확률보다 안 되는 건데…” 

이런 말도 안 되는 이야기를 들으며 퍼포먼스는 혼자 어떻게 올릴 수는 있어도 사람이나 문화 바꾸는 것은 정말 멀고 먼 길이라는 생각이 들었습니다.  

50%. 어떤 일을 했을 때 이진 분류로 ‘그렇다/아니다’ ‘살았다/죽었다’ 등 명확하게 두 개로 분류할 수 있는 경우에 모든 확률이 반반인가. 아니란 것을 우리는 직감적으로 알고 있습니다. 야구 선수가 타석에 들어설 때 안타를 칠 확률인 타율도 그럼 5할이 평균이 되어야 하고 매일 아침 출근해서 무사히 집으로 올 확률도 50%가 되어야 하는 게 아니니까요.

통계는 어떤 일을 했을 때 보통 일반적으로 놔두면 일어나는 대수적인 확률을 기반으로 합니다. 모든 일의 난이도가 다 같지 않기 때문이죠. 심지어 발행한 쿠폰의 사용률도 브랜드마다 다를 수밖에 없습니다. 어떤 브랜드는 수요가 많지만 가격 할인을 하지 않아 할인 쿠폰이 있으면 정말 폭발적으로 사용하는가 하면 어떤 브랜드는 늘 할인하고 있지만 수요가 없어서 사용률이 현저히 낮은 곳도 있죠. 세상 모든 일들이 그대로 두었을 때의 확률이 있는 것입니다. 그 확률을 높이는 과정이 우리가 도전할 일이죠.

컴퓨터가 오탈자를 잡아내는 AI 모델을 만든다고 한다면 얼마나 성능이 좋아야 사용할 수준이 될까요? 많은 사람이 같은 글을 보고 오탈자를 찾아내는 보편적인 확률, 그 정도면 평균적인 사람의 오탈자 수정 능력을 갖고 있다고 할 수 있습니다. 이런 기준이 되는 확률이 있는 것이죠. 하지만 사람을 써서 오탈자를 잡아내는 비즈니스를 하고 있다면 다소 부족한 오탈자 찾는 능력을 감수하고서라도 인건비를 아끼겠다면 더 낮은 성능으로도 기준을 통과할 수 있는 것입니다. 기준이 되는 확률은 비용/편익에 따라 조정될 수 있는 것이죠.

확률에 기반한 어떤 과제를 시도할 때 가장 먼저 해야 할 것은 이 기준이 되는 확률을 명확하게 정의하는 데 있습니다. 50%가 아닌, 우리가 직면한 현실이 정말 얼마인지 분석을 통해 얻고 경제적 목표를 달성하기 위해 얼마나 향상하는 것이 가장 좋은 지 설정해 보는 것이죠. 하지만 모든 일에 100%는 있기가 어렵습니다. 최대가 되는 전환율은 실험을 통해 계속 개선해 보는 방법이 가장 낫다고 생각합니다. 모든 확률에는 한계가 되는 구간이 오고 그것은 기존의 전제로는 넘어서기 어렵기 때문에 그 한계가 되는 확률까지 일단 가 보고 그다음을 계획하는 방법이 필요할 것입니다.  

PETER님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.