토스강연-Carrying Capacity에 대한 의문
토스 PO 강연 중 나온 그 개념을 비판적으로 다시 바라보았다.
토스 PO가 강연했던 Carrying Capacity에 대한 개념을 듣고 생각 / 의문점들 정리해 본다.
Carrying Capacity 한계 수용능력이란?
https://www.youtube.com/watch?v=tcrr2QiXt9M
Carrying Capacity Today = No. of New Daily Customers / % of Customers you lost each day
제품 한계 수용 능력 = 신규 유입 유저 수 / 이탈률
동영상을 보면서 PO의 설명을 들어보았다.
PO의 예시 1) 7500명이 오늘 유입했고 평균 1% 이탈률을 가지고 있다고 한다면, 제품 한계 수용능력은 75만 명임. 그런데 이탈률은 1%인 7500명이 나가서 (결국 총 유저 75만 명의 1%가 7500명), 총유저는 변하지 않음. 제품이 가진 본질적인 체력은 75만.
PO의 예시 2) 7000명이 오늘 유입했고 평균 1% 이탈률을 가지고 있다면, 7500 - 7000 = 500명 이탈
총 유저수 75만 명 - 500명 = 총 유저수 749500명만 남게 됨.
7000명 / 1% = 70만이므로 체력이 70만.
첫 번째 - 공식에 대한 이슈
공식을 보면 이탈률을 바로 대입해야 하는 것처럼 보이는데, 결국 이 공식대로 '이탈률'을 그대로 집어넣으면 황당한 C.C(Carrying Capacity)가 나온다.
예) 7500 유입 / 1% 이탈 = 750,000 즉 C.C는 75만
근데 만약 750명 유입 / 0.1% 이탈 = 750,000 즉 C.C는 75만...
그리고 만약 5000 유입 / 3% 이탈 = 166,666 즉 C.C는 16만...
[의문점]
1. 체력이 이렇게 널뛰기를 해도 되는 건가? 물론 결국 '추이'를 보는 거지만 그렇게 치면 그냥 [ 인입 유저 - 이탈 유저 / 총 유저 ]를 보는 것과 뭐가 다른 걸까?
2. 이렇게 절대적인 75만, 16만, 같은 숫자로 이탈률이 인입률보다 더 큰지 적은 지에 대한 감을 어떻게 잡을 수 있나?
3. 7500명 유입되고 1프로 이탈했을 때랑, 750명 유입되고 0.1프로 이탈했을 때랑 이 제품의 체력이 같다. 이게 말이 되는가?
그래서 PO의 화이트보드 설명으로 이해한 것을 바탕으로 수정한 공식을 적어보았다.
[새 공식]
Carrying Capacity = No. of New Customer / No. of Churned user (Total User X churn rate)
제품 한계 수용 능력 = 신규 유입 유저 수 / 이탈 유저 수 (총 유저 * 이탈률)
일단 원래 공식에 없는데, 우리는 총 유저수를 고려해야 한다. 만약 총 유저수가 75만 명이면, 이탈률이 1% 7500명이 이탈하니까, 7000명이 유입되면 0.93이란 숫자가 나온다.
0.93이란 숫자를 보면 1보다 적기 때문에 이탈량이 더 많은 것을 알 수 있다.
두 번째 예로 750명 유입해서 이탈률이 0.1%이면
750 / (750000*0.001) = 750/750 = 1
유입량 줄어서 10이 아니라 1이 되었다. (들어온 만큼 나감)
*물론 이 공식에서도 7500명 들어와서 7500명 나갔을 때 값은 1이라서, 체력은 차이 없게 나온다.
세 번째 예로 7500명이 유입했고 이탈률이 0.1%로 줄었다고 치면
7500 / (750000*0.001) = 7500/750 = 10
1을 넘어서서 10이란 숫자가 나왔다.
결국 이렇게 공식을 만들어 계산하는 게 추이를 보기도 훨씬 쉽지만, 1을 기준으로 이탈량이 인입량보다 많다 적다에 대한 개념을 가질 수 있어서 적어도 이렇게 만든 공식이 더 말이 되지 않나 싶다.
그리고 이렇게 만들고 보니 결국 carrying capacity는 새로운 개념은 아니고 "Ratio of inflow to churn (인입 대비 이탈률)을 계속 모니터링해라"라는 우리가 알고 있는 것과 다를 바가 없는 것 아닌가?
두 번째 - 실제 상황 적용 대한 이슈
마케팅 활동으로는 일시적 inflow 부스팅을 가능하지만 본질적인 Carrying Capacity는 변하지 않음.
제품 개선, Inflow와 Retention향상과 동시에 Churn rate감소를 통해 Carrying Capacity를 향상해야 함
일리 있는 말이며 개념적으로는 동의한다.
다만 저 공식을 대입해서 Actionable 한 Finding을 얻기에는 너무 많은 요소들이 작용을 한다. 정말 저게 실제로 광고를 실행한다 안 한다에 대한 대표 Indicator가 될 수 있는지에 대한 의구심도 든다. 그렇게 생각한데 이유는 아래의 포인트들 때문이다.
1. Inflow / Retention user를 하나의 Active user라 칭했는데 그렇다면 Newly signed up user와 Retention User를 구별할 수가 없어서 결국 '광고를 해야 하냐'에 대한 답을 얻기 힘듦.
다시 말하면, Carrying Capacity는 신규 회원의 인입이 커서 inflow/retention user가 늘어났는지, 기존 회원들이 60프로에서 90프로로 사용자 비중이 늘어나서 신규 회원의 비중이 줄었는데도 전체 Active user는 늘어났는지는 고려하지 않는 지표인 것이다.
우리는 이런 지표를 Lagging Metric 혹은 Lagging Indicator이라고 부른다. 액셔너블(Actionable) 하지 않은 결과론적인 지표. 즉, 이 지표로 광고를 한다, 만다를 판단하는 건 잘못된 액션이라는 뜻이다. 어떤 지표를 보고 액션을 하려면 Leading Metric을 보고 판단해야 한다.
2. Churned유저를 어떻게 집계하는지 모르겠지만, Churned user로 구분되는 데는 상당한 시일이 소요되기 때문에 Churned user는 거의 항상 Inflow (retention까지 포함된 Active user이므로) 유저보다 적을 수밖에 없지 않은가? (정말 서비스가 망하기 직전까지 가지 않는 한)
3. Churned 유저의 수를 '총 유저수 * 이탈률'로 계산하기 때문에, 총 유저수가 줄어드는데 이탈율도 줄어들 경우에 저 공식만으로는 알 수가 없다.
예) 7500 유입 / 1% 이탈 = 750,000 즉 C.C는 75만
근데 만약 750명 유입 / 0.1% 이탈 = 750,000 즉 C.C는 75만...
적게 들어오고 적게 나갔는데 체력이 같다??
3. 만약, Retention user를 배제하고 신규 회원 인입 수로만 집계한다고 하면 또 다른 이슈가 있다.
- 시장에 존재하는 유저의 수 중 얼마나 파이를 차지했는지에 대한 고려가 없지 않은가? (시장 사이즈의 한계)
4. Inflow / Retention user의 시기에 대한 이슈
- 갑자기 새 학기, 연말 시즌이나, 세금 정산 시즌 등의 시즌성이 적용되어 광고를 안 하더라도 신규/리텐션 유저가 많아질 수도 있음.
5. 마지막으로, PO의 말대로 광고를 2달간 끄고 저걸 측정해서 1-4번을 모두 고려하여 "액셔너블한" 결과 값을 실제로 얻을 수 있나? 정말 잘 만든 여러 가지 지표를 종합적으로 고려해서 광고 집행 여부, 타깃 등을 결정하는 게 올바르지 않나?
세 번째 - 개념에 대한 이슈
CARRYING CAPACITY에 대한 정의를 찾아보았다. (그나마 비즈니스 적으로 정의한 것으로)
The carrying capacity of a species is the maximum population size that the ecosystem can support without the species that inhabits the system to be damage.
The load capacity of a market would be the maximum number of companies (product offering) that can compete in that market, without having to start to disappear.
And really, the ability to load a new market has no way to be predicted.
출처: http://hackingyourbusiness.com/2015/05/229/
한계 수용 능력은 어떤 환경에서 여러개의 개체가 공존할 수 있는 최대 수용 능력치를 말함. 시장에 적용한다면 그 산업(시장)에서 공존할 수 있는 최대의 기업(프로덕을 제공하는) 수를 말함.
CARRYING CAPACITY는 개념적으로, 수용의 한계치를 말하는 것으로 굳이 프로덕트에 적용한다면 한 프로덕트가 견딜 수 있는, 수용 가능한 유저 수라고 생각해야 할 것이다. 바꾸어 말하면, 그 프로덕이 줄 수 있는 가치를 받을 수 있는 '직접적, 간접적 타깃 유저 수' 일 수도 있을 것 같다.
예) 토스를 사용할 수 있는 국내 직/간접 타깃 유저 수 = 토스의 수용 가능 용량
이 것을 프로덕트 기술 영역에 대입해 보면, 수용 가능한 유저 트래픽량 일 것이고 말이다.
결국 '수용 가능 용량'이란 개념은 그 프로덕 자체가 가지고 있는 능력치로서, 유저가 많아졌다고 그 수용량이 늘어나고 유저가 적어졌다고 수용량이 줄어드는 것 자체가 말이 안 된다.
즉, C.C는 '조건적 능력'이지, 유저의 인입량/이탈량으로 결정되어지는 '결과'가 아니란 이야기다.
어떤 퍼포먼스의 결과 수치를 조건 수치와 혼돈해서 사용하고 있다.
그래서 개념적으로 너무나 다른 것을 굳이 프로덕에 붙여서 쓰니 어색하고 원 개념에 혼돈을 준다.
나는 다른 분야에서 쓰는 개념을 테크, 비즈니스, 프로덕 영역으로 가져올 때에는 그 본연의 개념을 깨뜨리거나 많이 왜곡하면 안 된다고 생각하는데, 여기서 '수용 가능 용량'은 많이 왜곡해서 가져온, 그냥 다른 개념으로 쓰는데 단어만 빌려온 것으로 보인다.
결론적으로, 나는 개인적으로 토스라는 서비스도 좋아하고, 지지하지만 이 Carrying Capacity개념에 대해서는 비판적인 입장이다.
다른 프로덕트 매니저들은 어떻게 생각하는지 궁금하고 이 주제로 토론을 해봐도 재미있을 듯하다.
