C14 보고 싶은 대로 보인다
흔히 빠지는 통계의 오류
2차 세계대전 중 미 공군은 전투기를 보강하여 작전 중 적의 총탄으로 비행기 몸체가 상하더라도 격추되지 않고 기지로 돌아올 수 있도록 하려는 어려운 문제를 풀어야 했다. 격추되지 않고 무사히 귀환한 전투기들을 분석한 결과, 기체 날개와 꼬리 부분에 총알 자국이 집중되어 있었다. 이 부위를 보강하면 더 안전할 것이라고 생각했다.
Pixabay로부터 입수된 Hasan Hüseyin Yücel님의 이미지 입니다.이때 에이브러햄 왈드(Abraham Wald)라는 통계학자가 다른 의견을 냈다. 그는 "돌아온 비행기에서 총탄 자국이 많은 부분을 찾아서 보강할 필요가 없다. 그 부분은 총탄을 맞아도 기지로 돌아오는 데 문제가 없다는 뜻이다.
격추되어 아예 돌아오지 못한 비행기 입장에서 봐야 한다. 돌아온 비행기에서 총탄 자국이 없는 부분이 의미하는 것은 그 부분에 총탄을 맞은 다른 비행기들은 격추되어 돌아오지 못했다는 의미로 해석될 수 있다"라고 말했다.
즉, 엔진과 조종석에 총알을 맞은 비행기들은 아예 돌아오지 못했을 가능성이 높다는 것이다. 이 통찰력 덕분에 미 공군은 엔진과 조종석을 보강했고, 생존율은 크게 향상되었다.
이 이야기는 바로 생존자 편향(Survivorship Bias)의 대표적인 예이다. 우리는 성공해서 살아남은 데이터만 보고, 실패해서 사라진 데이터는 간과하는 경향이 있다. 이처럼 의도치 않게 데이터를 잘못 해석하여 통계적 오류에 빠지는 일은 일상뿐만 아니라 비즈니스에서도 흔하게 일어난다.
우리가 흔히 빠지는 데이터 오류들
우리는 의사결정을 내릴 때 데이터를 중요한 근거로 삼는다. 하지만 데이터를 올바르게 해석하지 못하면 오히려 잘못된 결정을 내릴 수 있다. 앞서 본 생존자 편향 외에도 다음과 같은 통계 오류들이 있다.
도박사의 오류 (Gambler’s Fallacy)
: 독립적인 사건의 결과가 이전 결과에 영향을 받는다고 믿는 오류. '동전을 10번 던져 연속으로 앞면이 나왔으니 다음에는 뒷면이 나올 확률이 높다'고 생각하는 것이 대표적이다.
인과관계 혼동 오류 (Correlation ≠ Causation)
: 두 변수가 함께 움직이는 상관관계가 있다고 해서 하나가 다른 하나의 원인이라고 단정하는 오류. 여름에 아이스크림 판매량이 늘고 익사 사고도 늘었다고 해서 아이스크림이 익사 사고의 원인이라고 생각하는 것과 같다.
기저율 오류 (Base Rate Fallacy): 특정 사건의 발생 확률을 판단할 때, 전체 모집단에서 그 사건이 발생하는 기본 확률(기저율)을 무시하고 조건부 확률에만 집중하는 오류.
표본 추출 오류
: 전체를 대표하지 못하는 일부 표본을 가지고 전체의 특성을 섣불리 일반화. 일부 고객만 대상으로 한 설문조사 결과를 전체 고객의 의견이라고 생각하는 경우가 해당된다.
데이터, 어떻게 바라봐야 하는가
성공을 꿈꾸는 스타트업 CEO라면, 통계 오류의 함정을 특히 경계해야 한다. 흔히 저지르는 세 가지 오류를 살펴보자.
1. 성공한 '유니콘'의 환상: 생존자 편향
수많은 언론과 미디어는 성공한 스타트업, 이른바 '유니콘'들의 성공 스토리만을 조명한다. 에어비앤비나 스트라이프처럼 성공한 기업의 사례만 분석하고 모방하려 하지만, 이들은 수많은 실패한 스타트업의 그림자에 가려져 있다. 실패한 90%의 스타트업이 왜 실패했는지 분석하지 않으면, 성공의 확률을 과도하게 낙관하게 된다. 성공한 기업의 전략은 대부분 그들의 독특한 환경과 운이 결합된 결과다.
2. KPI에 숨겨진 그림자: 인과관계 혼동 오류
사용자 수나 웹사이트 트래픽 같은 핵심성과지표(KPI)가 증가하면, '이 전략이 성공했으니 매출도 늘겠지'라고 생각하기 쉽다. 하지만 단순히 KPI 증가와 매출 증가 사이에 상관관계가 있다고 해서, 그것이 직접적인 인과관계로 이어지는 것은 아니다. 고객 행동 데이터를 A/B 테스트와 같은 과학적인 방법으로 분석하고, 어떤 전략이 실제로 매출에 영향을 미치는지 증명해야 한다.
3. '이번에도 잘될 거야'라는 안일함: 도박사의 오류
지난달 매출이 폭발적으로 증가했다고 해서 이번 달에도 그럴 것이라고 맹신하는 것은 위험하다. 과거의 성과가 미래를 보장하지는 않는다. 시장 상황, 경쟁사의 동향, 그리고 내부 역량의 변화 등 현재의 독립적인 변수들을 끊임없이 모니터링해야 한다. 과거 실적에 기대어 안일하게 판단하는 순간, 비즈니스 성장은 멈출 수 있다.
성공만 보이는 데이터에 현혹되지 않고, 실패의 그림자까지 함께 살펴보는 것. 이것이 바로 현명한 의사결정을 위한 첫걸음이다. 데이터의 출처, 수집 방법, 그리고 해석의 맥락을 깊이 고민하는 습관을 통해, 스타트업 CEO는 비즈니스를 더욱 단단하게 만들 수 있다.
성공이라는 희망과 실패라는 현실 사이에서, 어떤 데이터에 집중하고 있는가?
Pixabay로부터 입수된 NoName_13님의 이미지 입니다.넷플릭스 (Netflix)
넷플릭스의 핵심 사업 모델은 사용자 구독 기반의 스트리밍 서비스다. 고객은 매달 일정 금액을 지불하고, 넷플릭스가 보유한 방대한 영화, 드라마, 다큐멘터리 등의 콘텐츠를 무제한으로 시청할 수 있다. 넷플릭스는 이 모델을 성공시키기 위해 데이터를 적극적으로 활용했다.
개인 맞춤형 추천 시스템
: 넷플릭스는 사용자가 시청한 콘텐츠, 시청 시간, 검색 기록, 평가 등의 데이터를 수집하고 분석한다. 이 데이터를 기반으로 '당신이 좋아할 만한 콘텐츠'를 예측하고 추천해준다.
예를 들어, 사용자가 특정 감독의 영화나 특정 장르의 다큐멘터리를 자주 본다면, 비슷한 성향의 다른 콘텐츠를 메인 화면에 노출시키는 방식이다. 이 시스템은 사용자가 새로운 콘텐츠를 찾는 데 드는 시간을 줄여주고, 계속해서 플랫폼에 머무르게 만들어 고객 만족도와 유지율을 극대화했다.
데이터 기반의 콘텐츠 제작
: 넷플릭스는 단순한 콘텐츠 추천을 넘어, 어떤 콘텐츠가 흥행할지를 데이터로 예측했다.
예를 들어, 드라마 '하우스 오브 카드'를 제작하기 전, 넷플릭스는 영국의 동명 드라마가 자사 플랫폼에서 높은 시청률을 기록했다는 점, 주연 배우인 케빈 스페이시와 감독인 데이비드 핀처의 작품이 인기가 많다는 점 등을 종합적으로 분석했다.
이 데이터 분석을 통해 성공 가능성이 높은 콘텐츠를 직접 제작하기로 결정했고, 이는 큰 성공을 거두며 넷플릭스의 오리지널 콘텐츠 전략의 시발점이 되었다.
결론적으로, 넷플릭스는 데이터를 고객 경험 개선, 이탈률 감소, 그리고 성공적인 콘텐츠 투자에 활용하여 사업적 성공을 이끌어냈다. 이는 데이터가 단순한 숫자가 아니라, 비즈니스의 방향을 결정하는 중요한 나침반이 될 수 있음을 증명하는 사례다.
참조 자료:
[와이파일] 온택트와 넷플릭스, 그리고 빅데이터/ YTN / 2021.02.02
퀴비 (Quibi)
퀴비의 사업 모델은 '짧은 형식의 프리미엄 콘텐츠'를 유료 구독 형태로 제공하는 것이었다. 당시 CEO 제프리 카젠버그는 밀레니얼 세대가 출퇴근 시간 등 자투리 시간에 스마트폰으로 짧은 영상을 본다는 데이터에 주목했다. 이를 기반으로 10분 내외의 고품질 영화 및 드라마를 제작하고, 한 달에 약 5달러의 구독료를 부과했다.
데이터 분석의 치명적인 오류
퀴비의 실패는 단순히 "짧은 영상을 선호한다"는 상관관계가 "짧은 영상에 돈을 지불할 의사가 있다"는 인과관계로 이어진다고 잘못 판단한 데서 비롯된다.
무료 서비스와의 경쟁 간과
: 사람들은 이미 유튜브나 틱톡에서 무료로 짧은 영상을 소비하고 있었다.
퀴비는 무료 플랫폼과 경쟁하면서도 유료 구독 모델을 고수했는데, 이는 '재미있는 짧은 영상'에 대한 수요가 '프리미엄급 짧은 영상'에 대한 지불 의사로 이어지지 않는다는 사실을 간과한 결과다.
즉, 무료로 충분히 만족하는 시장에서 유료로 전환할만한 강력한 동기를 제공하지 못했다.
코로나19 팬데믹으로 인한 시장 변화 예측 실패
: 퀴비는 출퇴근 시간을 주된 시청 환경으로 상정했지만, 서비스 출시 직후 코로나19 팬데믹이 전 세계를 강타하며 사람들의 생활 패턴이 완전히 바뀌었다. 재택근무가 확산되고 집에 머무는 시간이 길어지자, 사람들은 스마트폰의 짧은 영상 대신 TV로 넷플릭스나 디즈니+ 같은 장편 콘텐츠를 소비하기 시작했다.
퀴비는 이러한 외부 변수를 예측하고 대응하는 데 실패했다.
결과적으로, 퀴비는 시장의 실제 수요와 행동 변화를 정확하게 읽지 못하고 자신들의 가설에만 집중함으로써 거액의 투자금과 함께 역사 속으로 사라졌다.
참조:
11 reasons why Quibi crashed and burned in less than a year/ The Verge /Oct.23, 2020
