숫자는 방향을 알려주지 않는다

데이터에 매몰된 조직이 놓치고 있는 것

" 우리는 데이터 기반으로 일 합니다 "

" 숫자로 측정할 수 없는 건 중요하지 않아요 ”

" 그래서 As-is 보다 몇 % 성장했나요? "

대부분의 스타트업에서 모든 것을 수치화해야 한다는 말을 자주 합니다. 그만큼 수치화의 중요성 자체를 부정할 수는 없습니다. 스타트업은 본질적으로 성장하지 않으면 사라지는 조직이기 때문입니다. 매년이 아니라 매 분기, 때로는 매달 성장을 증명해야 합니다. 그래서 숫자는 중요합니다.

하지만 실제로 일하다 보면 한 가지 사실을 발견하게 됩니다. 모든 것을 수치화해야 하는 것은 아닙니다. 오히려 수치화해야 할 것과 수치화하지 않아도 되는 것을 구분하지 못하면 숫자는 의사결정을 돕는 도구가 아니라 왜곡의 시작점이 되기도 합니다.

스타트업에서 수치화해야 하는 상황

첫째로, 돈과 직결되는 것 입니다.

스타트업에서 생존은 결국 돈입니다. 그래서 돈과 연결되는 모든 것은 반드시 수치화되어야 합니다. CAC, LTV, 전환율, 리텐션, 객단가, 재구매율 같은 지표들은 단순한 숫자가 아니라 비즈니스의 건강 상태를 보여주는 신호입니다. 만약 이 지표들이 없다면 우리는 어디에서 돈을 잃고 있는지, 어디에서 성장이 멈추고 있는지 알 수 없습니다. 이 영역에서 감으로 일하는 스타트업은 대부분 오래 버티지 못합니다.

둘째로, 퍼널이 존재하는 서비스 입니다.

사용자가 특정 단계를 거쳐 행동하는 서비스라면 반드시 수치화가 필요합니다. 예를 들어 유입 → 상품 조회 → 문의 → 결제 같은 구조입니다. 이런 서비스에서는 어디서 사용자가 가장 많이 이탈하는지 숫자로 확인해야 합니다. 그래야 UI를 바꿔야 하는지, 가격 정책을 바꿔야 하는지, 상품 구조를 바꿔야 하는지 판단할 수 있습니다. 이것이 우리가 말하는 데이터 기반 의사결정입니다.

셋째로, A/B 테스트 입니다.

스타트업의 서비스는 대부분 정답이 없는 상태에서 시작합니다. 그래서 성장 방식은 대부분 실험입니다. CTA 버튼 문구 변경, 가격 노출 방식 변경, 할인 정책 변경, UI 배치 변경 같은 변화가 실제로 어떤 영향을 만들었는지 확인하려면 숫자가 필요합니다. 실험에 숫자가 없다면 우리는 그것이 개선인지 착각인지 구분할 수 없습니다. 성장은 측정 위에서만 보입니다.

넷째로, 팀 리소스 배분 등 입니다.

리소스 배분입니다. 스타트업에서 가장 희소한 자원은 시간과 인력입니다. 그래서 무엇을 먼저 할지, 무엇을 포기할지 결정해야 합니다. 예를 들어 기능 A가 매출에 20% 영향을 주고 기능 B가 1% 영향을 준다면 고민할 필요도 없습니다. 스타트업은 항상 선택과 포기의 연속이고 그 선택을 돕는 가장 강력한 도구가 숫자입니다.

마지막으로, 구성원 평가 입니다.

어떤 스타트업에서는 구성원 평가를 리더의 주관에 맡기기도 합니다. 하지만 주관은 가장 쉽게 왜곡되는 영역입니다. 인간의 감정은 작은 사건에도 흔들립니다. 그래서 최소한의 객관적인 기준과 지표는 필요합니다. 완벽한 평가 기준은 존재하지 않지만 기준이 없는 조직은 반드시 불신이 생깁니다. 그리고 한 사람의 불만은 생각보다 빠르게 조직 전체로 퍼집니다.

수치화가 필요하지 않은 상황

첫째로, 방향를 정하는 단계입니다.

극초기 스타트업에서 사업 방향을 정할 때 숫자는 오히려 독이 될 수 있습니다. 우리가 B2B로 갈지 B2C로 갈지, 플랫폼으로 갈지 솔루션으로 갈지 같은 문제는 데이터의 문제가 아니라 철학과 전략의 문제입니다. 데이터는 대부분 과거의 기록입니다. 하지만 혁신은 대부분 과거의 데이터가 존재하지 않는 영역에서 시작됩니다.

둘째로, 조직 문화 입니다.

조직은 결국 인간으로 이루어져 있습니다. 그런 인간의 관계를 지나치게 수치화하기 시작하면 협력보다 경쟁이 먼저 만들어집니다. 팀의 사기, 리더에 대한 신뢰, 조직의 건강도 같은 것들을 억지로 점수화하면 사람들은 본질보다 점수 맞추기 행동을 하게 됩니다. 결국 조직은 좋은 평가를 받는 방법만 배우게 됩니다. 하지만 그런 조직에서 좋은 제품이 만들어지는 경우는 많지 않습니다.

셋째로, 데이터가 충분하지 않은 경우입니다.

데이터는 많다고 항상 좋은 것도 아니지만 적으면 더 위험합니다. 특히 실험에서는 표본의 충분성이 중요합니다. 예를 들어 200명의 실험 결과에서 전환율이 크게 올랐다면 그것을 성공이라고 말할 수 있을까요? 대부분의 경우 데이터가 적을수록 해석의 오류는 커집니다. 그래서 어떤 경우에는 숫자를 보는 것보다 보지 않는 것이 더 정확한 판단일 수도 있습니다.

저는 숫자를 경계합니다.

우선 숫자는 사실이 아닙니다. 대부분의 숫자는 측정된 결과일 뿐입니다. 우리가 만든 서비스, 우리가 설계한 조건, 우리가 만든 실험 환경 안에서 나타난 현상일 뿐입니다. 그럼에도 불구하고 이 숫자에 지나치게 매몰되어 스스로나 서비스의 한계를 규정하는 경우가 정말 많습니다. 결국 조건이 바뀌면 숫자는 언제든지 달라집니다. 평가자가 바뀌면 성과 지표도 달라집니다. 조직 구조가 바뀌면 과거의 KPI는 아무 의미가 없어질 수도 있습니다. 그래서 숫자를 절대적인 사실로 믿기 시작하는 순간 우리는 스스로의 가능성을 제한하게 됩니다.

아울러, 숫자는 방향을 알려주지 않습니다. 숫자는 단지 문제가 존재하는 지점을 알려줄 뿐입니다. 그래서 저는 숫자를 볼 때 단 하나의 질문만 합니다. 왜? 왜 여기서 전환율이 떨어졌을까. 왜 이 기능은 사용되지 않을까. 왜 고객은 이 순간에 이탈할까. 숫자는 문제의 위치를 보여주지만 문제의 본질은 숫자 밖에 있습니다.

시장에 등장한 대부분의 혁신은 기존 지표를 조금 개선한 결과가 아니었습니다. 새로운 구조를 만들었기 때문입니다. 기존 퍼널을 완전히 깨거나 기존 시장 구조를 디커플링하거나 기존 행동 방식을 바꿨기 때문입니다. 그래서 그 혁신들은 기존 KPI로는 설명할 수 없는 숫자를 만들어 냅니다. 말도 안 되는 전환율, 기존보다 몇 배 높은 효율. 하지만 그 숫자는 처음부터 목표였던 것이 아니라 새로운 방식이 만들어낸 결과였습니다.

그래서 저는 이렇게 생각합니다. 숫자를 믿지 말라는 것이 아닙니다. 다만 숫자에 매몰되지 말아야 합니다. 숫자는 문제를 찾기 위한 도구이지 생각을 멈추게 하는 기준이 되어서는 안 됩니다. 진짜 중요한 것은 숫자를 보는 능력이 아니라 숫자 뒤에 있는 본질을 끝까지 파고드는 태도입니다. 그리고 그 과정에서 때로는 기존의 퍼널을 완전히 부수는 선택도 해야 합니다. 혁신은 대부분 기존 숫자를 개선하려는 시도에서 나오지 않습니다. 기존 숫자를 무의미하게 만들어 버리는 방식에서 나옵니다.

마지막으로 저는 한 가지를 더 믿습니다. 데이터는 우리에게 많은 것을 알려주지만 미래를 만들어 주지는 않습니다. 미래를 만드는 것은 결국 사람의 통찰과 용기입니다. 그래서 어떤 순간에는 데이터보다 자신이 보고 있는 문제의 본질을 더 믿어야 할 때도 있습니다. 대부분의 혁신은 바로 그 순간에서 시작됩니다.