언제 멈춰야 하는가

실수와 실패 시리즈 003

스타트업은 실수를 줄여야 한다 를 읽고 쓴 용기를 가지고 패배하라 에 이어서 '틀림'의 두 얼굴

실수와 실패 시리즈 001 : 실수와 실패는 다르다.

실수와 실패 시리즈 002: 공정한 실험은 가능한가

실수와 실패 시리즈 003: 언제 멈춰야 하는가 — 작동하는 것을 버리는 용기에 대하여

---

지난 편에서 오늘반찬 팀은 세 가지 모델을 2주간 동시에 실험했다.

결과는 나왔지만 깔끔한 승자는 없었다.

각자 자기 숫자에 밑줄을 긋고 있었다. 이번 편은 그 화이트보드 앞에서 시작한다.

---

회의가 끝나지 않고 있었다.

화이트보드에 세 모델의 숫자가 적혀 있었고, 한 시간 넘게 같은 자리를 돌고 있었다.

개발 리드는 87분을, 사업 담당은 79분을, 나는 픽업 모델의 재주문율을 각각 가리키고 있었다.

세 사람이 같은 보드를 보면서 서로 다른 결론을 주장하고 있었다.

나는 회의를 멈췄다.

"오늘은 여기까지 하자. 내일 아침에 다시 보자."

집에 가는 길에 생각했다. 우리가 막혀 있는 이유가 뭔가.

데이터가 부족한 게 아니다. 숫자는 있다. 문제는 그 숫자를 읽는 기준이 없다는 것이다.

87분이 성공인지 실패인지, 건당 비용 15% 증가가 감당할 만한 건지 아닌 건지.

이 판단을 내릴 기준을 우리는 실험 전에 정하지 않았다.

실험은 설계했는데, 실험의 끝을 설계하지 않았던 것이다.

---

기준 없는 판단

다음 날 아침, 나는 회의 전에 노트에 질문 하나를 적었다.

우리에게 성공이란 무엇인가.

단순한 질문 같지만, 이게 지금 우리를 막고 있는 근본 원인이었다.

배달 시간 90분 이내. 이것은 우리가 정한 목표였다.

하지만 이것이 성공의 정의인가? 87분을 달성했으니 성공인가?

그런데 비용이 15% 올랐다.

그러면 실패인가?

팀이 모였을 때 이 질문을 던졌다.

"우리한테 성공이 뭐야?"

개발 리드가 말했다. "약속한 시간에 반찬이 도착하는 것. 그게 서비스의 본질이잖아요."

사업 담당이 말했다. "고객이 계속 쓰는 것. 한 번 시켜보고 끝이면 의미 없잖아요."

나는 말했다. "한 건을 배달할 때마다 돈을 잃지 않는 것."

세 사람이 각각 다른 성공을 정의하고 있었다.

그리고 각자의 성공 정의가 자기 모델에 유리한 방향으로 기울어져 있었다.

배달 시간을 성공으로 보면 직접 배달 최적화가 이긴다.

고객 유지를 보면 외부 대행이 경쟁력이 있다.

비용 효율을 보면 픽업 모델이 유일한 답이다.

이건 2편에서 겪은 것과 같은 구조였다.

기준이 없으면 각자 자기에게 유리한 기준을 들고 온다.

실험 설계 때도 그랬고, 결과 해석 때도 그랬고, 지금 또 그렇다.

나는 화이트보드에 새로운 질문을 적었다.

이 실험에서 우리가 배운 것은 무엇인가.

---

배운 것과 기분 좋은 것

질문을 바꾸자 대화의 방향이 달라졌다.

배달 시간 87분 달성. 이것은 기분 좋은 숫자다.

목표를 맞췄으니까. 하지만 이것이 우리에게 새로운 정보를 주었는가?

"열심히 하면 시간을 줄일 수 있다"는 건 실험 전에도 알고 있었다.

배달원을 더 투입하고 알고리즘을 개선하면 시간이 줄어드는 건 당연하다.

진짜 새로운 정보는 다른 곳에 있었다.

건당 비용이 15% 증가했다는 것.

그리고 이 비용 증가가 주문량과 비례하지 않고, 주문이 늘어날수록 가속된다는 것.

일일 30건에서 40건으로 갈 때 건당 비용이 8% 올랐고, 40건에서 50건으로 갈 때는 15%가 올랐다.

이 추세가 유지되면 일일 100건에서는 사업 자체가 성립하지 않는다.