공정한 실험은 가능한가

실수와 실패 시리즈 002

스타트업은 실수를 줄여야 한다 를 읽고 쓴 용기를 가지고 패배하라 에 이어서 '틀림'의 두 얼굴

실수와 실패 시리즈 001 : 실수와 실패는 다르다.

실수와 실패 시리즈 002: 공정한 실험은 가능한가 — 불완전한 정보 위에서 판단하는 법

---

지난 편에서 오늘반찬 팀은 하나의 사건을 놓고 두 개의 해석과 마주했다. 배달 지연은 실행의 실수인가, 모델의 실패인가. 답을 내리지 못한 채 그 화요일 밤이 끝났다. 이번 편은 그 다음 날 아침부터 시작한다.

---

수요일 아침, 나는 사무실에 가장 먼저 도착했다.

어젯밤 잠을 잘 못 잤다. 머릿속에서 개발 리드의 말과 사업 담당의 말이 계속 부딪히고 있었다.

둘 다 틀린 말을 한 게 아니었다. 그게 문제였다.

커피를 내리면서 생각했다. 우리는 지금 논쟁을 하고 있는데,

이 논쟁은 말로는 끝나지 않는다. 의견이 아니라 데이터가 필요하다. 실험을 해야 한다.

팀이 모였을 때, 나는 이렇게 말했다.

"우리가 어젯밤에 결론을 못 낸 건, 둘 다 맞을 수 있기 때문이다.

그러면 말로 싸우지 말고 돌려보자. 2주 동안 세 가지 방식을 동시에 테스트하자."

세 가지 모델은 이랬다.

첫째, 직접 배달 최적화. 개발 리드의 가설이다.

동선 알고리즘을 고도화하고 수요 예측을 붙여서, 지금 모델을 제대로 굴리면 90분 안에 배달할 수 있다는 것.

둘째, 외부 배달 대행. 사업 담당의 가설이다.

배달은 전문 업체에 맡기고 우리는 가게 관리와 주문 플랫폼에 집중하자는 것.

셋째, 픽업 모델. 내 아이디어였다. 배달을 아예 없애고 고객이 직접 가게에서 가져가게 하면 어떨까.

여기까지는 좋았다. 문제는 그 다음이었다.

기울어진 운동장

실험 설계를 구체화하는 회의에서 균열이 시작됐다.

첫 번째 쟁점은 기간이었다. 개발 리드가 말했다.

"직접 배달 최적화는 알고리즘 개선이 필요합니다.

2주는 너무 짧아요. 최소 4주는 줘야 공정합니다."

사업 담당이 바로 받아쳤다.

"외부 배달 대행은 계약만 하면 바로 돌릴 수 있어요.

4주나 기다릴 이유가 없죠. 길어질수록 비용만 늘어나요."

두 번째 쟁점은 성공 기준이었다. 개발 리드는 배달 시간을 핵심 지표로 밀었다. 자기 모델의 강점이 속도 개선이었기 때문이다. 사업 담당은 고객 만족도와 유지율을 밀었다. 외부 배달 대행이 시간은 느려도 안정적이라는 논리였다

나는 회의실에서 이상한 기시감을 느꼈다. 우리가 공정한 실험을 설계하자고 모였는데, 각자 자기 가설이 이기는 경기장을 만들고 있었다. 의식적으로 속이려는 게 아니었다. 그게 더 무서웠다.

자기가 맞다고 믿으니까, 자기 모델에 유리한 조건이 "합리적인 조건"으로 느껴지는 것이었다.

개발 리드에게 4주가 필요하다는 건 진심이었다. 알고리즘 최적화에는 실제로 시간이 걸린다. 사업 담당에게 고객 만족도가 중요하다는 것도 진심이었다. 배달 시간만으로 서비스 품질을 판단할 수는 없다.

둘 다 "합리적인" 이유를 갖고 있었다.

다만 그 합리성이 자기 가설의 방향으로 정확하게 기울어져 있었을 뿐이다.

그때 깨달았다. 공정한 실험이라는 건 없다.

실험을 설계하는 것도 사람이고, 사람은 자기 믿음에서 자유로울 수 없다.

나 자신도 마찬가지였다. 픽업 모델을 제안한 건 나였고,

나는 무의식중에 픽업 모델의 기준을 가장 느슨하게 잡고 있었다.

최악을 먼저 생각하라

한 시간 동안 기준을 놓고 평행선을 달리다가, 나는 질문의 방향을 바꿨다.

"잠깐, 우리가 지금 각 모델이 잘 되면 어떻게 되는지를 기준으로 이야기하고 있는데,

반대로 생각해보자. 각 모델이 망하면 어떻게 되는가?"

회의실이 잠깐 조용해졌다.

직접 배달 최적화가 실패하면? 2주간 개발 리소스를 쓰고, 배달 시간은 여전히 90분을 넘기고, 그 사이에 이탈한 고객은 돌아오지 않는다. 하지만 시스템 자체는 남아있으니 다른 방향으로 전환할 수 있다.