brunch

You can make anything
by writing

C.S.Lewis

by 김테드 Jun 25. 2019

어떻게 검증할 것인가?

버즈가 말하듯이. To infinity and beyond

이야기를 시작하며.


지난 주 월요일 언더독스에서 진행하는 유디 인싸에서 다이버시티(DiversiTea) 얘기를 할 기회가 생겼었다. 2017년 초 부터 2019년 2월까지 나와 제임스(James)는 다이버시티(DiversiTea)라는 스타트업을 했었는데, 이 날엔 지극히 주관적인 관점에서 "영국인을 설득하고 싶었다"라는 주제를 갖고서 이야기를 풀어나갔다.

(이때 한 이야기는 언더독스의 능력자 비글님들께서 잘 정리해서 올려주셨다. 링크는 여기: https://brunch.co.kr/@underdogs/68)


약 2시간 여간 진행된 그 날 이야기의 주제는 "스타트업은 소비자를 깊숙하게 알아야한다." 였다.

그리고 이 날 내 이야기를 들으신 한 청중께서 "정말 애자일하고, 하게 서비스를 검증하셨네요. 좋은 예시였습니다."라고 말하셨다.


그 날 강의가 끝나고 나서도 계속 머리 속에 그 말이 남았다. 그런 과한 평가를 해주신 청중에게는 감사했고 또 감동 받기도했지만 양심적으로 내가 과연 애자일 개발 방법론과  개발 방법론을 공부하고 그것을 도입하기 위해서 노력을 했던가? 하다보니 그쪽 방향으로 되었다가 더 맞는 말이 아닐까 싶다. 그래서 오늘은 다이버시티의 얘기를 갖고서 검증이라는 것에 대한 내 생각을 좀 나눠보려고 한다.



애자일과 린, 그 핵심



애자일, 린  스타트업, 애자일 소프트웨어 개발, 린 개발 등등 얼마나 빈번하게 쓰이면서도 확고한 실체가 없는 말인가. 사실 깊이 들어가면 한도 끝도 없고, 또 겉에서 살짝 훑자면 코에 붙이면 코걸이, 귀에 붙이면 귀걸이라는 식으로 오용, 남용, 과용이 일어나고 있는 Buzzword들이라고 필자는 개인적으로 생각한다.


이 글에서는 애자일 개발이 무엇인지, 린 개발이 무엇인지 그 차이가 무엇인지, 무엇이 더 좋은 방법인지 등을 논하기보다는 어떤 핵심적인 특성이 다이버시티와 애자일 개발과, 린 개발 방법론을 관통하는 것인지 도출해 내는 것이 좋겠다고 생각했다. 어차피 역사적으로 봤을 때, 린 개발 방법론과 애자일 개발 방법론은 굉장히 유사한 철학을 갖고있고 이 둘은 결코 대체 관계가 아니다.


이 두 방법론의 핵심 개념은 변화가 일어날 수 밖에 없다는 전제를 기반으로 계획 수립을 해야한다는 것과 고객 중심으로 솔루션에 접근해야한다는 것이다.


에릭 리스 얘기를 잠깐 해보자. 그의 굴지의 베스트셀러인 "린 스타트업"에 따르면 린의 핵심은 아이디어 - 제작 - MVP 출시 - 측정 - 데이터 - 학습 이 6단계에 있다. 빠르게 MVP를 만들어서 그것을 기반으로 학습하고 반영하는 것. 그 방법론이 스타트업을 만드는데도 사용될 수 있다는 것이다.


필자가 근무하고있는 언더독스의 7단계 창업방법론도 이와 비슷한 철학을 갖고있다고 생각한다. 문제를 정의하고, 소비자와 인터뷰를 해가면서 창업팀만의 솔루션을 도출하고, 빠르게 MVP를 제작하여 시장성을 검증하는 것.


다이버시티의 경우는 어땠는가? 다이버시티도 피봇을 정말 많이한 스타트업이라고 생각한다. '차'라는 아이템만 유지됬지, 사실 첫 아이디어에서 마지막까지는 정말 다양한 변화가 일어났었는데, 20대 가난한 청년들에게 있어 워터폴 방식의 개발과 창업은 리스크가 너무 컸다. (워터폴: 그냥 처음 기획해두고 단계별로 개발해내는 우리가 생각하는 전형적인 프로젝트 진행 방식) 투자할 돈도 시간도 사람도 그렇게 풍족하지 않았기 때문이다. 그래서 우리는 매 번 고민을 하기 시작한다. 이런걸 테스트해보고 싶은데 어떻게하면 가장 돈이 적게들고, 시간도 덜들고 되는지 안되는지만 빠르게 확인해볼 수 있을까?




소비자는 알고싶은데 돈은 없어



이제와서 고백해본다. 사실 우리는 그 때 당시 돈이 정말 없었다. 며칠 전에도 코파운더인 제임스와 전화 통화를 하면서 얘기하는데, 제임스는 통장에 들어있는 300만원이 전부였다고 누누이 강조했다. 나는 생활비 조차 없어서 아이패드를 팔려고 내놓았었는데, 집에 도둑이 들어서 당장 다음날 거래 할 수 있던 아이패드를 훔쳐갔다. 미국에서는 차고에서 창업을 하는게 로망이라고 하는데, 도둑드는 반지하 원룸에서 돈없이 창업하기란 참 힘든 일이었다.


처음에는 한국 차를 팔아보자는 생각이 가장 현실적이였다. 마침 코트라에서도 한국의 한 차 기업이 영국에 수출하고 싶어하는데, 샘플을 받아볼 의향이 있는지 물어봤었다. 샘플비를 조금만 내고도 받아 볼 수 있었고, 한국의 차는 한국인으로서 가져올 수 있는 몇 개 안돼는 특산물(?) 같은 느낌이였다.


2주 정도가 지났을까, 우리는 정말 말도 안되게 좋은 퀄리티의 차 샘플들을 받게되었다. 그리고 곧바로 영국인 친구들에게 먹여보았다. 반응은 매우 좋았다. 오 그럼 우리 이것을 시작으로 전세계에 다양한 차들을 영국 시장에 소개해주는 스타트업을 해보면 되겠다! 주요 소비자라고 생각되는 차 애호가들의 반응도 좋았다. 각 나라마다, 각 지역마다 유명하고 좋은 차들은 매번 여행 갈 때 마다 사오는데, 영국에서 편하게 구매할 수 있으면 좋겠다는 의견이였다.


우리는 처음 받은 한국 차들을 가지고 가격을 따져보기 시작했다. 그리고 이 차를 동네 마켓에 나가서 우려서도 팔고 찻잎으로도 팔아보면서 소비자들의 반응을 공부해보자는 전략을 세웠다. 우리가 있던 Sheffield라는 동네에는 Paddler's Market이라는 격주마다 하는 마켓이 유명했는데, 마켓 한 번 나가는데 당일 매출의 15%인가를 줘야하고, 자리 입점비로만 거의 100만원 가까이 들더라. (옛날에 계산했던 것이라 왜곡되었을수 도 있다.)


결국 우리가 돈을 거의 들이지 않고 할 수 있던건 우리의 품을 파는 것 뿐이었다. 나는 개발자가 아니였기에 사람들을 최대한 많이 만나면서 물어보고 팔아보는 것. 제임스는 웹개발자니까 이것을 랜딩페이지로 만들어서 구매 의향을 물어보는 것. 이것부터 시작했다. 그리고 일련의 과정을 거치면서 어느정도 시장에 내놓을 수 있는 다이버시티가 탄생했다.


"Seasonally curated loose leaf tea subscription box (시기에 따라 큐레이션된 잎 차 정기구독 박스)", 이것이 다이버시티 v1 를 정의하는 한 줄 이었다. 사람들이 사실 많이 물어봤다. 어째서 그냥 E-commerce로 차를 판 것이 아니라, 정기구독형으로 차를 팔게 되었는지. 그 때 정기구독 모델이 유행이어서? 물론 영국에서 커피 정기구독 스타트업인 'Pact Coffee'가 엄청나게 투자를 받아 잘 되고 있긴 했었다. 하지만 우리가 섭스크립션으로 가게된 이유는 어쩌면 지극히 공급자 중심적이였다. 한 달에 한 번만 패킹하면되니까. 또 재고를 많이 안남겨놔도 되니까. 돈과 시간은 극히 적게 들이면서도 효율성은 극대화한 결과였다.


사실 이 부분에 있어서는 운이 매우 좋았던 것 같다. 소비자들이 그래도 정기구독 모델에 대해서 어느정도 이해도가 생겨나는 시점이였고, 또 차는 유통기한이 매우 길고 두고두고 집에 쌓아두고 마시는 "필수품" 같은 느낌의 재화였기에 사람들이 매달 제품을 받는 것에 문제를 제기하지 않았다.


우리는 그렇게 첫 달부터 빠르게 만들어낸 박스와 랜딩페이지로 BEP(Break Even Point: 손익분기점)를 달성했다. (물론 창업가들의 월급이 나올 만큼 벌지는 못했다. 하지만 우리도 한 달 내내 풀타임으로 다이버시티를 진행하지 않았기 때문에 BEP를 달성 할 수 있었던 것 같다.)




검증(Validation)? Premature optimisation is the root of all evil.



우리는 자신감이 생겼다. 코워킹 스페이스에 있던 모든 팀들이 우리의 BEP 달성을 축하해주었고, 이것은 창업자들에게 있어서는 마약같았다. 어느 누가 우리에게 와서 "다이버시티 어떻게 되가고 있어?"라고 물어도 우리는 "첫 달 부터 BEP를 달성했어요! 소비자들이 우리를 어느정도 검증(Validate)해준 것 같아요!"라고 대답했다. 소비자들이 우리 서비스를 검증해준거라고. 앞으로 우리를 알리면 알릴 수록 더 많은 소비자들을 끌어들일 수 있을 거라고.


첫 달 BEP 이후에도 지속적으로 매출이 오르긴 올랐지만, 드라마틱하게 성장하지는 않았다. 첫 두 세달에는 그래도 성장률이 있었지만, 그 이후에는 이탈들이 발생하면서 성장이 둔화되었었는데, 애매했다. 그리고 그 애매한 상태가 몇 달 동안 지속이 되니까 고민이 늘었다. 과연 우리가 검증을 한 것이 맞는지, 우리가 우리의 소비자를 정말 이해하고 있는지, 판매가 지속은 되었지만 오픈빨, 지인빨로 지속되었던 것이 아닌지 끊임없이 고민에 빠지기 시작했다. 우린 대체 뭘 확인한걸까? 소프트웨어 개발자들 사이에서 유명한 말이 있다. 성급한 최적화는 모든 악의 근원이라고...


어느 수준에서 검증이 되었다라고 말하는 것은 참 어려운 일이였다. 삼인성호라고해서 3명이 모이면 호랑이도 만들어낸다고 했는데, 3명 중에 3명이 모두 A라는 아이템을 사랑한다고해서, 100명 중에 100명이 모두 사랑할 것이라고 믿는 것은 심각한 오류로 빠져버릴 여지가 있지않을까라는 그런 생각이 들어서 액션을 취할 때 마다 고민에 빠졌다. 사실 그럼에도 이렇게만 결과가 나오면 멍청한 디시전 메이킹을 할 지언정, 마음은 편하게 액션을 취할 수 있을텐데 50명을 인터뷰했는데, 25명은 A가 좋다고하고 25명은 B가 좋다고하면 어떻게 해야하는걸까?  


다이버시티는 차를 담을 때 바세린통같이 생긴 양철통을 사용했다. 심미성을 고려한 선택이였다. 영국인들은 차와 커피, 설탕을 양철통에 담는 그런 습관이 있어서 그런 점에서 의미가 있다고 생각했고, 많은 고객들이 너무 좋다고 얘기해줬다. 하지만 몇 달이 지난 이후 "양철통에 담겨있는 차를 떨어트리지않고 빼기가 너무 힘들어요"라는 고객들이 생겨났다. 처음에는 아.. 손이 두꺼우신가보다 하고 생각했지만 점점 늘어나는 것을 보면서 UX적으로 양철통이 꼭 좋은 경험만 주는 아이템은 아니라는 것을 알게된 것이다.


결국 이를 통해서 질문이 아래처럼 정리되었다. 좋은 결정을 내리기 위해서는 검증이 필요한데, 어떻게하면 검증을 객관적으로 할 수 있을까? 객관적인 기준은 무엇일까? 50명이면 객관적인 의견인가? 100명이면? 1000명이면?


이로서 우리는 검증을 제대로 한 것이 아무것도 없다는 생각을 하게되면서 객관성의 늪에 빠져버렸다.




하지만, 객관성이라는 늪에서 뒹굴지말고 앞으로 나아가자



사람은 오류가 많다. AI도 오류 천지이다. 수천가지 수만가지를 고려하고, 빅데이터를 기반으로 딥러닝을 한 알파고도 오류를 만든다. 근데 내가 오류를 안만들어낼 수 있을까? 이 질문에서 나를 탈피시켜준 책과 글이 몇개있는데, 하나는 "데이터를 철학하다"라는 책이였고, 한 문구는 "데이터가 많아도 바이아스는 똑같다"라는 문구였다. 본질은 이거였다. 객관성은 나 혼자서 고민한다고, 우리 팀 끼리 고민한다고 높일 수 잇는 것이 아니였다.


어렸을 때 선생님들이 나한테 "소피스트"적인 기질이 있다고 말을 했었다. 나만의 개똥철학이 있다고. 근데 그 개똥철학이 어느 정도 내 경험과 내가 느낀 인사이트에서 생겨난 것이였고, 나는 그것을 말로 표현하기를 즐긴것이다. 나는 그것이 검증해볼만한 가설로 구체화가 된 것이라고 생각했고, 될 때 마다 검증하는 것을 즐겼다. 그런 가설이 대중적인 공감을 얻으면 객관적으로 검증된 것이 된다고 정리했다.


또 되돌이가 아닌가? 대중적인 공감은 어떻게 정의할 것인가. 100명? 1000명? 내가 어릴 때 과연 나만의 법칙들을 검증해 볼 때 객관성을 걱정했었을까? 아니다. 객관성보다 내가 적립한 법칙을 내가 오롯이 갖고있다는 것이 중요했으니까. 나는 그래서 이 악순환의 루프를 깨버리기로 결심했다. 결국 상황이 바뀜에 따라, 모든 전제가 바뀌어 가는데, 객관성을 높이기 위해 검증에 집착하는 것은 빠른 액션이 중요한 스타트업에게 있어서는 독이라는 것이다. 우리끼리 동의하면 그냥 검증된 것이라고 생각하고 넘어가는 것이 맞다.


그래서 우리는 양철통 디자인도 초반엔 그냥 밀고 나갔다. 현재 상태에서는 50.0000001%로라도 고객들이 원했으니까. 바꾸는 것에 대해서 합의가 이뤄지지 않았으니까. 하지만 1년 넘게 다이버시티를 판매를 해보다보니 우리가 고객들을 더 잘 알게되었다. 또 환경 관련 행사에 자주 가다보니까, 점점 우리 고객층의 페르소나들이 환경에 많은 가치부여를 하고있다는 것을 알게되었다. 이 순간부터 사람들은 양철통을 좋아한다는 가설은 합의된 가설이 아니였다.


우리는 그래서, 감자 전분으로 만들어진 100% Bio-degradable 인 포장재로 우리 차를 포장하기 시작했다. 아무도 우리 외에는 이런 포장재를 생각조차 하지 않았었다. 하지만 이런 포장을 20명의 주요 고객들에게 보여줬을 때 충분히 긍정적인 피드백을 받았고, 그냥 그 순간 검증이 되었으니 바꾸기로 선택했다. 박스도 종이가아닌 유기농 Jute로 만들어진 파우치도 사용했다. 환경을 위한 선택들이었고, 고객들의 니즈를 반영해본 선택이였다. 객관적으로 검증된 가설이였던가? 아니였을거다. 하지만 그 순간까지는 우리가 행동을 취하기에는 충분히 검증된 가설이였다.


다이버시티가 BEP를 뚫으면서 우리는 소비자들이 검증해줬어! 라고 하는 그때의 생각도, 사실 이런 결론을 바탕으로 한다면 그 당시에는 의미있는 것이었다. 린과 애자일의 핵심개념도 비슷하다고 느껴지는 한 이유는 시기에 따라, 상황에 따라 변화가 일어날 수 밖에 없다는 그 전제를 바탕으로 빠르게 시도하기 때문이다. 전제가 바뀌면 검증된 사실도 바뀌는 것이다.


결론적으로 스타트업을 하는 가운데, 우리는 "검증을 해서 객관적인 결론에 도달한다!" 보다도, "검증을 시도하면서, 어떤 것이든 그 시기적으로 우리 내부에서 합의된 인사이트를 얻어낸다!"에 있다. 검증은 그렇게 해야한다고 결론을 내렸다. 객관성은 결국 상대적인 개념이다. 범시대적으로, 객관적으로 검증된 사실이라는 것은 결국 만족할 수 없는 불가능한 조건이기에 그 시도 자체와 내부적인 합의에 목적을 두어야 한다는 것으로 방향을 바꿀 수 있었다.



빠르게 정리를 해보자면


- 린, 애자일은 상황이 매번 바뀌기에 고객을 중심으로 솔루션을 도출해야한다고 했다.

- 다이버시티는 린도 애자일 기반의 스타트업이 아니였고, 다만 최소의 돈과 최대의 효용을 고민하였다.

- 그러다보니 객관적인 검증이 무엇인가 늪에 빠져버리고, 결정을 내리기에 어려워지는 단계가 생겼다.

- 객관적 검증이 중요한 것이 아니라, 결국 무수히 검증을 하더래도 상황이 바뀌면 무쓸모더라.

- 그래서 우리는 검증은 그냥 무한하게 지속적으로 해야만 한다.

- 객관적 결론을 내리는 것이아니라, 우리들 내부에서 합의된 결론/가설을 도출하기 위해서.


어떻게 검증할 것인가?

무한하게 또 지속적으로, 내부적인 합의가 이뤄질 때 까지만, 상황이 매번 바뀐다는 사실을 전제하면서.

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari