brunch

You can make anything
by writing

C.S.Lewis

by tison Sep 26. 2022

[TIL 3] 프리토타입 테스트의 핵심

Lean Startup 정신이 확산된 이후, 스타트업계에서 하나의 정론으로 자리잡았다. 린 스타트업, 애자일 방법론, 린 분석, 린 고객개발 등등 관련 방법론도 많이 발전되었다.

린스타트업 사상의 핵심은 제품의 군더더기를 없애고 최소기능제품(MVP)을 만들어서 시장에 빠르게 출시한 뒤, 고객과 빠르게 접촉-학습-가설검증-새로운가설 수립하는 루프를 반복하여 PMF를 찾아간다는 것이다.사실 이 개념은 이제 너무나 당연해져서, 특히 B2C 사업에서는 린스타트업을 추구하지 않는 팀을 찾아보기 힘들다.

프리토타입(Pretotype) ?

린스타트업에서는 '프로토타입'을 개발하라고 하는데, 한술 더 뜬 개념이 '프리토타입'이다. 구글 공동창업자 알베르토 사보이아가 그의 책 'The Right it(한글판:아이디어불패의 법칙)'에서 주창한 개념인데, 프로토타입을 만들기도 전에 사업아이디어가 될 아이디어인지 최소 리소스로 테스트하고 학습하라는 개념이다.

프리토타이핑에는 여러 종류가 있는데, IBM이 1970년대 활용한 Mechanical Turk 방식이 이 개념을 가장 잘 설명해주는 것 같다.

IBM의 Mechanical Turk 테스트

당시 IBM은 음성을 텍스트로 자동 변환해주는 기기 개발을 검토하고 있었는데, 당시의 기술력으로 이를 개발하는 것은 공수가 상당히 많이 드는 일이었다. 공수가 많이든다 = 돈이 많이든다 이므로, 이걸 바로 개발하기 보다는 마치 음성 인식 기계가 이 기능을 구현하는 것처럼 테스트를 먼저 시행했다. 테스트에 참가한 고객은 앞에 놓인 기계가 음성인식 기계라고 생각하고 열심히 말을 하면, 기계 뒤에 몰래 들어가있는 사람이 고객의 말을 받아 적고 화면에 표시해주는 방식이었다. IBM은 프로토타입조차 개발하지 않았지만, 사람들이 실제로 아이디어를 경험할 수 있도록 한 것이다.

프리토타이핑 개념도 등장한 이후 큰 반향을 일으켰고, 실제로 초기 창업팀들이 많이 활용하고 있는 방법론이다. 나도 프리토타입의 신봉자인데, 실무에서 이 개념을 적용하다보니 여러 주의점/한계점을 느끼고 있다.

1. B2B에서 적용하기 힘들다.

B2B도 어떤 사업이냐에 따라 적용가능한 범위도 있겠지만, 구체적인 기획이 나오지 않은 상황에서는 영업하기 힘들다. IT 분야라면 적어도 화면정도는 나와야 영업해볼 수 있을 듯 하다.

2. 리소스 효율에 대한 고민

리소스 효율적이라는 이야기는 적은 자본/시간/노력을 투입해서 많은/적합한 데이터를 모은다는 의미인데, 사실 리소스 투입량과 결과의 정확성은 비례해서 이 리소스 효율적인 테스트 방식을 설계하는게 핵심 역량이다. 특히 기능단위의 테스트는 제품출시 전 단계여도 프리토타입보다 A/B 테스트가 훨씬 리소스 효율적인 경우도 있다. 배보다 배꼽이 큰 경우가 있기 때문에, 무작정 이론을 신뢰하기보다 제품 출시 후 A/B 테스트로 돌리는 것이 나을지 판단해봐야한다.

3. 테스트 결과의 해석

동일 아이디어에 대해 여러번의 테스트가 필요하다. 보통 5번의 테스트를 이야기하는데, 이 횟수는 그 사업에 얼마나 기대를 걸고 있는지/ 1,2,3회차 테스트 결과가 얼마나 align되어 있는지/가용가능한 자원이 얼마인지에 따라 달라진다. (나도 지금 1, 2회차 테스트가 다르게 나오는 부분이 있어서 살짝 미칠(?)지경인데 원인이 빠르게 찾아졌으면 좋겠다)

4. 브랜드 가치 & 법적문제

프리토타이핑 종류 중 Fake Door(제품이 없는데 있는척 하고 주문받는것) 나 Infiltrator(잠입자)를 활용할 경우 법적인 문제나 브랜드가치의 하락이 발생할 수 있다.

완전 초창기 창업팀이면 브랜드가치 하락 문제는 없을 수 있으나, 이미 활성화되고 있는 사업 인프라를 활용한다면 프리토타입 적용에 있어서 매우 신중하게 검토하고 접근해야한다.

잠입자 프리토타입은 법적 이슈가 발생할 수 있기 때문에, 검찰청까지는 다녀올 각오를 미리 해두는 것도 좋을것 같다. (책에 나온 IKEA에 몰래 물건 배치해두는 정도는 영업방해로 고소당해도 기소유예나 약식벌금처분(?)정도 받지 않을까? 아님말고)

5. 데이터 연관성, 무결성

최소 리소스로 데이터를 수집하여 사업 타당성을 검증하는 것이 이론의 핵심인데, 데이터 수집을 위해 기본적인 통계학 지식을 공부해야한다. 적어도 A/B 테스트할 정도의 통계개념(귀무가설이 무엇이고, P-Value가 무엇이고, 선형회귀분석이 무엇인지)정도는 알아야 복합적인 테스트가 가능할 듯 싶다. (테스트 종류에따라 통계지식이 아예 필요없을수도 있다)

+ 로그 분석을 위한 GA 기본 개념도 필요함

역시 이론으로 접할때는 너무나도 완벽해보이고 무릎을 탁! 치게하는 내용이었지만 막상 실행에 옮기다보니 여러가지 난관들이 많이 있는 것 같다. 이래서 간접경험보단 직접 경험이 중요하다는걸 다시한번 느낀다!