기회-해결책 트리 만들기 7단계: 가설 실험하기
Continuous Discovery Habits
이 글은 Teresa Torres의 Continuous Discovery Habits 내용을 번역, 의역 및 재구성한 글입니다.
"좋은 실험은 결함을 가진 가설을 없애준다. (성과가 적은 실험으로부터 미련없이, 집착없이 떠날 수 있게 해주기 때문에) 우리는 계속해서 실험하고, 추측할 수 있게 된다."
- 칼 포퍼, 영국-오스트리아 과학철학자
우리는 3가지 정도의 해결책 아이디어를 선발하고, 각 해결책이 지닌 가설을 캐낸 상황일 것이다. 캐낸 여러가지 가설들을 정리하고 분류하여, 실험을 효율적으로 진행하는 방법을 알아낼 필요가 있다.
가설간에도 관계와 층위가 있다
가설 중에는 해결책 아이디어의 존속을 결정하는 뿌리가 되는 가설이 있을 것이고, 그 가설이 증명되어야만 의미가 있는 종속 가설들이 있을 것이다. 또한, 한 아이디어 내의 가설이 아니라 각 아이디어(다루는 해결책이 3가지 정도이기 때문에)간 존재하는 가설들의 공통점과 차이점이 존재한다. 이러한 거시적/미시적 관점에서 가설들을 비교/대조하면서 실험을 빠르고 효율적으로 만들 수 있도록 정리하는 과정이 필요하다.
가설의 옳고 그름의 기준은 무엇이 되는가?
실험을 진행하기 전에, 가설을 기각할 기준을 만드는 것이 중요하다. “어떤(몇몇) 사람들이 사용하면 증명된다.”와 같은 기준을 적용하면 사람마다 가설을 수용할지, 기각할지 의견이 분분할 것이다.
이러한 상황을 피하기 위해서는, 평가 기준을 명확하게 잡는 것이 좋다. “최소한 10명 중 3명이 스포츠 서비스를 클릭한다.”와 같이 구체적인 수치로 잡는 것이 중요하다. 그러면 궁금해질 것이다. ‘그 숫자는 어떻게 정해야하지?’
숫자는 주관적으로 정하면 된다. 우리는 어떤 법칙을 만드려는 것이 아니다. 우리의 목적은 (1) 빠른 실험을 통해 (2) 위험(risk)을 줄이는 것이다. 우리가 얻을 수 있는 가능한 표본 선에서의 기준을 만들어내면 되는 것이다. 우리의 실험은 완벽한 법칙을 찾기 위해서가 아니라, 성과를 낼 수 있는 기회들을 빠르게 훑어보는 것임을 잊지 말아야 한다. 우리의 기회 검증은 가역적이다. 우리는 다시 이 기회를 검증하러 되돌아올 수 있는 기회가 있다.
경험을 제공하는 실험을 진행하고, 행동을 관찰하라
가설을 시험하는 목적은 우리가 만들고자 하는 해결책의 아이디어에 대한 증거를 얻기 위해서다. 그 증거는 사람들이 ‘생각’하거나 ‘말’한 것이 아닌, 사람들의 실제 삶의 맥락에서 실존하는 유효한 데이터가 되어야 한다. 실존하는 유효한 데이터는 실험 안에서 비슷한 경험을 제공함으로써 가능할 수 있다.
*같은 맥락으로, 인터뷰에서도 삶의 맥락에 최대한 접근한 증거를 얻기 위해 ‘이야기’를 물어본다.
예를 들어, ‘스포츠 프로그램을 스트리밍한다.’라는 가설에 대한 실험 방법은 매우 다양하다. 홈화면에 스포츠 프로그램을 홍보하는 배너를 만들어 클릭수를 볼 수도 있고, 피드백 모달을 띄워 스포츠 스트리밍 서비스에 대한 좋아요/싫어요 수를 수집할 수도 있다. 혹은 좀 더 정성을 들여, 실제로 스포츠 스트리밍을 프로모션식으로 진행해보는 것도 방법이다.
하지만 명심해야할 것은, 우리의 실험은 ‘작고 빨라야’한다. 실험은 길어야 며칠이어야지, 주단위로 넘어가서는 안 된다. 실험을 하는 이유는 단순히 가설을 폐기하기 위함이 아니다. 현 시점에 적정해보이는 기회들을 빠르게 확인해보고, 반복적으로 검증하여 위험을 줄이기 위해서다.
잘못된 긍정과 잘못된 부정의 가능성을 인지하라
작고 빠른 실험은 완벽하지 않기 때문에, 한계 사항을 명확히 알고 있어야 한다. 예를 들어, 실험에 참여한 사용자가 모두 우연히 ‘스포츠를 극혐하는 사람들’일 경우 말이다. 이런 경우가 우리의 귀중한 사업 기회를 날리지 않을까 걱정될 것이다.
여기서 ‘반복’의 가치가 발현된다. 우리는 3가지 정도의 해결책 아이디어의 가설들을 검증하는 과정에서 공통 가설인 ‘구독자들은 스포츠 프로그램을 보고 싶어 한다.’를 최소 3번 이상 확인해보게 된다. 반복을 통해 표본의 오류 가능성을 줄여나가는 것이다.
또한, 실험을 진행하는 서비스의 위치를 다양화 하는 것도 좋은 방법이다. 이를 삼각 측량(triangulation)이라고 하는데, 여러 데이터 포인트에서 가설을 증명하기 위해 실험을 진행하는 것을 의미한다. 예를 들어, 위의 예에서는 홈화면에서의 실험방법들이었지만, 사람들이 영상을 시청한 후 볼만한 영상을 추천하는 화면에서 스포츠 선택지를 제공하는 방식으로도 실험이 가능하다.
우리는 과학자가 아니다
제품 사업을 한다는 것의 의미는 뭘까? 새로운 이론이나 진실을 밝혀내는 것이 목적이 아니다. 우리는 사람들의 삶을 더욱 진척시킬 제품을 만든느 것이다. 사람들이 의미있게 상호작용할 제품이나 서비스 말이다.
물론 우리가 ‘실험’이나 ‘증명’같은 단어를 쓰긴 하지만, 정말로 과학적인 ‘증명’을 바라는 것이 아니다. 우리는 ‘학습’을 하기 위해서 실험을 하는 것이다. 주객전도가 되어, 정말 연구자가 할법한 실험으로 변질되기 시작되는 것 같다면 한발짝 물러나 다시 생각할 필요가 있다.
