실패한 실험은 없다.
실패가 주도하는 실험 문화
출처: 나무위키노노그램을 하면은 중간에 중간에 주어진 정보만으로는 해결 못 하는 표도 나오거든요.
그런 표는 어떻게 해야하면요.
이것처럼 이론을 만들어야 돼요.
(중략)
(풀다가) 대체로는 맞는데 설명을 못 하는 게 있네?
그럼 그냥 다시 돌아가는거야.
궤도님과 침착맨님께서 '천동설은 과연 무의미할까?'라는 주제로 이야기 하시다가 나온 말씀입니다.
해당 영상에서 궤도님께서는 지동설이 사실로 밝혀졌다고 해서 천동설이 무의미하진 않다고 하셨습니다. 천체를 중심에 놓고 동심원을 그리는 방법은 천동설에서 많은 영감을 줬을 가능성이 있으니까요. 만약 천동설이 먼저 있지 않았다면, 지동설을 주장했던 학자들이 천체 모형을 생각해내는데에는 얼마나 더 많은 시간이 걸렸을지는 아무도 모르는 사실입니다.
이에 대해 침착맨님께서 노노그램에 빗대어 멋지게 비유하셨습니다. 실험은 노노그램처럼 추리를 하다가도 가설에 맞지 않는 경우가 있을 때는 다시 가설을 세우고 시작하면 되는 것입니다.
물론 기각된 가설이 무쓸모한 것은 아닙니다. 아니 오히려 그 가설이 틀렸다는 사실을 알았다는 건 큰 발견입니다. 그 가설을 토대로 큰 일을 하기 전에 미리 손실을 방지할 수 있고, 기각된 가설로부터 굉장히 큰 단서를 발견할 수도 있거든요.
비단 이 비유는 우주론같이 학술적인 실험에서만 적용되는 건 아니라고 생각합니다. 제가 속한 조직의 실험 문화를 바꾼 터닝포인트는 실패에 대한 해석을 하며 시작되었거든요.
오늘은 우리의 실험을 실패가 주도하기까지의 과정을 말씀드리겠습니다.
성공이 주도했던 실험 문화
초기 우리의 실험 프로세스는 지금과 큰 차이는 없었습니다. 데이터를 통해 상관관계를 찾고, 가설을 세우고, 성과를 확인하는 것이죠. 다만 차이가 있다면 가설이 채택된 실험은 박수를 받고 기각된 실험은 철저하게 외면을 받았다는 것입니다.
언뜻 보면 아무 이상이 없는 프로세스인 것 같긴 하다.우리는 성공을 해내기 위해 많은 가설을 도출하고 실험했습니다. 그리고 성과도 있었습니다. 한 번은 간편 로그인 추가를 했다는 것만으로도 로그인 스텝에서의 이탈을 20%p나 감축한 적도 있었습니다.
이렇게 보면 아름다운 이야기 같지만 크나 큰 문제가 있었습니다. 우리의 프로덕트는 특정 퍼널에서 대부분의 유저가 이탈하는 양상을 보였는데, 이렇게 많은 것들을 바꾸고도 이 현상이 변하지를 않았다는 것입니다.
더 문제인 것은 이렇게 실험을 했는데도, 이 원인에 대해 도무지 알 수가 없었다는 것입니다. 우리의 실험은 부분적인 성과에만 몰두했고, 이것이 왜 그런지에 대한 부분은 빠져있었습니다. 문제가 있으면 해결하고 다른 부분의 문제로 넘어가기 급했죠.
단편적인 실험은 단편적인 성과를 내는게 대부분이다.이러다보니 수평적인 성과는 늘어갔지만, 그것들이 연결되지 못하고 결국 핵심 문제를 해결하지 못하고 있었습니다. 그래서 우린 바뀌기로 했습니다. 실험이 성공했던 실패했던 '왜 이런 결과가 나왔을까?'에 많은 집중을 하기로요.
실패가 주도하는 실험 문화
실패가 어떻게 우리의 실험을 이끌까요? 실패한 실험은 어떠한 액션을 만들지 못하는데 말이죠.
우리는 실패한 실험을 토대로 실패한 이유를 유추해볼 수 있습니다. 그리고 이는 후속 가설이 되어 다음 실험의 큰 단서가 되어주죠.
아래 실험은 탐색활동량(상품페이지를 왔다갔다 하는 행동)과 특정 퍼널 전환율과의 관계를 알아보기 위한 실험입니다. 이미 이 두 변인들은 상관관계가 있다는 것은 분석되었으나, 인과관계는 모르기 때문에 이를 위해 실험을 진행하게 되었습니다.
하지만 유저의 탐색활동을 강제적으로 통제하는 것은 불가능하기 때문에, 메인 상품 노출 수를 극대화함으로써 탐색활동을 올리려했습니다.
물론 이 가설이 유의하다고 한들 이렇게 메인에 상품을 늘어놓는 형태로 변경을 할 것은 아니었습니다. 이렇게 복잡한 메인화면을 선택한다는 것은 쉽지 않은 일이죠.
하지만 이러한 실험을 한 이유는 그 동안 탐색 활동을 통제하기 위해 다른 변인들을 다양하게 조정해보았지만 모두 탐색량을 유의하게 바꾸진 못했기 때문입니다.
이전의 우리였다면 성공을 한다 해도 의미가 없는 실험이기 때문에 진작에 그만 뒀을 실험이었지만 이번에는 실험의 목적을 결과에 두지 않고 '순수하게 탐색활동량과 퍼널 전환율과의 관계를 파악하자'고 정했기 때문에 이러한 실험을 강행할 수 있었던 것입니다.
A안: 원안 | B안: 대안(상품 노출 수 극대화 버전), 예시결과는 아쉽지만 이번에도 우리의 예상은 이번에도 빗나갔습니다. 메인에 잔뜩 상품을 올려도 유저들의 탐색 활동량은 유의하게 변하지 않았죠. 심지어 B안의 전환율은 오히려 23%나 낮게 측정되었습니다. 맞습니다. 철저하게 실패한 실험입니다. 기본 전제부터가 틀렸죠.
하지만 우리는 기뻐했습니다. 이것은 해당 퍼널이 영향을 받은 첫 번째 사례였기 때문입니다.
무엇이 영향을 줬을지는 모르지만 어찌됐든 그것만 알아내면 우리는 그 퍼널에 영향을 줄 수 있을 것입니다. 그리고 그 후보는 매우 좁혀졌습니다. 보여준 상품의 양이거나, 보여준 상품의 질이거나, 아니면 복잡한 UI거나. 이전과 비교하면 굉장히 간단해진 선택지입니다.
그렇다면 이제 어떻게 하면 될까요? 다시 후속 가설을 만들어 실험하면 되는 것입니다. 이전 실험문화와 다른 연속적인 실험의 진행. 이것이 우리 실험 문화의 가장 큰 변화입니다.
그리고 이 실험 또한 또한 이전의 실패한 실험들의 분석 결과를 토대로 진행했던 것이었습니다. 결국 수많은 실패들이 이어져, 전혀 관련이 없을 것 같았던 메인화면과 특정 퍼널이 관계가 있다는 것을 밝혀낸 것입니다.
핵심문제에 다가가기 위해서는 수많은 실패가 필요하다.마치며
핵심 문제는 생각보다 복잡한 노노그램 그림 같은 것입니다. 단순히 점만 찍는다고 해결되지 못하는 경우가 많죠. 그럴 땐 침착맨님의 말처럼 팀만의 이론을 만들고 그림을 이어나가가야 합니다.
설령 그 길이 틀린 길이라고 밝혀지더라도 괜찮습니다. 그 방법이 틀렸다는 사실은 안 것만으로도 큰 발견이기 때문입니다. 그리고 때론 그 실패들이 이어져 새로운 길을 보여줄 수도 있습니다. 그래서 실패한 실험은 없는 것입니다.
처음 데이터 분석가가 되었을 때는 책에서 보여주는 놀라운 실험의 사례들을 보고 실험만 한다면 마법같은 일들이 펼쳐질 줄 알았습니다. 하지만 요새 그러한 사례들을 접할 때 드는 생각은 '이 조직은 이 성과를 위해 얼마나 많은 분석과 실패를 했을까?'입니다.
찰나의 인사이트로 Big Win을 만들어내는 경우는 거의 없는 것 같습니다. Small Win들이 모여 결국 큰 성과를 만들어 내는 것이 실험 문화의 핵심임을 점점 깨닫고 있는 중입니다.
실패할 것을 알면서도 변화에 도전하는 모든 분들을 응원합니다 :)
