좋은 가설을 세울 때 꼭 필요한 매개변인과 조작적 정의

PM으로 일하면서 가장 자주 듣는 말 중 하나가 '좋은 가설이 중요하다'는 것입니다. 그럴 때마다 공감하곤 하지만, 막상 '좋은 가설이 무엇이냐?' 라고 물으면 설명하기가 쉽지 않더라고요. 매일 하는 일이 문제를 정의하고 좋은 가설을 세우고, 문제를 해결하고, 검증하는 일이지만 여전히 좋은 가설을 세우는 것이 어렵기도 합니다. 하지만 지금, 가설을 세울 때 꼭 고려하는 것이 있는데 바로 조작적 정의를 하는 것입니다. 오늘은 제가 했던 경험을 회고하면서 조작적 정의에 대해서 기록하려고 합니다.  

1. 조작적 정의란.

조작적 정의는 실험 심리학에서 자주 사용되는 개념으로, 추상적인 개념을 측정 가능하게 구체적으로 정의하는 것을 의미합니다. 심리학에서는 인간의 감정과 행위를 다루는 학문으로 주로 측정하기 애매한 질적인 데이터가 많습니다. 예를 들어, 행복이나 스트레스 같은 것이죠.

주로 사용자를 다루는 IT 제품에서도 비슷합니다. 전환율, 결제 속도와 같이 명확한 수치로 판단할 수 있는 것도 있지만, 우리의 가설은 그렇게 단순하지 않습니다. 왜냐하면 제가 생각하는 좋은 문제 해결이란, 단순히 결과적인 수치만을 변화시키는 것이 아니라, 사용자의 행동에 대한 이유를 추론하고 사용자의 행동에 대한 매트릭을 변화시켜야 하기 때문이에요.

2. 좋은 가설과 매개 변인에 꼭 필요한 조작적 정의. 

예를 들어서 위와 같은 결론이 있다고 가정할게요. 제품에서 사용자가 작성하기 쉽게 차량에 대한 가이드를 줬고 결과적으로 결제 전환율이 상승했습니다. 너무나 좋은 결과이지만, 우리가 레슨을 얻고 다음 실험에 반영하기 위해서는 조금 더 구체적인 가설 정의가 필요합니다. 저 물음표 영역에 대한 사용자 행동들이요!

저는 다시 위와 같이 구체화해봤습니다. 그리고 3가지 가설을 도출할 수 있습니다. 

1-1. 차량에 대한 가이드를 줬을 때, 사용자의 고민 행동을 감소 시켜서 결제 전환율이 상승했다.

1-2. 차량에 대한 가이드를 줬을 때, 상세한 설명으로 인해서 신뢰감이 향상되었고 그로 인해 결제 전환율이 상승했다.

1-3. 차량에 대한 가이드를 줬을 때, UI/UX 개선으로 인한 사용성이 증가했고 그로 인해 결제 전환율이 상승했다.

원인과 결과는 같은데, 매개 변인(중간 변수)이 다릅니다. 원인 (솔루션)과 결과 (수치적인 변수)는 측정하기가 쉬우나, 사용자의 행동을 의미하는 이 매개 변인은 모두 측정하기 어려운 질적이고 추상적인 변수라서 어떤 가설이 정답인지 알기 어렵습니다. 이때 조작적 정의를 사용합니다. 

3. 일단 가설을 세우고, 수치화 해보기.

앞서 언급한 가설에 조작적 정의를 입혀보겠습니다,

매개 변인을 가장 잘 나타낼 수 있는 측정 가능한 수치 2~3개로 정의를 해봤는데요. 어떤 매트릭이 변화했냐에 따라서 어떤 고객 행동 (매개변인)에 영향을 줬는지 파악할 수 있게 됩니다. 따라서 단순히 '결제 전환율을 상승시켰다'만 알아내는 것이 아니라 가장 크게 변화한 매트릭을 기준으로 결정적인 원인을 찾아낼 수 있습니다.  

.

 

결론.

스타트업에서 많은 Growth 실험을 하면서 항상 느끼는 것이 있는데요! 실험을 실패하더라도 의미 있게 실패하고 싶다는 생각을 합니다. 그리고 실험이 성공하더라도, 단순히 metric만 변화시키는 것이라면 그 효용이 작다고 믿고 있습니다.

따라서 개인적으로 더 좋은 가설, 실패하더라도 의미 있는 lesson을 얻기 위해서 가설과 문제를 계속해서 다듬는데요. 결론적으로는 원인과 결과를 잇는 매개 변수를 찾는 것, 그리고 증명하기 위해서 조작적 정의를 하는 것, 이 두 가지가 지금까지는 저에게는 되게 유효한 것 같습니다. 제 글은 여기까지입니다.