"좋은 가설"을 세울 때 꼭 필요한 조작적 정의
PM으로 일하면서 가장 자주 듣는 말 중 하나가 '좋은 가설이 중요하다'는 것입니다. 그럴 때마다 공감하곤 하지만, 막상 '좋은 가설이 무엇이냐?' 라고 물으면 설명하기가 쉽지 않더라고요. 매일 하는 일이 문제를 정의하고 좋은 가설을 세우고, 문제를 해결하고, 검증하는 일이지만 여전히 좋은 가설을 세우는 것이 어렵기도 합니다. 하지만 지금, 가설을 세울 때 꼭 고려하는 것이 있는데 바로 조작적 정의를 하는 것입니다. 오늘은 제가 했던 경험을 회고하면서 조작적 정의에 대해서 기록하려고 합니다.
1. 조작적 정의란.
조작적 정의(Operational Definition)는 추상적인 개념을 구체적이고 측정 가능하게 정의하는 것을 말합니다. 실험 심리학에서 자주 사용되는 개념인데요. 예를 들어서 심리학에서 가장 많이 다루는 '행복', '스트레스' 같은 말은 누구나 이해할 수 있지만, 실험에서 쓰려면 수치화된 기준이 필요합니다. 따라서 '하루 웃은 횟수', '심박수' 같은 정량적 수치로 측정합니다.
이 개념은 IT 제품에서도 똑같이 적용됩니다. 전환율, 클릭률처럼 수치화된 결과 지표도 있지만, 우리가 다루는 가설은 훨씬 더 복잡하고 추상적입니다.
좋은 실험과 문제 해결은 단순히 지표를 끌어올리는 것이 아니라, 사용자의 행동과 그 이면의 이유를 파악하고, 그 행동 자체를 변화시키는 데 있다고 생각합니다. 그렇기 때문에 조작적 정의는 더더욱 중요해집니다.
2. 좋은 가설에 매개 변인이 필요한 이유
예를 들어서 위와 같은 결론이 있다고 가정할게요.
차량 정보를 쉽게 선택할 수 있도록 가이드를 줬더니 결제 전환율이 상승했다.
좋은 결과이지만, 이 실험만으로는 왜 전환율이 상승했는지는 알기 어렵습니다. 누군가는 UI/UX가 예뻐져서, 또한 누군가는 가이드를 읽고 사용자가 고민을 줄일 수 있어서, 또 누군가는 가이드 자체만으로 서비스에 대한 신뢰감이 향상해서 등등 여러 의견들이 나올 수 있습니다.
따라서 실험 설계 단계에서 인사이트를 얻기 위한, 조금 더 구체적인 가설 정의가 필요합니다.
저는 최초 가설을 3가지로 다시 구체화해봤습니다.
1-1. 차량에 대한 가이드를 줬을 때, 사용자의 고민 행동을 감소시켰고 그 결과 결제까지 시간이 단축되어 결제 전환율이 상승했다.
1-2. 차량에 대한 가이드를 줬을 때, 상세한 설명을 통해 신뢰감을 높였고 그로 인해 결제 전환율이 상승했다.
1-3. 차량에 대한 가이드를 줬을 때, UI/UX 개선으로 인한 사용성이 증가했고 그로 인해 결제 전환율이 상승했다.
이 세 가설은 모두 같은 ‘원인’과 ‘결과’를 가지고 있지만, 중간의 매개 변수가 다릅니다. 그리고 이 매개 변수들은 대부분 질적이고 추상적이기 때문에 직접 측정하기 어렵죠. 여기서 조작적 정의가 필요해집니다.
3. 매개 변수를 수치로 정의하는 것
앞서 이야기한 것처럼, 좋은 가설은 원인(솔루션)과 결과(지표 변화) 사이에 있는 사용자의 행동 변화, 즉 매개 변인을 잘 정의하는 데서 시작됩니다. 문제는 이 매개 변인이 대부분 정성적이라는 점이죠.
그래서 저는 실험 설계 단계에서 항상 고민하고 수치화하는 작업을 거칩니다.
“이 사용자의 행동을, 어떻게 수치화해서 관찰할 수 있을까?”
예를 들어볼게요.
가설 1-1. "차량에 대한 가이드를 제공하면 사용자의 ‘고민 행동’이 줄어들고, 결제 전환율이 상승할 것이다."
이때 '고민 행동'이란 뭘까요?
그리고 어떻게 줄어들었는지를 정량적으로 관찰할 수 있을까요?
저는 이 ‘고민 행동’을 이렇게 조작적으로 정의해봤습니다:
차량 수정 횟수 감소
차량을 선택할 때까지의 전환 속도
이 지표들이 모두 감소했다면, ‘고민하지 않고 한 번에 입력하고 넘어갔다’는 행동 변화를 어느 정도 추정할 수 있습니다.
또 다른 예시로,
가설 1-2. "상세한 차량 설명이 신뢰감을 높여 전환율이 상승한다."
이때 ‘신뢰감’이라는 추상적인 개념은 아래처럼 수치화할 수 있습니다:
고객 리뷰 개선
레퍼럴 개선
문의 감소
이렇게 조작적 정의를 통해 매개 변인을 수치로 바꿔놓으면, 실험 결과 해석이 훨씬 명확해집니다
만약 나머지 지표는 다 그대로지만 차량 수정 횟수가 크게 감소하였다면?
“앞으로도 고민 행동을 감소하는 방식으로 전환율을 상승시켜야겠구나”
이런 식으로 무엇이 진짜로 효과를 발휘했는지, 다음 실험의 방향성을 어디에 둘지를 판단할 수 있게 됩니다.
즉, 어떤 매트릭이 변화했냐에 따라서 어떤 고객 행동 (매개변인)에 영향을 줬는지 파악할 수 있게 됩니다. 따라서 단순히 '결제 전환율을 상승시켰다'만 알아내는 것이 아니라 가장 크게 변화한 매트릭을 기준으로 결정적인 원인을 찾아낼 수 있습니다.
.
결론.
스타트업에서 많은 Growth 실험을 하면서 항상 느끼는 것이 있는데요! 실험을 실패하더라도 의미 있게 실패하고 싶다는 생각을 합니다. 그리고 실험이 성공하더라도, 단순히 metric만 변화시키는 것이라면 그 효용이 작다고 믿고 있습니다.
따라서 개인적으로 더 좋은 가설, 실패하더라도 의미 있는 lesson을 얻기 위해서 가설과 문제를 계속해서 다듬는데요. 결론적으로는 원인과 결과를 잇는 매개 변수를 찾는 것, 그리고 증명하기 위해서 조작적 정의를 하는 것, 아직 완벽하진 않지만, 지금까진 이 방식이 제게 가장 유효했던 것 같습니다.
오늘의 회고는 여기까지입니다 :)
