당신의 실험은 어딘가 부족하다

성공과 실패, 그리고 통계보다 중요한 고객에 대한 발견

A/B test를 비롯해 제품팀은 여러 실험을 수행한다. 그리고 이를 위해 많은 고민이 이어지고, 오늘도 곳곳에서 실험에 관한 노하우나 조언을 담은  글과 이야기가 오고 간다.

예컨대 기획자나 PM이라면 가설의 명확함이 어떻고 좋은 지표가 어떻고, 분석가나 과학자라면 1종 오류가 어떻고 p-value가 어떻고 우선순위 관리가 어떻고 하는 이야기들을 모두 많든 적든 읽고 또 들어봤을 테다.

당연히 이런 논의는 더욱 논리적이고 정확한 검증을 위해 필요하다. 그런데 이거면 충분한 걸까? 최대한 논리적이고 기술 및 통계적으로 정확하기만 하면, 그래서 이런 실험을 최대한 많이 해서 성공이 쌓이면 되는 걸까?

애초에 기획자로서, PM으로서 우리는 왜 실험을 하는가?

"내 아이디어가 통계적으로 유의미하게 검증하기 위해서"는 낙제에 가깝다. 적어도 기획자로서는. 이 답은 기획자로서의 관점이 담긴 대답이 아닌 (대개) 기술의 영역이거니와, 모든 일이 통계적으로 검증될 수도 그럴 필요도 없기 때문이며, 비즈니스와 고객 관점이 모두 빠졌기 때문이다.

"제품 혹은 지표를 성장시키기 위해서"는 반쪽자리 정답이다. 기획자로서의 관점은 맞으나, 이는 너무 당연한 말이거니와 우리 욕심만으로 제품이 혼자서 성장하지 않기 때문이다. 비즈니스의 욕심만 있을 뿐 고객이 빠져 있다.

내가 배우고 또 체감했고 그래서 지금 생각하는 기획자 혹은 PM으로서의 가장 이상적인 답은 '고객'에 방점이 찍혀 있다. 고객에 대해 학습함으로써 우리 제품의 핵심 고객의 실체를 정의하고 이들에게 우리가 이상적으로 생각하는 활동을 촉진하기 위한 방안을 파악하기 위해서 우리는 실험을 한다.

제품과 서비스는 고객의 문제를 해결하고 가치를 제공해 그들이 바라는 이상적인 모습에 도달하게 돕는다. 그래서 맨 처음 시장의 문제, 혹은 제품의 문제를 발굴하여 이를 구체화할 때 우리는 몇 가지 가설을 세운다. (혹은 가설 수준에서 정의한다)

1) 우리의 고객은 누구고 (고객 페르소나와 세그먼트)

2) 그 고객이 경험하는 문제의 실체는 무엇이고

3) 이들이 바라는 문제가 해결된 성공의 모습은 무엇이며

4) 그러므로 제품이 제공하는 가치는 무엇이어야 하며

5) 이를 제공하는 수단과 방식은 무엇인가

6) 이를 우리는 어떤 지표로 드러내어 검증 및 판단할 것인가 혹은 이를 통해 우리가 고객에게 바라는 반응은 무엇인가

그러나 암만 깊게 고민해도 현실은 상상과 다르다. 그리고 고객의 말은 행동과 다르다. 그래서 우리는 실험을 통해 검증한다. 실제로 우리 고객은 누구인지, 그들의 진짜 문제와 바라는 건 무엇인지, 이걸 제공하고 촉진하기 위한 방안은 무엇인지.

이를 통해 고객에 대해 알게 되므로 고객 학습이라 부르는 것이고, 이는 0 to 1으로 MVP 단위의 새 제품이나 서비스, 기능을 출시하든 1 to 100 하는 과정에서 A/B 테스트를 하든.

다시 말해 실험은 단순히 실험 설계 단계에서의 논리의 정확성, 기술 및 통계적 무결성과 정합성, 성공 여부나 성공의 크기가 핵심이 아니라

이 실험을 통해 고객에 대해 알게 된 것은 무엇이며 여전히 모호하거니 모르는 것, 그러므로 추가로 검증해야 할 것은 무엇인지를 명확하게 도출해 내는 것이 핵심이 된다. 기술은 늘 그다음이다. 적어도 고객 관점을 빠트리지 않는 기획자나 PM으로서는 그렇다고 생각한다.