논의를 종결시키는 'A/B 테스트해보자'

스타트업 기획자의 내맘대로 팁

요근래 A/B테스트를 많이 했다. 전환율을 측정하는데 문구를 변화시켜 ABCD 테스트도 해보고 optimizely를 사용해서 시안 A, B를 만들어서 진행하기도 했다. 이전에는 페이스북 마케팅을 하면서 자연스럽게 A/B테스트 접했던 것 같다. 또 스타트업은 데이터와 테스트가 대세기 때문..

논의를 종결시키는 마법의 한마디,

'그럼, 테스트해보자!'

A/B테스트를 진행하면서 좋았던 것은 추측이 난무하는 탁상공론을 줄일 수 있었다는 것이다. A가 맞는지 B가 맞는지 신나게 서로 목소리를 높이다가도 누군가 '그럼 테스트해보자!'라고 말하면 누구도 불만 없이 '그래! 그러자'라고 말했다.

A로 테스트할지 B로 테스트할지 정할 필요도 없었다. 그냥 다 하면 되니까.

테스트가 만능은 아니다.  

만능일 수도 있다. 테스트는 'A가 50% 전환되었고 B가 30% 전환이 되었어.'라고 숫자로 명백하게 답을 알려준다. 논리를 가지고 말로만 설득하는 것보다 확실하다.

하지만 언제나 그렇듯 우리에게 리소스는 한정되어 있다. 그래서 테스트를 하는 게 항상 최선의 답이 아닐 수 있다.

회의에서 테스트를 하기로 결정하면 테스트하고자 하는 시안 A, B를 정하고 디자인을 2개 이상 만들고 어떤 툴로 트랙킹을 할지 GA, Optimizely 혹은 정 안되면 DB 중 하나 이상을 택해서 테스트를 돌려 보고 결과를 확인하고 결과를 정리해서 팀원 혹은 회사와 공유하고 더 나았던 A혹은 더 나을 것 같은 C까지 만들어서 테스트를 돌린 후 최종적으로 좋았던 C를 반영하는... 시간이 드는 작업이기 때문이다.

'정말 이 테스트는 필요할까?'

가설의 결과를 확인하는 것이 꽤 재미있었다. 크게 상충되는 의견이 아니더라도 확실히 하고 싶어서 테스트를 하기도 했다.

하지만 테스트 가설을 세우고 결과를 확인하면서 우리가 세운 가설이 맞다는 것을 반복적으로 확인했을 때는 이 테스트를 꼭 해야 했을까라는 의문이 자연스레 들었다. 'A가 더 전환율이 높을 것이다.'라고 했더니 A가 높았다. 'B로 변경하면 10% 이상 개선이 될 것이다.' 개선이 되었다.

그래서 이전에는 테스트를 해 보자 하면 '그래, 테스트로 확인해보자.'답이 절로 나왔다면 요즘은 '이 테스트가 꼭 필요할까?'라고 대답한다. hmm... umm... 혹은 침묵이 이어져도 좋다. 정말 이 질문이 필요하다.

옳다고 생각한 것이 생각일 뿐이더라도 가장 좋은 답일 수도 있다. 설득만으로 좋은 결정을 할 수 있다면 이 방법이 테스트보다도 빠르다.

그래도 A/B테스트는 짱이다. 어쩌라는..

때로 테스트에 들인 시간이 아까울 때도 있다고 했지만 A/B테스트는 짱이다. 명확하게 좋은 의사결정을 할 수 있다는 것이 가장 큰 장점이고, 예상했던 결과가 나오더라도 '그럴 것 같아.'와 '정말 그래'라고 확신할 수 있는 것은 다르며, 이렇게 명확해진 경험은 다른 결정에도 도움이 된다.

의견이 분분하고 각자의 논리도 그럴 듯한 사안이라면 바로 테스트를 해보는 것이 빠른 방법인데다 (길게 이어졌을지도 모르는 논의에 비해) 배움까지 선물한다. 말로만 우기기쟁이는 데이터드리븐 세상에서 더이상 우길 수 없게 된다... 틀렸다는 것을 확인하는 것도 아주 중요하다.

두 가지 방법이 있을 것 같다. 테스트해야 할 여러 가지 들 중에서도 우선순위를 잘 정하고 전체 업무의 우선순위를 잘 정해서 필요한 테스트를 진행하는 것.(나에게 하는 말) 그리고 테스트 진행 프로세스에 더 익숙하고 노련해져서 테스트 비용을 줄이는 것.