"A/B TEST, 해봤자 별로 티 나지 않는다고?."
그로스 해킹 에이전시, 오피노
투르 드 프랑스(프랑스어: le Tour de France, 즉 프랑스 일주를 뜻함)는 프랑스에서 매년 7월 3주 동안 열리는 세계적인 프로 도로 사이클 경기다. 최근 읽은 [아주 작은 습관의 힘]이라는 책에서는, 이 투르 드 프랑스에 참가한 영국 사이클팀의 이야기를 시작으로 책의 중심 논지를 전개해나간다.
이야기를 짧게 요약해보겠다.
투르 드 프랑스에 참가하는 모든 국가 대표팀의 목표는 같다. "금메달"이다. 당연한 이야기이다. 그렇다면 생각지 못한 질문을 해보자.
"모든 팀의 목표는 금메달인데 , 왜 어떤 팀은 좋은 성적을 기록하고, 어떤 팀은 최악의 성적을 기록할까? "
이 질문에 대한 대답이 이 책의 중요한 주제를 담고 있다.
2003년 어느 날, 영국의 프로 사이클 선수들은 매우 평범한 수준이었다. 1908년 이후 영국은 올림픽에서 금메달을 딱 한 개 땄을 뿐이며, 가장 큰 사이크 대회인 투르 드 프랑스에서는 110년 동안 한 번도 우승하지 못했다. 이런 상황에서 새롭게 부임하게 된 브레일 스퍼드 감독은 새로운 전략을 하나 개발해냈다. 이 전략의 이름을 "사소한 성과들의 총합"이라고 불렀다. 이것은 모든 일에서 아주 사소한 발전을 추구한다는 의미다.
브레일 스퍼드 감독과 그의 코치들은 그들의 사이클링 팀에 적용할 수 있는 아주 작은 일들로부터 하나씩 바꿔나갔다.
[감독이 바꾼 디테일]
1) 사이클 안장을 보다 편안하게 디자인했다.
2) 타이어는 접지력을 높이기 위해 알코올로 닦았다.
3) 선수들에게는 전기로 체온을 올리는 오버 쇼츠를 입혀, 사이클을 타는 동안 이상적인 근육 온도를 유지하게 했다.
4) 실외에서 연습할 때에는 더 가볍고 공기역학적으로 디자인된 선수복으로 바꿔 입었다.
그밖에 외과 의사를 고용해 손 씻기 방법을 가르쳐 감기 걸릴 확률을 줄였으며, 각각의 선수들이 어떤 베개와 매트리스를 사용했을 때 숙면하는지도 일일이 파악했다.
[결과]
브레일 스퍼드가 영입된 지 겨우 5년 만에 영국 사이클팀은 2008년 베이징 올림픽에서 압도적인 경기력을 보였다. 전 종목을 통틀어 60%의 금메달을 석권한 것이다. 4년 후 런던 올림픽에서는 아홉 개의 올림픽 신기록과 일곱 개의 세계 신기록을 경신했고, 영국 팀은 6년간 투르 드 프랑스에서 다섯 번 우승하는 기적을 만들어냈다.
어떻게 이런 일이 일어났을까?
어떤 중요한 순간은 과대평가되는 반면, 매일의 사소한 진전들은 과소평가되기 쉽다. 흔히 사람들은 무언가 대단한 업적을 이루어야만 성공할 수 있는 것으로 믿는다. 우리가 책을 읽는다거나, 운동을 하여 20kg 체중을 감량하거나, 선수권 대회에서 우승하기 위해서는, 지독하게 자기 자신을 통제하고, 꾸준히 고통을 감내해야 할 의지가 필요하다고 확신한다.
그렇기 때문에 , 1%의 성장은 그다지 눈에 띄지 않는다. 하지만 이는 무척이나 의미 있는 일이다. 특히 장기적인 관점에서 바라보면 1% 성장의 가치는 더욱더 크다.
많은 사람들은 지금 디지털 마케팅 시장에서 유행처럼 돌고 있는 그로스 해킹과 A/B Test에 의문을 제기한다. 실제로 많은 분들이 나에게 물어오는 내용이다.
"지난주 B페이지가 A페이지보다 전환율이 1% 정도 개선되었지만, 우리는 좀 더 극적인 변화를 원합니다."
"전환율이 개선되었다고 해도, 매출 자체가 그리 크지 않아, 체감이 안됩니다.'
"A/B 테스트가 정말 효과적인 것인지 잘 모르겠어요. "
그래, 매우 작은 변화다. 심지어 일주일 동안 공들여 실험을 했는 데에도 전환율이 0.2%밖에 안 올라간 적도 많기 때문이다. 다양한 세미나에서 케이스 스터디로 나오는 "극적인 전환율 개선"은 도저히 내 비즈니스에서는 나오지 않는 것 같다.
불편한 진실을 하나 공개하겠다. A/B 테스트의 대부분은 그다지 "극적"이지 않다. 그로스 해킹에 관심이 있는 사람이라면, 에어비앤비, 비트토렌트, 유튜브의 성장을 보고 "와! 저게 그로스 해킹이지!"라고 외치기도 한다. 우린 왜 "과장 광고"를 믿지 않으면서, 시장에서 만들어낸 그로스 해킹의 극적인 느낌을 가져다주는 허상을 쫒고 있는가? (물론 극적인 변화를 보였던 사례가 있었던 것도 있으나, 언제까지나 가능성의 이야기일 뿐이다.) A/B 테스트의 본질은 극적인 변화가 아니다. 점진적인 성장이다. 근데 참 재미있게도 이 점진적인, 그리고 아주 조그마한 성과들이 사실은 극적인 변화를 만들어내고 있다. 수학적으로 다가가 보자.
1년 동안 매일 1%씩 전환율이 개선된다면, 나중에는 처음에 전환율보다 약 37배 더 나아져 있을 것이다. (해당 결과에 대한 기고문 링크 : https://zenhabits.net/bank/) 처음에는 작은 성과라 할지라도 나중에는 엄청나게 큰 성과로 나타난다.
1년간 1%씩 퇴보할 경우 0.99*365(제곱) = 00.03
1년간 1%씩 성장할 경우 1.01*365(제곱) = 37.78
매일 1퍼센트씩 성장한다면, 1년 후에는 약 37배 성장한다.우리가 했던 사소한 성과들은 반드시 '복리'로 작용한다. 돈이 복리로 불어나듯이 성과도 반복되면서 그 결과가 곱절로 불어난다. 어느 날 어느 순간에는 아주 작은 차이여도, 몇 달 몇 년이 지나면 그 영향력을 어마어마해질 수 있다. 지금 당장 돈을 아낀다고 해서 백만장자가 될 순 없다. 일주일 연속 헬스장에 가도 멋진 몸이 만들어지진 않는다. 그저 아주 작은 변화가 있을 뿐, 그 결과는 우리 눈에 보이지 않는다. 그래서 우리는 A/B 테스트 실험의 작은 성과들을 기다리지 못하고 포기하거나 불만을 터뜨리곤 한다.
그러면 A/B Test를 잘하는 팀은 무엇을 가장 잘할까?
정답은 의외로 단순하다. 많은 실험을 빠른 기간 내에 할 수 있는 "속도"이다. 페이스북이나 우버는 일주일에 30개 정도의 실험을 진행한다. 공들여서 실험을 1개 구현하는 것보단, 개선될만한 것들을 무작정 아이데이션 해보는 과정이 팀 내부적으로 이루어져야 한다. 순서는 하기와 같다.
1) 분석하라.
우선은 우리 웹사이트나 애플리케이션과 같은 비즈니스에 데이터가 충분한지 가늠해보아야 한다. 결제 전환율이나 잔존율과 같은 충분한 트래픽 , 쿼리 데이터가 쌓이고 있다면 우리는 빠르게 해당 정량적 데이터를 기반으로 아이디어를 던져야 한다. 트래픽이 아직 충분히 들어오고 있지 않다면, FGI와 같은 정성적 조사를 기반으로 시작해야 한다. 정성적 조사를 하든, 정량적 조사를 하든 본질은 같다. "수요"를 탐구하는 것이다. 자본주의에서 모든 시장은 "수요"에 의해 결정되는 경우가 대부분이다. "수요"가 있어야 비즈니스가 존재한다.
2) 던져라.
어느 정도의 데이터 또는 정성적인 자료를 확보했다면 우리는 그에 기반하여, "이렇게 바꾸면 개선될 수 있지 않을까?"라는 가설 리스트를 수립해야 한다. 개발적인 이슈, 웹이나 앱에서의 한계를 규정짓지 않고, 각 팀원들이 아이디어를 던진다. 물론 여러 가지로 리스트업 된 아이디어를 모두 구현하는 것이 아니다. IDE 평가법에 따라 리스트업 된 아이디어를 우선순위로 점수를 매기면 되는 것이다. IDE 평가법에 대한 이야기는 추후 자세히 설명할 것이며, 팀원들이 모두 아이디어를 던질 수 있고, 공유가 용이한 웹 툴을 개발 중에 있다. (2편을 기대하시라) IDE 평가법은 대략적으로 설명하자면, 1) KPI에 영향을 끼치는 정도 2) 실험 구현에 걸리는 시간 3) 실험 결과치를 확보하는데 걸리는 시간에 따라 점수를 매겨서 다양한 아이디어들의 우선 실행 순위를 매기는 것이다.
3) 실패 역시 자산이다.
많은 실험을 하다 보면 어느 순간부터는 성공적인 실험보다는 실패하는 실험이 훨씬 더 많을 것이다. 성공을 하는 것보다 더 중요한 것은 실패를 기록해두는 것이다. 실패를 기록해둔다면, 우리는 더욱 낭비적인 프로세스를 거치지 않고도, 실패 속에서 다양한 인사이트를 얻을 수 있다.
LA에서 뉴욕으로 비행한다고 생각해보자. LA에서 출발한 비행기 조종사가 비행기 앞머리를 단 3.5도만 경로를 조정해도 우리는 뉴욕이 아닌 수백 킬로 떨어진 워싱턴에 착륙하게 된다. 비행기 앞머리에 약간의 작은 변화가 전 세계 곳곳을 누빌 수 있는 엄청난 결과로 이어진다는 것을 명심하라.
현재 연구 중인 이야기 :
- IDE 평가법과, 가설 리스트를 전 직원이 던져볼 수 있는 아이디어 컨테이너
- 인간의 뇌를 분석한 신호 인지 반응 : 뇌과학과 그로스 해킹의 접목
