A/B 테스트를 통해 그랩 드라이버의 참여도 높이기
동남아시아의 우버로 불리는 그랩
핵클이 글로벌 테크 기업들의 A/B 테스트 사례를 연재합니다.
파괴하거나 파괴당하거나. 정확히 올해 그로스 해킹(Growth Hacking) 팀이 만들어진 정신이었습니다. (2017 CNBC Disruptor 50대 기업에 선정된 그랩의 원칙이기도 합니다.) 이것은 우리의 단편적인 DNA를 육성하고, 지능적으로 위험을 감수하면서 오롯이 실험할 수 있는 공간을 확보하고자 하는 의도적인 결정이었습니다.
기하급수적인 확장을 하는데 가장 큰 영향을 미치는 이니셔티브에 초점을 맞추어, 날렵하고 민첩한 우리의 그로스 해킹 팀은 비즈니스 팀에서 눈여겨 보고 있거나 리스크 수준이 높은 문제를 해결합니다. 우리는 그랩의 6,800만 고객보다 많은 고객에게 서비스를 제공하겠다는 궁극적인 목표를 가지고 그랩에 성장루프를 제공함으로써 이러한 문제들을 해결합니다.
성장루프는 무엇일까요?
일반적인 성장루프는 다음과 같은 순서를 따릅니다.
사용자의 니즈 / 관찰 가능한 특성 세분화를 통해 적합한 사용자를 적극적으로 확보(acquire) 합니다.
인센티브 혹은 억제를 통해 사용자들의 행동을 변하게 함으로써 이러한 사용자들을 활성화(activate) 합니다.
지속적인 고객 라이프 사이클 관리 프로그램을 통해 동일한 사용자를 참여(engage)하게 합니다.
기대하는 효과를 기하급수적으로 만들기 위해 시스템 전반에 걸쳐 입소문 효과(virality)를 유도합니다.
가장 확장성있고 영향력있는 성장루프를 만들기 위해, 그로스 해킹 팀을 (통상적인 마케팅 조직이 아닌) 기술 조직 내에 두기로 결정했습니다. 이는 실험의 속도를 높이고 규모를 키우는데 있어 엔지니어링 전문성을 활용할 수 있게 되었고, A/B 테스트를 자주 수행하고 여러 시장에 동시에 배포할 수 있게 하였습니다.
그로스 팀은 시작하고 나서 어떤 성과를 냈을까요?
올해 초 설립 이후 게임화(gamification)의 효과, 다단계 마케팅 및 지역 문화가 사용자 행동에 미치는 영향을 테스트하는 등 그랩 플랫폼에서 여러 실험을 마쳤습니다.
우리는 승차 증가 / 비용 증가로 정의되는 성장 인자라는 단일 지표로 성공을 측정합니다.
성장인자가 1보다 크면 우리가 승차 / 시장 점유율을 비용 측면에서 효율적으로 증가시키고 있음을 의미합니다.
데이터 기반 비즈니스를 하기에 우리는 성공적인 실험을 가장 잘 정의할 수 있는 것에 중점을 둡니다. 실험의 우선순위를 정하고 평가할 수 있는 하나의 근원을 정하면 빠르고 일관되게 움직일 수 있습니다.
하나의 성공적인 성장 프로젝트는 Spin-to-Win 실험입니다. 우리는 “어떻게 하면 드라이버와 더 잘 협력할 수 있을까?” 라는 질문으로 이 실험을 시작했습니다.
우리는 게임화가 입증된 성장 전략이라는 것을 알고 이 개념을 활용하여 그랩 플랫폼에서 입소문을 통한 참여를 이끌어내기를 원했습니다. 특히, 1960년대 심리학자이자 행동학자인 스키너(B.F Skinner)가 했던 실험에서 영감을 받았습니다. 스키너는 레버를 눌렀을 때 모이가 담긴 작은 상자에 비둘기를 넣었습니다. 그러나 그는 모이가 무작위로 나오도록 상자를 바꿨습니다. 이것은 비둘기가 레버를 더 자주 누르도록 장려했습니다. 이 실험은 “가변비율 강화(variable-ratio reinforcement)” 증명을 만들었습니다.
보상이 너무 적으면, 사람 (혹은 비둘기!)이 벗어납니다.
보상이 너무 많은 것도, 사람 (그리고 비둘기!)이 벗어나게 합니다.
이 이론을 바탕으로 우리는 즐겁지만 거슬리지 않는 인센티브 경험을 제공하는데 있어 적합한 균형점을 찾고 싶었습니다. 그 결과 Spin-to-Win 게임이 탄생했습니다. 인기로 인해 이러한 게임은 쉽게 이해되고 참여를 유도할 수 있을만큼 확률적이었습니다.
우리는 3주도 들이지 않고 A/B 테스트를 개발했으며, 매일 미리 정해진 횟수의 운행을 완료한 드라이버에게 금전적 보상과 현물 보상을 모두 제공했습니다.
(좌) Spin-to-Win 게임의 현물 보상 / (우) Spin-to-Win 게임의 금전 보상
(위) Spin-to-Win 게임 금전 보상화면의 디자인 변형 / (아래) 자카르타 지역에 맞춘 Spin-to-Win 게임 디자인
(좌) 잭팟 당첨화면 디자인 #1 / (우) 잭팟 당첨화면 디자인 #2
참여도를 높이기 위해 정기적으로 드라이버에게 알림을 보냈습니다. 또한 지속적인 참여를 유도하기 위해 드라이버의 모든 우승을 축하했습니다.
그림 1. A/B 테스트 결과, Spin-to-Win 게임에 노출된 드라이버는 미 노출된 드라이버 대비 운행횟수가 23%나 높았습니다. / 그림 2. Spin-to-Win 게임에 노출된 드라이버 그룹 내에서, 금전 보상과 현물 보상은 드라이버의 행동에 유의미한 차이를 이끌어내지 않았습니다. / 그림 3. A/B 테스트를 시작한 뒤, Spin-to-Win 게임에 노출된 드라이버는 미 노출된 드라이버 대비 운행의지가 1주 후에는 5%, 2주 후에는 12%로 차이가 점점 커졌습니다.
전 지역에서 계속 실험을 진행하면서 드라이버의 수락, 취소 및 드라이버 평점을 포함한 여러 요소들을 고려하여 테스트 결과를 한층 더 다듬어 나갑니다. 그리고 바라건대, 이것은 우리 드라이버 모두가 곧 즐길 수 있는 것입니다!
Note: 해당 글은 Grab Technology Blog에 Gaurav Sachdeva, Huan Yang, Jiaying Lim님이 2017년 12월 8일에 게시한 글을 번역 및 의역한 것 입니다.
해당 글은 A/B 플랫폼 핵클과 모비인사이드의 파트너쉽으로 제공되는 기사입니다.
