A/B 테스트 진행 시 알아야 할 Tip
이것만 알아도 막무가내식 A/B 테스트는 막을 수 있다
나는 실패하지 않았다. 다만 효과적이지 않은 방법을 1만 가지 발견했을 뿐이다.
- 토마스 에디슨
전 세계에서 열일하는 수많은 마케터들의 고민 중 하나는 '어떻게 하면 적은 예산으로 전환율을 높일 수 있을까?' 이지 않을까 라는 생각을 해봅니다. 바로 전환율 이라는 지표를 끌어올리기 위해 전환에 좋다는 신규 매체를 테스트하고, 구글 애널리틱스와 같은 분석 도구를 활용하여 데이터를 수집 및 분석합니다. 그래도 안 되면 정기적으로 프로모션을 진행하여 결제를 유도합니다. 하지만 채널별 전환율 최적화 작업을 어느 정도 마쳤다고 해도, 여전히 전환 과정에서 이탈하는 사용자는 수두룩 합니다. 이제 마케터는 어떤 선택을 해야 할까요?
리뉴얼을 시도하기에는 인적 자원이 너무 많이 소모되며 시간도 오래 걸립니다. 이럴 때 전환율을 높일 수 있는 가장 확실한 방법이 바로 A/B 테스트입니다. A/B 테스트는 구글 옵티마이즈 라는 도구를 활용하면 쉽게 진행 할 수 있습니다. 문제는 '과연 무엇을 테스트 할 것인가' 입니다. 앞선 포스팅에서 분석의 시작이 정확한 데이터 수집이라고 말씀드렸는데요. 수집 이후에는 어디가 문제인지를 파악하는 것이 첫번째 과제입니다. 문제만 제대로 파악이 되면 서비스가 개선될 확률은 높아집니다. 어떻게 보면 우리는 어디가 문제인지 모르기 때문에 개선을 하기 어려운 것일지도 모릅니다.
영국에서 일하는 분석가 콜린 맥파랜드는 'A/B 테스트를 통한 웹사이트 전환율 최적화' 라는 책을 저술했는데요. 책의 내용을 참고로 A/B 테스트 진행에 앞서 알아두면 좋은 다양한 Tip을 여러분께 소개합니다.
1. 실험 시작에 앞서 취약 단계를 파악하자.
실험을 진행할 때 과연 어떤 부분을 실험할 것인가에 대한 고민을 하게 됩니다. 실험을 진행하려면 우선 이해 당사자를 설득시키는 작업이 필요합니다. '무작정 실험을 진행해보자' 라고 할 수는 없으니까요. 설득을 하려면 어떻게 해야 할까요?
가장 확실한 방법은 데이터입니다. 숫자의 힘은 생각보다 강력합니다. 예를 들어, 방문자들이 구매를 하는 과정에서 특정 단계의 이탈률이 높으니 이 부분에 대한 실험을 진행하자고 했을 때 설득을 위한 데이터가 존재하므로, 반대에 부딪힐 가능성이 줄어들게 됩니다.
2. 요소를 제거하면 빠른 실험 성과를 얻을 수 있다.
단순함은 궁극의 정교함이다.
- 스티브 잡스
이해 당사자 설득이 완료되었다면 실험을 기획하시면 됩니다. 이 때 가장 빠르고 쉬운 성과를 얻을 수 있는 방법은 페이지의 특정 요소를 제거하는 것입니다. 사실 무언가를 빼는 것은 더하는 것보다 어렵습니다. 리모콘을 생각해봅시다. 수많은 버튼과 기능 중에 사용자가 실제로 활용하는 기능은 전체의 1/10 이 되지 않을 겁니다.
만약 제거를 해도 제품을 사용하기 어렵지 않다면 제거해야 합니다. 어린 아이가 아이폰 사용법을 알려주지 않았음에도 불구하고 기기를 자유롭게 사용하는 건 바로 편의성 때문입니다. 사용자의 니즈를 채워주지 못하는 디자인은 좋은 디자인이 아닙니다. 기존 화면의 요소를 변경하거나 추가하는 게 힘들다면 요소를 제거하는 방법으로 실험을 진행해보세요.
3. 계획을 수립하고, 실험의 목적을 명확하게 정하자.
계획은 중요합니다. 계획 없이 실험을 진행했다가 그 상태로 실험을 종료해서는 안 됩니다. 실험을 하는 목적에 대해 생각해봅시다. 왜 실험을 시작하게 되었는지, 실험을 통해 어떤 결과를 도출하고 싶은지. 물론 처음에 생각했던 것과 다른 결과가 데이터로 확인될 수도 있습니다.
마이크로소프트에서 분석 및 실험을 담당하는 론 코하비는 실험의 가치를 정말로 이해하고 싶다면, 예상한 결과와 실제 결과 사이의 차이를 주목하라고 말합니다. 만약 어떤 일이 일어날 것이라 생각했는데 실제로 일어났다면 배운 점이 별로 없겠지만, 예상치 못한 결과가 도출된다면 중요한 것을 배운 셈이라는 것이죠. 다시 말해, 실험을 통해 뭔가를 배웠다면 실패한 실험이 아닙니다. 그러므로 실험 시작에 앞서 데이터는 얼마나 수집할 것인지, 실험 진행 과정에 위험 요소는 없는지를 꼼꼼히 체크하세요.
4. 실험에 소요되는 시간을 단축하고 반복하자.
실험 진행을 위한 아이디어 수립부터 결과 도출까지 걸리는 시간을 최대 2주로 정하고, 가능한 2주마다 실험이 진행될 수 있는 환경을 만드는 것은 중요합니다. 실험 진행에 있어 너무 완벽주의자가 되지 마세요. 단, 타겟팅 되는 조건은 동일해야 합니다. 그렇지 않으면 제대로 된 분석 결과를 도출할 수 없습니다.
이를테면 A안에 키워드 광고를 통해 유입된 방문자가 B안보다 많이 랜딩되었다면, 당연히 전환도 A안이 높은 결과를 보일 것입니다. 일반적으로 키워드 광고 랜딩의 전환율이 그렇지 않은 방문의 전환율보다 높기 때문입니다. 실험 기간에 기존 매출에 미치지 못하는 결과를 얻을 수도 있습니다. 하지만 실험을 하지 않으면 얻을 수 있는 결과도 없습니다.
실험이 1번으로 끝나면 조직 내 실험을 권장하는 문화를 절대 만들어지지 않습니다. 구글이나 페이스북에서는 지금도 수많은 테스트가 여러분이 모르는 사이에 진행되고 있다는 사실을 기억하세요.
5.실험을 통해 얻은 결과는 서비스에 반영하자.
실험을 통해 유의미한 결과를 도출하였다면 반드시 서비스에도 반영될 수 있도록 해야 합니다. 구현하지 않을 것이라면 실험을 진행할 이유가 없습니다. A/B 테스트를 비롯한 그로스해킹의 목적은 빠른 실행과 반복적인 실험을 통한 서비스 개선입니다. 한번에 서비스가 단번에 개선되기를 바라지 마세요. 그로스해킹은 가랑비에 옷이 젖듯이 조직 내 서서히 효과를 가져올 것입니다.
만약 서비스에 반영되었다면 그 결과를 실험에 참여한 구성원에게 공유하시기 바랍니다. 결과를 누적 연매출로 수익화 한다면 더욱 의미가 있겠습니다. 실험 결과는 가급적 지식으로 정리되어 추후 다른 실험을 위한 아이디어를 얻는데 활용되면 좋습니다.
지금까지 A/B 테스트를 진행하기 앞서 알아두면 좋은 Tip을 소개해 드렸습니다. 구글 애널리틱스 사용 유저라면 '구글 옵티마이즈' 테스트 도구를 활용해서 목표를 수립하고, 테스트 대상을 선정하는 등의 과정을 통해 실험을 비교적 간단히 진행할 수 있습니다. 테스트 진행에 앞서 앞서 소개해드린 내용을 참고하시면 서비스 지표를 개선에 조금이나 도움이 되지 않을까 싶네요. 긴 글 읽어주셔서 감사드립니다.
인트렌치 컨설팅이 어떤 회사인지 궁금하신가요?
지금 홈페이지를 방문해서 직접 확인해보세요.
