비즈니스는 끝없는 실패를 통해 성장한다
성장 가속화를 위한 A/B Test
안녕하세요, 인트렌치 컨설팅 강동규입니다.
오늘은 비즈니스의 효율적인 성장을 위한 그로스 해킹과 최적화에 대해 말씀드리려고 합니다.
시대를 막론하고, 비즈니스의 꾸준한 성장은 우리에게 항상 숙제로 남아 있습니다.
또, 시장 환경이 변화하면서 그 방식도 함께 발전되고 있는데요.
과거에는 시장에서 기대하는 것들이 비교적 더 명확했고, 그런 니즈를 충족시키는 제품을 만들기만 한다면 실패 가능성을 낮출 수 있었습니다.
그렇기 때문에, 성공하는 제품과 서비스를 만들기 위해서는 기획과 생산 단계에 가장 많은 시간과 노력을 들이는 것이 일반적이었습니다.
하지만 지금은 시장이 어떻게 변했을까요?
가장 주요한 변화는 고객의 취향이 굉장히 세분화되었다는 것입니다.
고객의 니즈를 철저하게 조사하고 반영하여 출시했다고 하더라도, 요즘은 유행이나 트렌트가 한순간에 바뀌는 것이 익숙해지고 있습니다.
그에 맞춰서 생각지 못했던 경쟁자가 시장에 출현할 가능성도 높습니다.
기획과 생산 단계에 많은 노력을 들이더라도 제품을 시장에 내놓기 전까지는 이 제품이나 서비스가 성공할지 확신할 수가 없죠.
결론적으로 성공의 불확실성이 굉장히 증가했다고 볼 수 있습니다.
그렇다면, 이런 극심한 불확실성 속에서 새로운 제품이나 서비스를 성공시키기 위해서는 어떤 방법이 필요할까요?
말씀드린 것처럼, 성공의 불확실성이 증가했기 때문에
한 번에 성공하는 제품이나 서비스를 만드는 것보다 꾸준히 성장하는 서비스를 만드는 것이
더 현실적으로 성공 가능성이 높다는 것입니다.
이제 서비스 출시는 끝이 아닌 시작에 가까워진 것이죠.
그렇다면 꾸준히 성장하는 서비스를 만들기 위해서는 어떤 액션이 필요할까요?
결론적으로, 우리는 건강하고 효율적인 실패를 반복해야 합니다.
성공하기 위해서는 실패해야 한다니, 이게 무슨 모순일까요?
빠른 실패는 빠른 성공의 지름길이다.
- Eric Ries-
실패를 두려워하지 않고, 빠르게 실험하고 배우는 것이 성공으로 이끄는 길이라는 말입니다.
처음부터 제품의 완성도를 높이는 것에만 무작정 집중하기보다는,
빠르게 출시하고 지속적으로 개선을 통해 완성도를 높이는 것이 더 효율적이라는 말이죠.
그렇기 때문에, 이제는 성장 가속화를 위한 그로스 해킹이 필수적으로 자리 잡고 있습니다.
그로스 해킹에서는 아이디어 - 개발 - 측정 - 개선으로 이어지는 순환고리를 최대한 빠르게 진행하면서
서비스를 점진적으로 개선하고 성장시키는 것이 성장 핵심 포인트인데요.
이러한 최적화 활동은 실험을 통한 검증으로 꾸준히, 끈질기게, 지속적으로 반복되어야 합니다.
개선을 위한 순환고리이를 통해 어떤 요소들이 유저의 경험과 행동에 유의미한 변화를 가져오는지 판단할 수 있겠죠.
그렇기 때문에, A/B 테스트와 같은 실험을 통해 비교 검증이 필요합니다.
A/B Test란?
익숙하게 알고 계신 분들이 많겠지만, 생소하실 분들을 위해 간략히 설명드리겠습니다.
A/B 테스트는 사용자들을 기존 버전의 페이지와 변수를 적용한 버전의 페이지로 분기하여,
어떤 버전의 페이지에서 더 나은 성과를 보이는지를 검증하는 실험입니다.
즉, 고객 행동에 대한 가설을 세우고 이를 검증하는 작업이라고 할 수 있습니다.
예를 들어 다시 말씀드리자면, 100명의 사용자를 A버전의 페이지와 B버전의 페이지로 각 50명씩 분리하여 보낸 다음 각 버전에서 사용자 행동이 어떻게 달라졌는지를 비교하는 것입니다.
그 실험 결과를 분석하여, 변경한 요소가 사용자들에게 어떤 영향을 미쳤는지,
그것이 긍정적으로 작용했는지를 판단할 수 있습니다.
유저 트래픽을 분기하여 각 버전의 행동을 비교 (이미지 출처 : posthog.com)이어서, 실제 사례의 데이터를 각색한 예시를 통해 실험의 진행과 결과 분석이 어떻게 이루어지는지 살펴보고
결과 분석에서 유의할 점도 함께 알아보겠습니다.
A사는 가정의 달인 5월을 맞아, 5월 기간 한정으로 5000원 할인 프로모션을 앞두고 있습니다.
따라서, 마케팅을 위한 광고 소재에 어떤 텍스트가 가장 효과적인지 파악하려고 합니다.
A안 : 5월 기간 한정 할인 혜택 강조
B안 : 5000원 즉시 할인 혜택 강조
프로모션 시작과 함께 5월 내내 실험을 진행하고, 아래와 같은 평균 데이터를 얻었다고 가정해 보겠습니다.
광고 소재에 대한 클릭(%)
A안 : 17.5%
B안 : 15.2%
이러한 전체 평균 데이터를 본다면, 대부분의 A안의 성과가 더 좋다고 판단하고 실험을 결론지을 텐데요.
저희는 조금 더 깊게 세분화하여 살펴보도록 할까요?
사용자의 기기 환경, 인구통계적 구분, 신규/기존 유저 구분, 날짜/시간대, 구매 이력, 구매 상품군 등등
정말 수많은 세분화 기준들이 있을텐데요.
이 케이스의 경우, 프로모션 진행 기간에 따른 데이터의 변화가 주요하게 나타났습니다.
실험 데이터를 프로모션 진행 주차에 따라 세분화하여 다시 살펴보겠습니다.
Week 1
광고 소재에 대한 클릭(%)
A안 : 9.2%
B안 : 17.4%
Week 2
광고 소재에 대한 클릭(%)
A안 : 12.7%
B안 : 15.6%
Week 3
광고 소재에 대한 클릭(%)
A안 : 16.3%
B안 : 15.5%
Week 4
광고 소재에 대한 클릭(%)
A안 : 19.8%
B안 : 14.8%
실험 초반기에는 B안의 성과가 월등히 높게 나타나고, 실험 후반부에 가까워질수록 A안의 성과가 더 높아졌다는 사실을 확인할 수 있습니다.
따라서, 프로모션 초기에는 혜택에 대한 내용을 강조하고, 후반부에는 기간 한정이라는 점을 강조한다면 프로모션 성과를 극대화할 수 있을 것입니다.
이처럼 단편적인 실험의 평균 결과 데이터만 가지고 판단한다면, 더 세밀하고 정확한 인사이트를 얻기 어렵기 때문에 항상 데이터를 세분화하고, 다양한 시각에서 실험의 영향력을 확인하려는 노력이 필요합니다.
이제 A/B 테스트가 무엇이고, 실험이 왜 필요한지, 결과 분석에서 유의할 부분들에 대해 이해하셨을 텐데요.
이번에는 아직 많은 사람들이 실험을 진행하며 놓치고 있는 부분들에 대해 다뤄볼까 합니다.
1. 변인 통제는 완벽히
다들 아시는 것처럼, 실험은 검증하기 위한 것입니다.
실험에서 검증 대상이 되는 변경점 이외에 다른 요인의 변경이 있었다면,
그 실험의 결과는 신뢰도가 급격히 하락하게 됩니다.
수치의 변화가 어떤 변인 때문에 발생한 것인지 판별하기 어렵기 때문입니다.
따라서, 변인 통제는 항상 모든 실험의 기본입니다.
2. 가설 수립을 명확하게
가설은 그 실험에 대한 검증 목표의 기반이기 때문에, 모호하지 않고 명확히 수립해야 합니다.
"이 부분을 이렇게 좀 수정하면.. 뭔가 좋아지지 않을까?"라는 생각은 가설이 될 수 없습니다.
[A페이지의 B요소를 C의 형태로 변경한다면, 사용자 지표 D가 상승할 것이다]와 같은 명확한 검증점이 있는 가설을 수립해야 이에 맞는 세부적인 실험 목표 설계가 가능합니다.
따라서, 실험을 진행하고 그 결과를 분석했을 때 대립가설과 귀무가설 중 하나는 채택이 되어야 합니다.
3. 과정과 결과는 항상 공유하라
실험은 단순하게 단기적으로 지표를 상승시키는 것에 의미가 있는 것이 아닙니다.
가장 중요한 포인트는 실험을 통해 배운다는 점입니다.
따라서, 실험을 통해 얻게 된 정보와 경험은 조직 내부적으로 공유되어 모두 함께 배우는 것이 중요합니다.
또한, 데이터를 통해 검증하고 의사결정하는 조직 문화에 크게 도움이 되기 때문에 이를 기반으로
다양한 협업을 이끌어내고, 전략적 방향을 도출할 수 있습니다.
끝으로, A/B 테스트를 열심히 진행 중인 혹은 예정되어 있는 분들에게 드리고 싶은 말씀이 있는데요.
실패한 가설은 없다는 것을 꼭 기억해 주셨으면 좋겠습니다.
조직에서 실험을 제안하고 진행할 때, 지표 상승이 크지 않을 것 같다는 이유로 말하기를 주저하지 마세요.
혹시라도 지표가 떨어질까 변경점을 아주 소극적으로 적용해 본다던지, 그 결과 분석을 편향적으로 진행한다던지.. 모두 피해야 할 행동들입니다.
유일하게 실패한 가설은 비긴 가설입니다.
결과가 뚜렷한 차이를 보이지 않아 실험 장치의 영향력을 파악하기 힘들다면,
해당 실험에서 배울 수 있는 점이 가장 없기 때문입니다.
또, 대부분 우리는 고객이 어떤 사용자들인지 정확히 모릅니다.
고객의 성별과 나이, 접속일, 시간과 같은 숫자의 나열들이 그 사람을 대변해주는 것이 아니기 때문입니다.
하지만 우리는 고객이 어떤 사람들인지, 어느 포인트에 반응하고 무엇을 원하는지 끊임없이 파악하고
이를 위한 개선을 진행하여 우리 서비스에 대한 경험을 향상시킬 필요가 있습니다.
그렇기 때문에 테스트를 통해서 고객이 어떤 요소의 어떤 변화에서 가장 긍정적인 반응을 보이는지,
끊임없이 러닝 포인트를 쌓아가는 것이 중요합니다.
러닝 포인트의 조직적 공유는, 마치 고객을 이해하는 가이드북을 만들어가는 과정과 같습니다.
그로스해킹과 최적화 실험에 관련해서 더 폭넓게 전하고 싶은 내용이 많지만,
오늘은 테스팅에만 더 집중해서 말씀드렸는데요.
"검증하고 적용하여 개선한다" 라는 그로스해킹의 핵심적 프로세스와 가장 맞닿아있는 액션이기 때문에,
꼭 놓치지 않고 생각해 보는 시간이 되셨으면 좋겠습니다.
글을 읽으며 궁금한 점이 생기셨다면 편하게 댓글로 남겨주시면 감사하겠습니다 :)
인트렌치 컨설팅이 어떤 회사인지 궁금하신가요?
그로스 해킹을 통해 서비스 전환율을 개선하세요.
