그로스 해킹과 A/B 테스트로 해결할 수 없는 문제
그리고 방향성에 대해서
그로스 해킹과 [콜드 스타트] 책으로 유명한 앤드류 첸이 작성한 글을 참고하였습니다.
1. 모바일 S 커브의 종말 그리고 그로스 해킹의 한계
10년 전에는 제품의 성장이 풍요로운 시기였습니다. 사람들은 매일 앱 스토어에서 출시된 새로운 앱을 다운 받았으며 호기심으로 광고를 클릭하고 실제로 전환 및 가입을 하기도 했습니다. 또한 새로운 소셜 앱은 종종 친구를 초대하도록 유도했으며, 수락률도 높았고 전달률도 높았습니다.
하지만 10년 후, 현재 2024년에는 상황이 안 좋아집니다. 모바일 S커브의 마지막 해에 접어들면서 사람들은 새로운 앱에 더이상 흥미로움을 느끼지 못합니다. 상황이 변하면서, 그로스 해킹은 많은 한계에 직면하게 됩니다.
첫 번째, 대다수의 스타트업의 경우 PMF에 대한 A/B 테스트가 불가능합니다. 사용자 수가 충분하지 않기 때문에, 통계적으로 유의미한 결론을 도출하기가 힘들기 때문이에요. 또한 스타트업의 경우 작은 변화보단 웹 랜딩 전체 리뉴얼과 같은 큰 변화를 배포하는 것이 훨씬 효율적입니다. 따라서 지표 중심의 빠른 배포 문화를 지향하는 그로스 해킹과는 상황이 반대일 수밖에 없습니다.
두 번째, 리텐션에 대한 측정이 불가능합니다.
사용자 수가 충분해서 유의미하게 +5% 정도의 꾸준한 상승률을 달성할 순 있더라도, 우리는 이것이 장기적인 리텐션엔 어떤 영향을 주는지 알 수 없습니다. 예를 들어 '수익 증가'라는 단기 지표를 달성하기 위해서 할인 정책을 없애버리는 아주 공격적인 A/B 실험을 해본다고 가정하겠습니다. 이는 당연히 단기적으로는 성장 지표를 움직일 순 있겠지만, 장기적으로 할인이 없어져서 사용자가 가격에 불만을 품고 얼마나 오래 이탈하는지는 판단이 불가능합니다. 따라서 이러한 A/B 테스트는 사용자 확보와 퍼널 상단 UX 테스트에는 주로 도움이 될 순 있지만, 장기적인 리텐션을 파악하는 데는 어려울 수밖에 없습니다.
세 번째, 계절성 및 낮은 리텐션, S커브 역학이라는 더 큰 파도에 비해선 성과가 미미합니다.
한 A/B 테스트를 성공적으로 시행해서 전환율을 +10% 수준까지 끌어올렸다고 가정해볼게요. 그런데 갑자기 전환율이 급하락합니다. 이유는 계절성 때문이라고 합니다. 아무리 수많은 A/B 테스트를 통해서 수치를 꾸준히 올리더라도 '계절성'이라는 통제할 수 없는 시즈널한 요인 때문에 지표가 하락하는 사례가 발생합니다. 따라서 이러한 A/B 테스트는 다른 단순하고 바보같을 수 있는 방법론에 비해서 (ex. 마켓팅 비용 늘리기, 가격 낮추기 등..) 효과가 미미하고 사용 사례도 제한적입니다.
네 번째, 제품의 특성에 따라 A/B 테스트의 효용성이 다릅니다.
예를 들어서 왼쪽 상단의 게임 앱은 리텐션이 낮지만 (장기 사용자가 작음), 재방문 빈도가 높은 제품 카테고리에 속합니다. 이럴 경우 A/B 테스트를 통해 리텐션을 높일 수 있을까요? 불가능하다고 판단합니다. 사실 핵심적인 제품/시장 적합성 통계를 결정하는 것은 제품 전략에 대한 큰 결정, 즉 어떤 카테고리를 선택하고 어떤 고객 세그먼트를 선택할 것인지에 대한 결정입니다. 그로스 해킹으로는 이 문제를 해결할 수 없습니다.
이런 많은 한계에도 불구하고, 물론 배울 점은 있습니다. 빠른 배포/지표 중심적 문화가 모든 것을 이겼기 때문이에요. 모든 PM은 A/B 테스트를 주요 방법론으로 채택하고 있으며 CAC, LTV, D30 및 기타 전문 용어와 같은 배포 지표를 이해해야 합니다. 또한 다른 기능 분야가 이런 지표 중심의 성장 문화를 흡수하고 있습니다.
2. 이 다음의 Growth는 무엇일까요?
개발은 쉬워졌고, 소수의 플랫폼의 영향력을 이용하자.
새로운 슈퍼 플랫폼 (chat gpt)과 생성형 AI를 통해 이젠 코드 없이 프롬프트만으로 새로운 앱을 쉽게 구축할 수 있습니다. 사람들은 새로운 앱을 더 이상 깔지 않고, 소수의 플랫폼만을 이용하며, 새로운 밈/대화는 수십억명 사람들에게 순식간에 퍼져나가고 있습니다. 즉 사람들은 새로운 앱을 설치할 가능성은 낮지만, 새로운 크리에이터를 팔로우하거나 동영상/링크/사진을 공유할 의향은 있습니다.
이것이 바로 오늘날 신생 스타트업의 중요한 성장 동력이 된 이유 중 하나이며, 이는 자연스럽게 콘텐츠를 자동으로 생성하는 새로운 세대의 비디오 네이티브 제품으로 이어지기도 합니다. 따라서 자연스럽게 성장의 원동력이 됩니다.
참신함과 1세대 AI 도구를 보여주는 것.
사람들은 참신함을 찾으려는 근원적인 욕망이 있습니다. 그리고 이는 여러 밈 유행과 대화 중에 계속 발굴되고 있어요. 따라서 신생 스타트업은 끝없이 A/B 테스트를 거친 고도로 최적화된 흐름 대신, 괜찮지만 그다지 훌륭하지 않은 동영상을 제작할 수 있는 1세대 AI 도구를 보여주기만 하면 모두가 이에 대해 끝없이 이야기할 것 입니다. 언젠가는 이 참신함이 정착되겠지만요!
3. (스타트업 PM으로서)
A/B 테스트의 한계를 분명히 인지하고 A/B 테스트하기.
앞으로 모든 실험마다, retention에 대한 제품 기준을 하나 정한채로 실험해야 할 것 같습니다.
저도 스타트업에서 A/B 테스트를 많이 시행하고 있는 PM으로서 공감하면서 글을 읽었는데요.
특히 리텐션과 같은 장기적인 요소를 통계적으로 판단할 수 없다는 것에 큰 공감이 되었습니다. 따라서 A/B 테스트를 채택할 때 전환율을 1순위 지표로 봤으며 보조 지표로는 단순히 재방문율, 앱 설치 유지율 등만 판단하였던 것 같아요. (이로 인한 위험한 결정이 여럿 있을 것 같습니다..ㅎㅎ)
그렇다고 A/B 테스트를 아예 안 하는 것도 바보 같은 결정이니, A/B 테스트의 한계를 분명히 인지하고 어떻게든 retention을 더 잘 측정할 수 있는 지표를 하나 선택하고 실험을 할 수 있도록 해야겠습니다. 아직 그 지표가 어떤 형태일지는 모르겠으나, 제품마다 retention을 가장 잘 설명할 수 있는 지표가 다 다를 것이라고 판단 됩니다. (ex. 북극성 지표와 같이...)
전환율과 같은 단기 지표에 대한 욕심을 버리고 근본적인 유저 행동의 지표 추적하기.
A/B 테스트가 성장 지표에 아주 단기적인 영향력을 준다는 것에서도 공감을 했는데요. 저는 스타트업에서 일하면서 천천히 여러 A/B 테스트를 통해 지표를 올렸더라도 단순히 휴일 때문에, 혹은 시즈널한 이슈 때문에 지표가 급하락한 케이스를 많이 경험해왔습니다. 따라서 조금 더 의미있게 A/B 테스트를 하기 위해서는 성장 지표를 테스트할 뿐만 아니라 유저의 행동 특성을 테스트하기 위한 지표를 많이 설계해보려고 합니다.
그리고 이러한 유저 행동에 대한 지표 및 인사이트는 결국 장기적으로 더 큰 성장에 기여할 수 있다고 생각합니다.
참신함을 보여주는 방법?
앤드류 첸이 언급한 이 '참신함'은 일부 소셜 네트워크성 서비스에 해당되는 말이라고 생각을 했는데요. B2B가 주로 많이 사용하는 저희 제품의 경우에는 해당되는 말인지는 잘 모르겠으나, 크게 봤을 때 마케팅이나 영업과 같은 분야에서 사람들의 '참신함을 선호하는' 근원적인 욕망을 건드리는 컨텐츠에 대한 여러 실험들도 중요한 시대가 오는 것 같아요!
이상입니다.
