투자자가 바라본 A/B 테스트
A/B 테스트를 꼭 해야하나요?
Intro
A/B 테스트는 다른 버전의 결과물을 랜덤한 유저에게 적용하고, 어떤 버전이 더 효과적인지를 판별하는 도구입니다. Big Tech (Google, Amazon, Microsoft, Netflix 등)이 지속적으로 A/B 테스트를 각 사의 제품에 적용하며 성장한 Story가 여러 매체들을 통하여 알려지며 국내에서도 많은 회사들이 사용하는 제품개발 방법론이 되었습니다. A/B 테스트의 특징인 “각 버전의 비교 > 결과 분석 > 더 좋은 버전 선택 > 각 버전의 비교…” 라는 반복과정 (Iteration)은 데이터 측정에 유리하고 데이터에 기반한 의사결정을 중요하게 생각하는 Digital Native Business들이 꼭 도입해야 하는 선택지처럼 보이기까지 할 정도입니다. 하지만, 실제로 A/B 진행하게 되면 테스트에 들어가는 리소스가 많아 (가설 수립, 실험용 code 삽입, 여러 가지 실험 버전 develop, 결과 데이터 분석 등), 정말 테스트를 진행하는게 맞는 선택지 인가라는 생각을 꼭 하게 되는 시점이 생깁니다.
A/B 테스트를 한다는 의미
A/B 테스트를 통한 제품개발은 대규모 개발 및 배포와 대비하여 더 작은 단위로 개발/배포와 각 배포에 대한 지속적인 테스트(검증)을 의미합니다. 이는 대규모 개발 및 배포 대비 동일 시간에 구현 할 수 있는 개발의 양의 감소로 이어집니다. 하지만, 대규모 배포 이후 해당 배포의 성적이 예상했던 것과 달라 비즈니스에 안 좋은 영향을 준다거나 최악의 경우 roll-back을 해야 하는 상황 (또는 상황의 크기)는 줄어듭니다. 즉, 각 개발/배포 Cycle에서 기대할 수 있는 return 값과 return의 변동성 (standard deviation)이 모두 제한적이 되는 거죠. 기업마다 차이는 있겠지만 제품의 성장 cycle을 일반화를 하면 아래와 같은 그래프로 표현이 될 수 있습니다.
[Graph 1: A/B 테스트를 통한 성장]
변동성의 통제가 가지는 효과
새로운 버전을 통한 기능 출시의 return 크기와 return의 변동성을 제약함으로 가질 수 있는 장점은 운영상의 효율성 확보가 있습니다. 대부분의 사업의 경우 개발/배포가 된 product를 운영하고, 홍보하며, 판매하는 조직을 같이 구성하게 됩니다. 따라서, 신규 출시된 기능이 너무 잘 될 경우, 충분한 인력 확보가 되지 않아 friction이 발생하며, 이는 operation cost의 증가로 이어집니다. 또한, 신규 출시된 기능이 예상처럼 잘 되지 않을 경우, 해당 기능을 위해 준비하고 있던 인력들의 리소스 낭비로 이어지기도 합니다. 따라서, 신규 기능의 효과를 예상 가능한 범위 내에서 통제할 수 있다는 점은 운영상의 큰 이점이 됩니다. 효과의 통제가 가질 수 있는 또 다른 장점은 business (또는 product)가 예상처럼 성장하지 않을 때 더 많은 기회를 가질 수 있다는 점입니다. A/B 테스트를 통하여 더 많은 측정과 분석을 하게 되며, 각 측정/분석의 지점마다 새로운 결정을 하여 제품의 방향성을 변경할 수 있게 합니다.
A/B 테스트를 투자의 관점에서 바라보면
어떤 상품 (주식, 채권, 원자재 등)에 투자를 할까라는 결정을 할 때, 이용되는 지표중 하나로 Sharpe Ratio (Formula 1)가 있습니다.
[Formula 1: Sharpe Ratio]예상되는 투자의 수익률에서 무위험 수익률을 뺀 값을 투자 수익률의 변동성 (Standard Deviation)으로 나눈 값입니다. Sharpe Ratio가 높다는 말은 변동성 대비 기대할 수 있는 투자의 수익률이 높다는 결론으로 이어집니다. 일반적으로 과도하지 않은 기대수익률을 추구하며, 변동성을 통제하는 투자 방법이 장기적으로 더 높은 return을 가져다주는것으로 알려져 있습니다. 이런 측면에서 보면 A/B 테스트도 투자와 비슷한 것처럼 보입니다. A/B 테스트를 한다는 것은 기대 투자 수익률을 낮추는 동시에 변동성도 낮춘다는 의미이고, 이와 같은 방식으로 접근한 회사 (Google, Amazon, Facebook, Netflix 등)들이 장기적으로 좋은 결과를 보여주고 있는 것처럼요.
