brunch

You can make anything
by writing

C.S.Lewis

by 정석연 Sep 07. 2022

투자자가 바라본 A/B 테스트

A/B 테스트를 꼭 해야하나요?


Intro

A/B 테스트는 다른 버전의 결과물을 랜덤한 유저에게 적용하고, 어떤 버전이 더 효과적인지를 판별하는 도구입니다. Big Tech (Google, Amazon, Microsoft, Netflix 등)이 지속적으로 A/B 테스트를 각 사의 제품에 적용하며 성장한 Story가 여러 매체들을 통하여 알려지며 국내에서도 많은 회사들이 사용하는 제품개발 방법론이 되었습니다. A/B 테스트의 특징인 “각 버전의 비교 > 결과 분석 > 더 좋은 버전 선택 > 각 버전의 비교…” 라는 반복과정 (Iteration)은 데이터 측정에 유리하고 데이터에 기반한 의사결정을 중요하게 생각하는 Digital Native Business들이 꼭 도입해야 하는 선택지처럼 보이기까지 할 정도입니다. 하지만, 실제로 A/B 진행하게 되면 테스트에 들어가는 리소스가 많아 (가설 수립, 실험용 code 삽입, 여러 가지 실험 버전 develop, 결과 데이터 분석 등), 정말 테스트를 진행하는게 맞는 선택지 인가라는 생각을 꼭 하게 되는 시점이 생깁니다.

A/B 테스트를 한다는 의미

A/B 테스트를 통한 제품개발은 대규모 개발 및 배포와 대비하여 더 작은 단위로 개발/배포와 각 배포에 대한 지속적인 테스트(검증)을 의미합니다. 이는 대규모 개발 및 배포 대비 동일 시간에 구현 할 수 있는 개발의 양의 감소로 이어집니다. 하지만, 대규모 배포 이후 해당 배포의 성적이 예상했던 것과 달라 비즈니스에 안 좋은 영향을 준다거나 최악의 경우 roll-back을 해야 하는 상황 (또는 상황의 크기)는 줄어듭니다. 즉, 각 개발/배포 Cycle에서 기대할 수 있는 return 값과 return의 변동성 (standard deviation)이 모두 제한적이 되는 거죠. 기업마다 차이는 있겠지만 제품의 성장 cycle을 일반화를 하면 아래와 같은 그래프로 표현이 될 수 있습니다.


[Graph 1: A/B 테스트를 통한 성장]



변동성의 통제가 가지는 효과

새로운 버전을 통한 기능 출시의 return 크기와 return의 변동성을 제약함으로 가질 수 있는 장점은 운영상의 효율성 확보가 있습니다. 대부분의 사업의 경우 개발/배포가 된 product를 운영하고, 홍보하며, 판매하는 조직을 같이 구성하게 됩니다. 따라서, 신규 출시된 기능이 너무 잘 될 경우, 충분한 인력 확보가 되지 않아 friction이 발생하며, 이는 operation cost의 증가로 이어집니다. 또한, 신규 출시된 기능이 예상처럼 잘 되지 않을 경우, 해당 기능을 위해 준비하고 있던 인력들의 리소스 낭비로 이어지기도 합니다. 따라서, 신규 기능의 효과를 예상 가능한 범위 내에서 통제할 수 있다는 점은 운영상의 큰 이점이 됩니다. 효과의 통제가 가질 수 있는 또 다른 장점은 business (또는 product)가 예상처럼 성장하지 않을 때 더 많은 기회를 가질 수 있다는 점입니다. A/B 테스트를 통하여 더 많은 측정과 분석을 하게 되며, 각 측정/분석의 지점마다 새로운 결정을 하여 제품의 방향성을 변경할 수 있게 합니다.  


A/B 테스트를 투자의 관점에서 바라보면

어떤 상품 (주식, 채권, 원자재 등)에 투자를 할까라는 결정을 할 때, 이용되는 지표중 하나로 Sharpe Ratio (Formula 1)가 있습니다. 

[Formula 1: Sharpe Ratio]

예상되는 투자의 수익률에서 무위험 수익률을 뺀 값을 투자 수익률의 변동성 (Standard Deviation)으로 나눈 값입니다. Sharpe Ratio가 높다는 말은 변동성 대비 기대할 수 있는 투자의 수익률이 높다는 결론으로 이어집니다. 일반적으로 과도하지 않은 기대수익률을 추구하며, 변동성을 통제하는 투자 방법이 장기적으로 더 높은 return을 가져다주는것으로 알려져 있습니다. 이런 측면에서 보면 A/B 테스트도 투자와 비슷한 것처럼 보입니다. A/B 테스트를 한다는 것은 기대 투자 수익률을 낮추는 동시에 변동성도 낮춘다는 의미이고, 이와 같은 방식으로 접근한 회사 (Google, Amazon, Facebook, Netflix 등)들이 장기적으로 좋은 결과를 보여주고 있는 것처럼요. 

브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari