린 애널리틱스:코호트 분석과 A/B 테스트
Data Analytics
이 글은 Lean Analytics: Use Data to Build a Better Startup Faster (Lean Series)내 내용을 추가, 번역, 의역, 재구성한 글입니다.
[테스트는 린 애널리틱스의 핵심(the heart)이다.]
테스트는 어떠한 기준으로 세분화된 서로 다른 대상들을 비교하는 것을 의미한다. 이 세분화는 세그멘테이션(segmentation), 코호트(cohort) 분석, A/B 테스트를 통해 이뤄지며, 이 개념들은 변화들에 대한 논리적인 비교를 진행하는 데에 필수적이다.
[세그멘테이션(segmentation, 분할, 세분화)]
세그먼트(segment)란, 공통적인 혹은 비슷한 특성을 지니고 있는 집단을 의미한다. 특정 소프트웨어 제품을 사용한다던가, 특정 행동을 보여주는 등의 기준으로 동질적이거나 비슷한 특성을 보여주는 사람 혹은 집단들을 한데 묶은 것을 의미한다.
웹사이트 서비스를 예로 들면, 특정 브라우저를 사용하는 사람은 구매를 적게하는 것을 발견한다던가, 특정 국가의 사용자들이 급격하게 유입된다던가 하는 현상을 심층적으로 분석하기 위한 기준으로 사용된다. 이렇게 특정 세그먼트의 행동적 특성을 발견하게 되면, 추가적인 조사를 진행한 후 발견한 것들을 바탕으로 개선하거나, 다른 세그먼트에 활용하는 등의 전략을 취할 수 있다.
[종단적 연구(longitudinal study)와 횡단적 연구(cross-sectional study)]
시간의 흐름에 따라 동일한 대상을 연구하는 것을 종단적 연구라고 칭하며, 특정 시점에서 여러 집단을 동시에 비교하는 연구 방법을 횡단적 연구 방법이라고 부른다. 종단적 연구는 시간에 따른 변화 파악으로 집단의 변화 과정과 장기적 영향들에 관해 파악할 수 있지만, 장기간에 걸쳐 진행되어 많은 시간과 비용이 소요될 수 있다. 이와 대조적으로 횡단적 연구는 특정 시점에서 여러 집단을 동시에 비교할 수 있어 비용 효율적이지만, 시간에 따른 변화를 파악하기 어렵다는 단점이 있다.
아래에서 언급할 코호트 분석은 많은 경우 종단적 연구의 특성을 지니며, A/B테스트는 횡단적 연구의 특성을 지닌다.
[코호트 분석(cohort analysis)]
세그멘테이션은 어떠한 특성들을 발견하여 특정 집단을 만드는 것이었다면, 코호트 분석은 비슷한 그룹들을 시간의 흐름에 따라 비교하는 분석법을 의미한다.
제품을 만드는 과정은 내/외부적인 영향에 끊임없이 노출되어 변화하기 때문에, 특정 기능이나 제품의 출시 첫 주에 가입한 사람과, 이후 3~4주 후에 가입한 사람의 제품 사용 경험은 다를 수밖에 없다. 생명 주기(lifecycle)에 따라 테스트의 대상이 되는 각 집단을 ‘코호트’라고 부른다.
코호트 분석은 왜 필요할까? 단순히 사용자의 수를 합산하고 평균을 내면 정말 간단한 일이겠지만, 이렇게 단순히 하나의 기준으로 묶어 통계를 내다보면, 서로 다른 특성들이 희석되어 그 통계의 의미가 흐려지는 경우가 많다.
위와 같은 데이터에서 어떤 의미를 도출하기란 어렵다.
하지만 동일한 데이터라도, 위와 같이 세그멘테이션(가입 월 기준으로 집단 분류)을 하여 코호트 분석을 하면 새로운 정보를 얻을 수 있다. 각 월별로 사용자들의 평균 구매액 차이를 비교할 수 있을 뿐만 아니라, 한 집단의 시간에 따른 변화도 볼 수 있다. 즉, 코호트 분석은 더욱 뚜렷한 시점으로 데이터를 해석할 수 있는 기회를 제공해준다.
[A/B 테스트와 다변량 시험(multivariate test)]
일반적으로 많이 사용되는 종단적인 코호트 분석은 시간적인 흐름에 따른 변화를 추적하는 것이었다면, A/B 테스트는 동일한 기간에 서로 다른 집단들에게 시험을 진행하는 것을 특징으로 갖는다. 예를 들어, 웹페이지의 특정 버튼의 텍스트 내용을 ‘A’와 ‘B’라고 노출했을 때, 어느 텍스트가 더 많은 클릭율을 달성했는지처럼 말이다.
A/B 테스트는 기본적으로 한 구성요소에 대한 변화를 기준으로 시험을 진행한다. 예를 들어, 웹페이지의 한 버튼에 대해서만 테스트를 진행하지, 로고, 카피, 전체적인 색상 등 다른 구성요소들을 한꺼번에 시험하지 않는다. 다른 구성요소가 연쇄적으로 다른 구성요소에 영향을 미칠 수 있기 때문이다.
그래서 많은 구성요소를 지닌 제품의 경우 A/B 테스트를 진행하려면 천문학적인 시간이 소요될 수 있는데, 이를 해결하기 위해 사용되는 분석법이 다변량 시험이다. 다변량 시험은 여러 구성요소에 대해 변화를 준 후, 결과에 대한 상관관계를 심층적으로 분석하는 분석법이다. 복잡한 구조의 제품들에 적합한 분석법이다.
[린 애널리틱스(Lean Analytics)의 과정]
린 애널리틱스는 세그멘테이션을 기반으로 코호트 분석과 A/B 테스트 및 다변량 시험을 진행하여, 끊임없이 측정가능한 형태의 시험을 통해 사업적인 가치를 증진시키는 목적을 갖고 있다. 린 애널리틱스는 다음과 같은 순환을 겪으니, 참고해보자!
