1장. 온라인 마케팅과 통계의 만남
감각의 영역에서 논리적인 데이터의 세계로 가는 첫걸음
1.1 지금 온라인 마케팅활동이 잘되고 있는 걸까?
이 책은 아주 평범한 질문 하나에서 시작됩니다.
“우리가 지금 매일 실행하고 있는 이 온라인 마케팅이 잘되고 있는 걸까?”
실무자는 매일 업체? 혹은 어드민에서 제공되는 숫자와 마주합니다.
캠페인 오픈율, 클릭률, 구매 전환율, 이탈률, 광고비, ROAS... 하지만 문제는 이 숫자를 어떻게 해석할지 명확하게는 잘 모른다는 것입니다.
실무에서 겪을 수 있는 사례를 몇 가지 들어보도록 하겠습니다.
1) A 캠페인 전환율 3.1% < B 캠페인 3.3% : 그 차이가 ‘우연’이 아니라 ‘진정한 효과차이’일까?
2) 이달 ROAS 380% : 이 수치가 전월보다는 개선된 성과일까? 지난달은 360이었는데...?
3) 클릭수와 전환율 : 클릭수가 높아질수록 전환율을 떨어지는데 적절한 수준은 얼마일까?
등등이죠..
이 책에서 제시하고자 하는 내용은 이런 경우에 어떻게 판단을 해야 하는지를 설명하고 활용하실 수 있도록 하되 최대한 쉽고 복잡하지 않은 방식으로 설명하고 활용할 수 있도록 하고자 하는 것입니다.
통계적 사고란, 앞서 말씀드린 몇 가지의 사례를 겪었을 때 체계적이고 과학적인 과정을 통해서 논리적 근거를 기반으로 한 숫자와 통계를 기반으로 최종결정을 실행하는 사고입니다.
물론, 어떻게 판단을 해야 하는지 전혀 어렵지 않게 설명드리는 일은 쉽지 않은 일이고, 쉽게 설명하고자 한다고 해서 모든 걸 본인은 전혀 내용을 모른 채 다양한 현업에 활용하기는 어렵습니다. 하지만 이 책을 읽으실 정도의 열정과 호기심이 있는 분이라면 당연히 하실 수 있는 수준일 것이라고 믿습니다.
1.2 ‘통계’는 실무 마케터의 언어다
통계는 수식이 아니라 판단의 틀
실무에서 통계를 활용한다는 건, 복잡한 통계 관련 공식을 외운다는 뜻이 아닙니다.
학교나 연구소에서 통계를 공부하시거나 연구하시는 분들의 입장에서는, 굉장히 엄격한 가정과 제약조건등이 적용된 과학적인 환경에서 진행되어야 하고, 그런 기준들을 가지고 학습합니다.
하지만 실무에서는 실제로 학교에서 연구소에서 진행하시는 굉장히 엄격한 가정과 제약조건보다는 오히려 "어떤 지표를 어떻게 비교해야 하고", "실행결과의 차이가 있는지 어떻게 판단할지", "그 차이를 어떻게 마케팅 전략에 반영할지"를 알아야 할 필요가 더 중요합니다.
통계를 마케팅에서 써야 하는 4가지 이유
1.3 마케팅에서 통계가 개입되는 상황
감에 의한 실수를 통계는 최소화해주는 방법
실무에서 매일매일 마주치는 판단의 상황에서 아... 이럴 것 같은데?라는 감이 아니라 확률적으로 이 선택을 하는 것이 좀 더 소비자의 의견을 우리의 행동에 반영하는 것이다라는 확신을 갖게 해주는 것이 통계입니다.
실제로 감에 의해서는 차이가 있다고 판단할 절대적인 광고 클릭률의 숫자 3.1과 3.5이 통계와 확률의 관점에서는 차이가 없을 수 있고, 명확하게 차이가 없는 것 같은 3.1과 3.2의 차이가 통계적으로 유의미한 차이가 있을 수도 있습니다.
어쩌면 제가 극단적인 사례를 말씀드렸지만, 이런 사례는 주변에 너무나도 많기 때문에 이 책을 읽으시는 분들이라면 어디서나 만나실 수 있었을 것입니다.
예를 들어 A/B Test를 많이 하시는데 실제 A/B Test의 결과에 대한 해석을 어떻게 해야 할지를 가르쳐 주는 분들은 별로 없었습니다. 그저 절대적인 숫자의 차이를 가지고 A를 선택하거나 B를 선택하시게 되는 것이죠 하지만 이런 선택의 확신은 없으셨던 것 같습니다.
이 책에서는 그런 선택의 확신을 하실 수 있도록 만들어 드립니다.(이것도 통계 전문가 선생님이 보시면 화내실 내용이네요.. 하지만 실무에서는 그렇게 보셔도 어느 정도 용서가 됩니다.)
다음은 일반적인 실무에서 마주치게 되는 통계의 판단이 필요한 상황들입니다. 한번 업무 중에 어느 정도 보신 내용인지 비교해 봐 주세요.
1. A/B 테스트 설계 및 해석
o 어떤 제목이 더 클릭을 유도했는가? T-Test
o 두 버튼 색상의 클릭률 차이가 우연이 아닐까? T-Test
2. 채널 퍼포먼스 비교
o Google vs Instagram 광고 성과 비교 T-Test
o 유입 대비 구매율: 단순 비율이 아니라 통계적 유의성 확인 colleration
3. 고객 세그먼트 성과 해석
o VIP 고객과 일반 고객의 구매 주기 비교 Frequency분석, T-test
o 특정 세그먼트가 더 반응을 보였는지 ANOVA Test
4. 구매 행동 예측
o 체류 시간, 리뷰 수, 할인 여부 등 여러 변수 매출영향 → Regression
o PPL, 퍼포먼스광고, 가격 등 여러 변수 매출영향 → Regression
5. 고객 이탈 시점 탐색
o 구독형 고객의 평균 유지 기간은? → Regression
o 이탈 위험이 가장 높은 시점은 언제? → Regression
1.4 실전 사례
어떤 광고 이메일의 오픈율 차이는 우연일까, 효과일까?
만약 당신이 이메일 마케팅을 하고 있는 담당자라고 가정해 봅시다.
회사에서는 상대적으로 비용이 적게 든다고 생각되는 이메일마케팅을 강화하고자 하고 있고, 이를 위해서 어떻게 하면 메일을 통한 고객 정보 전달을 높일 수 있을지 고민 중에 있습니다.
이런 고민 중에 수신인이 회사가 보낸 메일을 오픈하는데 큰 영향을 준다고 판단되는 메일 제목의 변화를 통해 오픈율이 달라지는지를 점검해 보고자 하였습니다.
예를 들어 Test A메일의 제목을 : " 두 개 더 얻을 수 있는 기회! ABC 스토어의 정기세일 "
Test B메일의 제목을 : " 1+2의 기회! ABC 스토어의 정기세일 "
이렇게 설정하고, 동질 한 집단으로 추정되는 각각 1000명에게 A/B메일을 보낸 후 1주일 뒤에 메일의 오픈율을 비교해 보니 A메일은 오픈율이 12%, B메일은 오픈율이 15.6%로 나타났습니다.
이럴 경우 "두 개 더" 보다 "1+2"가 소비자의 메일 오픈율을 높이는 유인으로 작용했다고 볼 수 있을까요?
앞으로도 메일 제목에 숫자를 직접적으로 넣는 것이 좀 더 현명한 활동일까요?
단순하게 살펴본다면 오픈율이 높은 B에 영향을 미친 "1+2"표현이 영향을 미쳤다고 볼 수 있겠지만, 통계적으로는 살펴볼 부분이 있습니다. 이 오픈율의 차이가 진정한 차이인지 아니면 실수나 오류로 인한 차이인지를 구분하는 것이 필요합니다.
이렇게 두 그룹이 있는 경우 비율 평균을 비교하는 T-Test, 또는 빈도를 비교하는 카이스퀘어 분석이 가능합니다(벌써 머리가 지끈 거리신다고요... 하지만 찬찬히 읽어보시면 별거 아니네? 이렇게 되실 겁니다).
일단, 수식은 최대한으로 빼놓고(그래도 이해되는 수준은 넣는 게 좋을 듯합니다. ^^) 간단히 설명해
드리면, 카이스퀘어 분석을 통해서 살펴본 바로는 두 가지 제목의 차이는 소비자 클릭률에 유의한 차이를 만들었다는 결론입니다.
아래에 있는 부분은 카이스퀘어 분석을 설명한 부분인데, 기초적인 통계지식이 필요한 단어나 개념이 좀 들어 있으므로 기본 개념을 이해하신 후에 한번 더 읽어 보시면 좋겠습니다.
두 가지 분석방법 중에서 보다 간단한 통계분석은 카이스퀘어 분석입니다.
"카이스퀘어 검정은 관찰 데이터와 기대 데이터의 차이를 비교해서, 차이가 있는지 판정하는 과정이다."
분석의 순서는 다음과 같습니다.
관측값 테이블 준비
기댓값 계산
(관찰값 - 기댓값) ² / 기댓값 계산
χ² 합산
p-value로 결과 해석 (p < 0.05면 유의미)
✅ Step 1: 귀무가설(H₀)과 대립가설(H₁)
H₀ (귀무가설): 메일 확인 여부는 그룹(A/B)과 독립이다. → 오픈율에 차이가 없다.
H₁ (대립가설): 메일 확인 여부는 그룹에 따라 의존한다. → 오픈율에 차이가 있다.
✅ Step 2: 관측값(Observed Values)
✅ Step 3: 기댓값(Expected Values) 계산
그렇다면 미확인의 기댓값은 어떻게 계산할지 아시겠죠?
(1000 X (880+835))/2000 = 857.5
✅ Step 4: 카이제곱 통계량 계산
이 부분은 관찰값에서 기댓값을 빼서 제곱을 한 후에 그 행의 기댓값으로 나눈다는 개념
이라고 봐주시면 됩니다. (실제 값을 넣어서 보시면 쉬우실 거예요)
A광고그룹 통계량 계산
B광고그룹 통계량 계산
총 통계량 χ2=3.5526+0.5904+3.5526+0.5904=8.286
✅ Step 5: 자유도 계산
자유도의 개념은 실제로는 쉽지 않아서 단순하게 설명드리자면
" 통계에서는 전체 합계, 평균 등 제한 조건이 있기 때문에 모든 값을 다 마음대로 정할 수 없고
일부는 "자동 결정되는 값"이 생깁니다. 그래서 자유롭게 정할 수 있는 값의 수를 자유도라고 합니다.
간단히 예를 들자면
숫자 3개의 합이 10이 되어야 해요.
첫 번째 숫자 → 내가 마음대로 정할 수 있어요. (예: 2)
두 번째 숫자 → 이것도 마음대로 정할 수 있어요. (예: 4)
세 번째 숫자 → 이미 앞에 2개를 정했으니까 자동으로 결정됨 (10 - 2 - 4 = 4)
→ 이 경우에는 내가 자유롭게 정할 수 있는 숫자는 2개 → 자유도 = 2
위의 사례를 기준으로 살펴보면
자유도=(행수−1) ×(열수−1)=(2−1) ×(2−1)=1이 됩니다.
✅ Step 6: 유의확률(p-value) 확인
자유도 1에서 χ² = 8.286이면
p-value ≈ 0.0040
기준 유의 수준 α = 0.05와 비교 시 : p-value = 0.004 <0.05⇒귀무가설 기각
→ 귀무가설이 차이 없다 이므로 "차이가 있다는 결론"
✅ 최종 결론
✔ A와 B의 메일 오픈율은 통계적으로 유의미한 차이가 있음
→ 제목 B(16.5%)가 제목 A(12%) 보다 실제로 더 효과적일 가능성이 높음.
1.5 온라인마케팅 담당자가 알아야 하는 통계지식
마케팅 실무에 꼭 필요한 통계 개념과 분석방법
통계와 관련된 많은 지식이 있다면 있을수록 좋겠지만, 최소한으로 온라인마케팅 담당자로서 알아야 할 수준의 마케팅지식은 개인적으로는 다음과 같습니다.
1) 기본적인 통계언어의 지식 : 분포, 평균, 분산, 척도, 신뢰 수준, P-Value, 자유도 등
2) 기본적인 통계분석 방법 : T-Test, 분산분석, 상관관계분석, 회귀분석(최소한 4개)
3) 엑셀을 활용(기본데이터분석 + Real Statistics)한 분석 및 해석
1.6 온라인마케팅 담당자가 통계를 싫어하는 경우
개인적인 의견이기는 하지만, 일반적으로 온라인 마케팅을 진행하는 담당자가 통계분석을 잘하지 않는 경우에는 수학과 관련된 친숙도가 낮은 경우와 분석은 할 수 있지만 그 본질적인 의미를 정확하게 이해하지 못하는 경우 그리고 마지막으로 내가 진행해 온 방식에 불만이 없고, 충분하다고 느끼는 경우가 대부분의 상황일 것이라고 생각됩니다.
A/B Test에 대한 많은 사례를 보셨지만, 실제 진행한 A/B Test의 문제점에 대한 검토를 해보지 않으신 경우라면 앞에서 언급한 부분이 또한 큰 영향을 미쳤을 수 있다고 생각합니다.
하지만, 이는 당연합니다. 통계는 일반적으로 많은 분들이 배우는 과목도 아니고 실생활에 어떻게 적용할지에 대해서는 정확하게 설명을 듣거나 생각하기 전까지는 너무 나와는 멀리 있는 이야기라고 생각되기 때문입니다.
실제로, 앞서 이야기한 기본적인 T-Test, 분산분석, 상관관계분석, 회귀분석 방법론만 충분히 연습하시고 엑셀 등을 활용해서 분석을 실행할 수 있게 된다면 거의 대부분의 현업에서 닥치는 알쏭달쏭한 상황에 대한 통계적인 분석과 의사결정을 하는데 매우 큰 도움을 받을 수 있을 것이라고 생각합니다.
따라서, 겁낼필요 없이 그저 어떻게 진행하는 것이로구나 라는 개념으로부터 점차 세부적인 부분을 이해하시면서 단계별로 반복 학습이 되신다면 충분히 내 것으로 만들 수 있을 것이라고 믿어 의심하지 않습니다.
1.7 통계적 사고란 무엇인가?
통계적 사고를 하고, 통계를 활용한다는 의미는 분석의 결과를 전략방향으로 바꾸는 능력을 의미합니다.
이러한 사고훈련의 단계는 다음과 같이 정의할 수 있습니다.
측정 → 분석 → 이해 → 실행
예를 들어, 광고 전환율이 이번에는 2.8% 인데 지난번 광고에서는 3.1%의 광고 전환율이 나타났다면
측정: 어떤 변화가 어디에서 얼마나 있었는가?
분석: 이 변화가 통계적으로 의미 있는 변화인가?
이해: 이러한 변화의 원인은 무엇이며, 어느 정도의 강도인가?
실행: 원인과 강도를 기준으로 신규 광고 기획 시 적용하고 지속 분석한다.
어쩌면 수많은 단계의 정의가 가능할 것 같지만 실제로는 앞서 이야기한 단계 정도의 과정으로 비교하고 새로운 정의와 전략적 방향을 수립하는 것이 일반적입니다. 이러한 과학적이고 체계적인 과정을 통한 의사결정의 단계가 감에 의한 의사결정의 과정보다 일반적인 사람의 경우에 실수를 줄일 수 있는 타당한 방법이므로 많은 사람이 사용한다고 보면 좋겠습니다.
물론, 이런 통계분석 없이 시장을 통찰하고 꿰뚫어 보는 천재적인 능력의 분들이 계십니다. 그런 분들은 참으로 드물지만 그렇다고 아주 없지는 않기 때문에 혹시나 나도 그런 것 같다고 착각하시는 분들도 계시는 경우가 있습니다. 그래서 어쩌면 감에 의한 결정이 현업에서도 많이 발생하는지 모르겠습니다.
하지만, 통계적 사고를 하시게 되면 적어도 그런 위험에서는 벗어날 수 있는 최소한의 안전장치는 된다라고 생각하시면 좋겠습니다. 일반적인 사람이라는 점이 좀 아쉽기는 하지만 말입니다.
1.8 통계는 미래를 예측하지 못한다.
통계를 활용할 때, 간과해서는 안 되는 부분이 있습니다.
통계는 기본적으로 과거의 현상을 근거로 의사결정을 하는 프로세스입니다. 따라서 결코 변화가 심한 미래를 예측하는 것은 어려운 점이 있습니다.
예를 들어 전기자동차가 없던 시대의 소비자 트렌드를 기준으로 전기자동차가 활성화된 시기의 마케팅활동을 기획 평가하고 실제로 적용하려 한다면 큰 의사결정의 오류를 만들 수밖에 없습니다.
이런 것처럼, 통계를 활용하되 어떤 환경에서 어떻게 사용해야 하는지를 이해하는 좀 더 큰 이해가 필요합니다. 맹목적인 적용보다는 큰 관점에서의 이해가 중요하다는 점을 잊지 마세요.
1.9 첫 장을 마무리하며.
통계는 어떤 일을 기획하고 실행하는 실무자에게 가장 강력한 설계 도구입니다.
우리가 매일 보고 있는 숫자는, 그 숫자 아래의 의미가 해석되기 전까지는 그저 숫자일 뿐입니다.
그 숫자에 의미를 부여하고, 보다 높은 확률의 전략으로 바꾸는 것
그것이 통계의 역할입니다.
이번 장이 처음 시작되다 보니 좀 길었던 것 같습니다. 하지만 차근차근 함께 하신다면 충분히 끝까지 함께 이해하고 능숙하게 활용하실 수 있는 날이 곧 오리라 생각합니다.
앞으로도 파이팅입니다.
야갤이 드림.
