2장 실무에 필요한 최소한의 통계
숫자의 기본 원리는 이해하고 있어야 전략이 보인다.
2.1 왜 통계 ‘기초’를 알아야 할까?
통계 기초는 ‘이론’이 아니라 ‘언어 중에서도 단어’입니다.
이 장에서 다루는 평균, 분산, 상관관계, 정규분포, p-value 같은 개념은 이후에 우리가 함께 이야기하며 등장할 A/B 테스트, 회귀분석, 고객 세분화 등 모든 실무 분석의 말의 단위가 됩니다.
예를 들어,
"이번 캠페인 전환율이 평균보다 낮았습니다."
"신뢰구간을 벗어나서 통계적으로 유의미한 차이로 보긴 어렵습니다."
"이 변수와 전환율 사이에는 상관관계가 없네요."
이런 문장들을 이해하고, 말하고, 해석할 수 있어야 온라인 마케터로서 데이터기반 마케팅 실행의 계획과 실행보고 그리고 향후 전략을 실행할 수 있습니다.
이 책을 읽으시는 많은 분들도 이 부분이 필요하다고 생각하셔서 읽으시는 것 아니실까 생각합니다.
통계학은 쉬운 학문은 아니고, 그 하나의 의사결정과 적용을 위해서 생각해야 하는 수많은 가정과 기본적인 제약조건들이 많이 있습니다. (실제 공부를 하는 경우에는 매우 엄격하게 적용되어야 합니다.)
하지만, 실무에서는 그렇게 적용한다고 하면 거의 대부분의 상황에서 통계를 적용하는것이 어려울 수 있습니다.
물론, 과거보다 온라인 데이터의 경우에는 정돈되고 체계적으로 수집되는 자료들이 많아서 과거 오프라인 위주의 현업을 할 때 모을 수 있었던 자료들 보다는 훨씬 개선 된 상태의 Data를 볼 수 있는 것이 사실입니다.
따라서 최근들어, 온라인마케팅을 중심으로 하시는 분들이 기고하신 글에서 "과거의 마케팅은 죽었다" 측정되지 않는 데이터 없는 활동은 이제 그만 등의 라는 좀 거친 표현을 쓰시기도 하는 것이 아닐까 생각합니다. 과거 마케팅을 전공하고, 현재까지 온라인마케팅을 포함한 전체 마케팅을 CMO로서 컨설턴트로서 실행하고 있는 저로서는, 과거의 마케팅과 현재의 마케팅이 크게 다르지 않고 현재의 차이에 대한 불만은 소비자가 엄청나게 빠르게 변화하는 부분에 대한 마케팅의 약간 느린 적응과정이라고 생각합니다. 마케팅이라는 기본적인 큰 틀에서의 개념은 바뀌지 않았다고 생각하니까요.
이야기가 잠시 옆으로 갔는데, 이 통계라는 이야기를 하는 문장을 만드는 단어, 뼈대가 될 수 있는 아주 필요한 키워드들을 살펴보도록 하겠습니다. 이정도는 어쩔 수 없이 꼭 이해하시고, 기억해야만 합니다.
2.2 통계의 기초 개념
1. 척도 (Scale)
"어떤 데이터를 어떻게 측정했느냐"를 말해.
명목척도 → 이름만(남/여, 20대/30대/40대, 기혼/미혼 등)
서열척도 → 순서 있음(1등/2등/3등, 1위/2위/3위 등)
등간척도 → 순서 + 간격 있음(만족도 5점에 4점 등)
비율척도 → 순서 + 간격 + 절대 0 있음(무게 250g, 길이 100m 등)
2. 변수 (Variable)
"변하는 것"을 말해.
데이터를 수집하거나 분석할 때의 대상.
독립변수 → 원인(공부하는 시간)
종속변수 → 결과(시험 성적)
이산형 → 뚜렷한 개수(몇 일을 공부했나 측정)
연속형 → 무한히 세밀한 값(몇 시간 몇 분을 공부했나 측정)
3. 분포 (Distribution)
"데이터가 어떻게 퍼져 있는지"를 보여주는 그림이나 패턴.
정규분포 → 가장 기본, 대칭(일반적으로 가장 많이 사용하는 분포)
비대칭분포 → 한쪽 치우침
이항분포 → 두 가지 결과(하거나, 안하거나의 경우에 사용)
포아송분포 → 희귀한 사건 수
4. 평균(Mean)과 중간값 (Median)
가운데를 의미하는 개념이기는 하지만 사실은 다른 숫자일 가능성이
높은 개념
평균(Mean) : 데이터를 모두 더한 후 개수로 나눈 값
마케터가 자주 쓰는 ‘평균 전환율’, ‘평균 구매 금액’의 산정 기준
예: A 캠페인 전환율: 2.1%, B: 3.0%, C: 2.9%
평균 전환율 = (2.1 + 3.0 + 2.9) / 3 = 2.67%
하지만 평균은 극단값에 영향을 크게 받습니다.
중앙값(Median) : 데이터를 작은 수부터 큰 수로 정렬한 중 가운데 값
평균보다 극단값에 덜 영향을 받음
예: 고객 구매 금액: 20,000 / 25,000 / 27,000 / 28,000 / 2,000,000원
평균 = 약 420,000원 (왜곡됨)
중앙값 = 27,000원 (실제 중심과 유사)
마케팅 보고서 작성 시, 평균과 중앙값을 함께 보여주는 것이 중요합니다.
이탈률, LTV, 구매 빈도 등은 평균이 전체를 잘 대표하지 못할 수 있기 때문입니다.
5. 분산(Variance)과 표준편차 (Standard Deviation)
분산은 "데이터의 각 숫자가 평균에서 얼마나 퍼져 있는지"를 보여주는 숫자.
각 수치가 평균에서 얼마나 떨어져 있는지를 계산하는 것이며, 값이 클수록
데이터의 ‘흩어짐’이 많고, 통계에서 안정성과 신뢰도가 낮다고 판단하는 기준
예: 광고 캠페인 A의 일간 전환율: 3.1%, 3.0%, 2.9%, 3.2%, 3.1%
캠페인 B는: 2.0%, 3.5%, 1.9%, 4.2%, 3.3%
라고 할 때, 두 캠페인 평균이 같더라도, B의 성과는 상대적으로 불안정.
→ 왜냐하면 분산과 표준편차가 크기 때문에 변동성이 높다고 판단됩니다.
표준편차는 "분산의 제곱근"을 의미하며, 실무에서는 표준편차를 더 자주 사용
값이 작을 수록 안정적이고 예측의 정확도가 높아질 수 있다고 판단합니다.
A와 B의 분산과 표준편차 계산하는 방법은(모르셔도 되는데 - 엑셀에 있습니다)
크게 필요는 없지만 적어 놓기는 하도록 하겠습니다.
분산의 계산
표준편차의 계산
캠페인 A의 분산 표준편차 계산
캠페인 B의 분산 표준편차 계산
* A와 B는 평균값의 차이가 크지는 않으나 표준편차의 차이가 큰 것으로 보아 캠페인 B의 안정성이 A보다
낮아서 신뢰할 수 없다고 판단할 수 있음.
6. 상관관계와 인과관계
상관관계와 인과관계는 두 변수사이의 관계를 설명하는 것으로 헷갈릴 수
있는 문제가 있어 잘 구분해 놓는것이 중요하니 잘 기억하시기 바랍니다.
상관관계(Correlation) : 두 변수 사이에 함께 변하는 경향이 있는 것
한 변수가 증가할 때 다른 변수도 증가하거나 감소함
두 변수간의 관계가 원인과 결과는 아님
예: 아이스크림 판매량이 늘수록 식중독 사고도 늘어남 (둘 다 여름에 증대)
인과관계(Causation) : 한 변수가 다른 변수에 직접적인 영향을 주는 것
원인과 결과가 명확히 연결되어 있음
예: 운동을 하면 체중이 감소한다 (운동이 체중 감소의 원인)
요약
상관관계는 "같이 변한다"
인과관계는 "A가 B를 변화시킨다"
상관관계가 있다고 해서 인과관계가 있는 것은 아니다
7. 신뢰수준과 유의수준
신뢰수준 (Confidence Level)
추정한 값이 실제 값을 포함할 확률(신뢰의 정도)
예: 신뢰수준 95%는 “100번 중 95번은 이 구간이 진짜 값을 포함한다”는 뜻
값이 높을수록 더 보수적인 판단(의약품 같은 경우는 99% 이상수준 사용)
유의수준 (Significance Level, α)
귀무가설을 기각할 때 허용하는 오차 가능성, 일반적으로 5%(α = 0.05)를
사용하지만 사회과학에서 10%를 사용하는 경우도 있음.
예: 유의수준 5%는 “5% 확률로 참인 귀무가설을 기각할 수 있는 확률”을
의미하며 작을수록 더 엄격한 기준임
* 귀무가설과 대립가설은 아래에 간단한 설명을 참조하세요
관계 정리
신뢰수준 = 1 – 유의수준 → 예: 유의수준 0.05 ↔ 신뢰수준 95%
8.양측검정 (Two-tailed test)
"크거나 작거나, 어떤 방향으로든 통계적으로 차이가 있는지 검정하는 것."
언제 사용? 차이만 있으면 돼. 방향은 중요하지 않을 때.
예: "A광고와 B광고 클릭률이 다르다" (A가 더 좋을 수도, B가 더 좋을 수도)
귀무가설(H₀)과 대립가설(H₁)
보통 귀무가설은 내가 원하지 않는 경우를 귀무가설이라하고 대립가설은 내가
원하는 결과를 가정하는 가설을 대립가설이라고 함.
보통은 광고가 효과가 있기를 원하기 때문에 효과없음을 귀무가설, 효과있음을
대립가설로 설정함.
H₀: A광고 클릭률 = B광고 클릭률
H₁: A광고 클릭률 ≠ B광고 클릭률 (방향 무관, 다르기만 하면 됨)
특징은 p-value를 양쪽으로 계산하고 귀무가설 기각의 기준이 엄격해 (p < 0.05를
충족시키기 조금 더 어렵다-왜? 양쪽으로 나눠서 귀무가설을 기각하기 때문)
귀무가설의 기각? : 판단하는 기준값이 기각을 하지 못하는 부분에서 벗어난 값이
나오면 보통 차이가없다라는 귀무가설이 틀렸다 라는 의미
그림으로 보면
정규분포 곡선의 양쪽 끝을 본다 (두 쪽 다 관심) P-Value라는 값을 기준으로 5%
라면 양측검정은 양쪽에 2.5%씩이 귀무가설을 기각할 수 있는 영역이 된다.
다음의 그림을 보면
H0:μ=50,Ha:μ≠50 즉, 어떤 평가의 결과가 50이다 라고 이야기할 때 이것이 맞을지
틀릴지를 판단하는 신뢰수준 5%라면 양쪽반씩 넣어서 평가한다. 이런의미 입니다.
출처 : https://stats.libretexts.org/8. 단측검정 (One-tailed test)
"한 방향으로만 차이가 있는지 검정하는 것으로 "특정 방향만 관심 있을 때.
예를들어 : "A광고가 B광고보다 클릭률이 높다" 만 보고 싶을 때.
귀무가설(H₀)과 대립가설(H₁) 예시
H₀: A광고 클릭률 ≤ B광고 클릭률
H₁: A광고 클릭률 > B광고 클릭률 (한쪽 방향만)
특징은 양측검정과 달리 p-value를 한쪽만 계산하고, 검정이 덜 엄격해 (p < 0.05
충족이 약간 더 쉬워진다)
그림으로 보면 분포 곡선의 한쪽 끝만 본다 (오른쪽 또는 왼쪽 하나만)
다음은 단측검정의 예이다.
이 경우는 H0:μ≥10,Ha:μ<10, 즉 귀무가설은 10보다 크거나 같다이고 대립가설은
10보다 작다 이다.
출처 : https://stats.libretexts.org/다음의 그래프는
H0:μ≤0.2,Ha:μ>0.2, 즉 귀무가설은 0.2보다 작거나 같다 대립가설은
0.2보다 크다라고 할 수 있고 통계치가 어떤 값을 갖는지 확인해서 가설을
채택 혹은 기각하게 된다.
출처 : https://stats.libretexts.org/9. P-value란?
"이 결과가 단순한 우연으로 나타날 확률"을 숫자로 나타낸 것으로 (숫자는 항상
0~1 사이에 위치합니다. 예: 0.03 → 3%) 다시 말해
"P-value가 작다" → " 이건 우연히 일어났을 가능성이 거의 없다" → "진짜 차이나
효과가 있다고 믿을 수 있다."
"P-value가 크다" → "이 결과는 우연히 일어났을 가능성이 크다" → "차이나 효과가
있다고 말하기 어렵다."
P-value의 공식적 정의
가설검정(Hypothesis Testing)에서 귀무가설(null hypothesis)이 맞다는 가정하에,
지금처럼 극단적인 결과(실제 효과가 있다는)가 나올 확률.(귀무가설 = "차이/효과없다"
가 기본 가정)
* 보통은 기준을 0.05를 사용하지만, 0.01이나 0.001처럼 더 엄격한 기준도 적용.
예를 들어 신약 테스트를 한 결과 : p = 0.02가 나왔다면 이 약이 효과 없는데 이런
결과가 나올 확률은 2% 밖에 안 된다 → 판단의 기준을 0.05로 설정하면 약이 진짜
효과가 있을 가능성이 있다고 판단할 수 있다.
하지만, 의약품의 경우에는 0.05가 아니라 보다 엄격하게 설정해서 0.01을 기준으로
하는 경우가 많아서 0.01을 기준으로 설정하면 효과가 없다고 판단됩니다.
광고 클릭률을 예로 들면 만약 통계량 계산을 했는데 p값이 = 0.30이 나왔다면 → 기준
P값을 0.05로 설정한 경우 훨씬 큰 값을 보였기 때문에 이 차이는 "그냥 운 좋게 클릭
차이가 난 것 같다." → "광고 효과 차이 있다고 보기 어렵다."로 결론을 낼 수 있습니다.
간단하게 그래프로 설명하자면
아래에서 양측검증이기 때문에 P값이 0.05를 반으로 나눈 각각 0.025인데 실제 측정한
통계량이 0.3이 나왔다면 가운데 색칠하지 않은 부분에 값이 위치하고 결국 귀무가설을
기각할 수 없는 결과를 보이게 된다는 의미입니다.
https://stats.libretexts.org/10. 통계적으로 유의(Significant)한 차이란?
앞서 우리가 이야기한 양측 단측 검정에서 파생되는 이야기 이기는 한데, 많은 경우에
"이거 통계적으로 유의한 차이야?" 라고 불어보는 경우가 있습니다.
왜냐하면, 소비자 선호도를 물어봤는데 A안은 3.5, B안은 3.7로 나왔을 경우 이 차이가
실제로 통계적으로도 차이가 있는것인지? 아니면 A안과 B안의 차이가 없는데 숫자만
살짝 다르게 나온것인지를 검토해 볼 필요가 있습니다.
이 이야기가 결국 A/B테스트에도 적용됩니다.
A안의 클릭율이 15%, B안의 클릭율이 16% 라고 했을 때 B안이 A안보다 1%높을 때
이게 정말 B안이 좋아서 B의 클릭율이 높게 나온것인지 아니면 오류로 인해서 A안과 B안
차이가 없는데 1%는 다르게 나온 것인지를 살펴볼 필요가 있다는 점 입니다.
현업에서는 많은경우에 1%가 높으니 B안을 선택하는 경우도 있을 것 같지만 그렇게 하면
실제로 A와 B가 통계적으로 유의한 차이가 없음에도 B를 선택하는 문제가 있을 수 있다는
이야기 입니다.
따라서, 통계분석을 통해 P-value를 확인하고 본인이 세운 기준값을 넘는 통계적으로 유의한
차이를 보이는지 확인해야 하는 것입니다.
이렇게 간단한 통계의 기초를 살펴보는 것 만으로도 어려웠는데, 앞으로는 얼마나
더 어려울지 눈앞이 캄캄하신가요? 아닙니다. 어쩌면 지금까지 어려웠던 내용이
앞으로는 좀 더 쉽고 단순하게 정리되고 좀 더 실무 중심으로 이야기 할 수 있는
기반이 된다고 생각하고 앞으로 조금만 더 기운내서 함께 공부해 보시면 좋겠습니다.
