인과 추론(Ep.0) - 정말 그 캠페인 때문이었을까?
인과 추론이 필요한 이유, 그리고 시작점
그 캠페인이 매출을 정말로 올렸을까요?
마케터, 기획자, 데이터 분석가라면 한 번쯤은 이런 질문을 받아본 적이 있을 것입니다. 데이터에 변화가 있었고, 우리가 어떤 조치를 취한 것도 사실입니다. 하지만 그 변화가 정말 ‘그 조치’ 때문인지는 확신하기 어렵습니다.
데이터가 있다고 해서 언제나 인과를 말할 수 있는 건 아닙니다. A/B 테스트는 인과 관계를 증명하는 가장 강력한 방법이지만, 실무에서는 현실적인 제약 때문에 실행하기 어려운 경우가 많습니다.
이번 시리즈에서는 실험이 어려운 상황에서도 실험처럼 인과 효과를 추정할 수 있는 분석법, 즉 ‘준실험 기법(Quasi-Experimental Methods)’을 소개하려 합니다.
1️⃣ 왜 인과 추론이 중요한가?
데이터 분석에서 가장 자주 마주치는 질문은 단순하지만 본질적입니다.
“이 변화는 왜 일어난 걸까?”
어떤 마케팅 캠페인을 진행했더니 구매 전환율이 올랐고, 새로운 기능을 출시했더니 체류 시간이 늘었습니다.
겉보기엔 그럴듯한 인과 관계처럼 보이죠. 하지만 우리가 보통 이야기하는 이런 ‘원인과 결과’는 사실, 진짜 인과 관계라기보다는 단지 ‘함께 변화한 것’(상관관계) 일 수 있습니다.
상관관계와 인과관계의 차이
상관관계(correlation)는 두 현상이 함께 변화하는 것을 의미합니다.
예: 여름에 아이스크림 판매량과 익사 사고 수가 함께 증가
인과관계(causation)는 한 현상이 다른 현상의 원인이라는 뜻입니다.
예: 무더위(원인)가 아이스크림 판매와 익사 사고(결과)에 모두 영향을 줌
즉, 아이스크림을 많이 팔아서 익사 사고가 늘어난 게 아니라, 공통된 제3의 원인(날씨) 때문인 거죠.
비즈니스에서도 이런 혼동은 자주 일어납니다. 어떤 이벤트 이후의 성과를 단순히 그 조치의 ‘효과’로 오해하면, 잘못된 전략을 반복하거나 왜곡된 인사이트로 의사결정을 하게 됩니다.
분석가의 임무는 ‘숫자’가 아니라 ‘원인’을 밝히는 것
분석은 단순한 숫자 해석을 넘어, 변화의 원인을 구조적으로 이해하는 일입니다. 그래서 우리는 인과 추론(Causal Inference)이라는 사고방식이 필요합니다. 숫자 너머의 인과를 밝혀야, 진짜 의미 있는 의사결정을 할 수 있기 때문입니다.
2️⃣ 실험의 이상과 현실의 괴리: A/B 테스트의 제약들
가장 이상적인 인과 추론 방법은 A/B 테스트입니다. 두 그룹을 무작위로 나누고(실험군/대조군), 한쪽에만 처치를 적용한 뒤 결과를 비교하는 것이죠.
하지만 실무에선 이 실험이 항상 가능하지 않습니다. 다음은 A/B 테스트를 수행하기 어려운 대표적인 상황들입니다.
1. 법적, 윤리적, 조직적 제약
✔️ 병원에서 새로운 치료법을 무작위로 적용하는 것은 윤리적 문제를 유발할 수 있습니다.
✔️ 기업 내 정책상, 특정 고객에게만 혜택을 주는 행위가 금지되는 경우도 있습니다.
2. 전사 프로모션처럼 ‘모두에게 적용해야 하는’ 상황
✔️ 블랙프라이데이 같은 대규모 세일 이벤트는 모든 고객을 대상으로 하기에 대조군 설정 자체가 불가능합니다.
3. 외부 요인의 간섭
✔️ 정부 정책, 계절 변화, 사회적 이슈 등 외부 변화가 개입되면 실험 조건이 왜곡됩니다.
✔️ 예: 광고를 집행했는데, 마침 그 시기에 경쟁사의 가격 인하가 동시에 발생했다면?
4. 고객 세분화 불가능
✔️ 신규 고객이 너무 적거나, 기존 고객과 특성이 너무 달라서 무작위 할당이 현실적으로 어려운 경우
5. 무작위 배분이 어렵거나 의도적으로 조작되는 상황
✔️ 예: “10만 원 이상 구매 시 쿠폰 제공” 조건을 알고 고객이 일부러 행동을 조정하는 경우. 이럴 땐 무작위 배정이 무너지고, 실험의 타당성이 손상됩니다.
이런 제약들 때문에, 실제 실무에서는 A/B 테스트를 하고 싶어도 못 하는 경우가 많습니다. 그래서 우리는 실험을 대체할 수 있는 방법, 즉 준실험(Quasi-Experiment)이라는 접근법을 고민하게 됩니다.
3️⃣ 준실험의 등장: 실험을 못할 때, 실험처럼 분석하는 법
준실험(Quasi-Experiment)은 이름 그대로 ‘완전한 실험은 아니지만, 실험처럼 인과 효과를 추정할 수 있는 방법’입니다.
A/B 테스트처럼 무작위 배정을 할 수는 없지만, 관찰 데이터를 분석하는 방식으로 실험을 모방해 인과 효과를 추정합니다.
관찰 데이터를 기반으로 인과를 추정하는 법
준실험은 다음과 같은 아이디어에 기반합니다.
✔️ 무작위 대조군이 없더라도, 유사한 비교군을 만들거나
✔️ 시간 흐름을 이용하거나,
✔️ 정책의 기준선(컷오프)을 활용하거나,
✔️ 외부 요인(조작변수)을 빌려와서
→ 실험처럼 인과 효과를 추론할 수 있다는 것입니다.
이 시리즈에서 다룰 네 가지 준실험 기법
이후 시리즈에서는 실무에서 널리 활용되는 4가지 준실험 방법을 구체적인 사례와 함께 소개할 예정입니다.
Ep.1: 이중차분법 (DiD) – “시간의 흐름을 비교하라”
시간 흐름 전후 + 처리군/대조군
평행 트렌드 가정과 해석 예시
어떤 정책/캠페인의 전후 효과 분석에 매우 적합
Ep.2: 조작변수법 (IV) – “숨겨진 변수와의 싸움”
내생성 문제 설명
조작 변수의 요건과 해석 예시
노출-결과 간의 상호작용 우려가 있는 상황에 적합
Ep.3: 회귀 불연속 설계 (RDD) – “기준점 하나로 나눈 실험”
컷오프 기준의 정의와 전제 조건
RDD의 예시(쿠폰 제공)와 시각화 기반 분석
정책 변화나 이벤트의 임계값이 존재할 때 효과적
Ep.4: 매칭법 (Matching) – “공정한 비교를 위한 짝짓기”
성향 점수 매칭(PSM) 설명
실무에서의 적용 사례와 코드 예시
다양한 고객 특성을 보정해, 더 공정한 비교를 가능하게 하는 방법
데이터를 다룬다는 건, 단지 수치를 읽는 것이 아닙니다. 그 수치에 담긴 변화의 원인을 찾아내는 일입니다. A/B 테스트는 이상적이지만, 현실에서는 실험이 불가능한 경우가 더 많습니다. 그래서 실험처럼 생각하고, 실험 없이 인과를 추정할 수 있는 방법을 익히는 것이 중요합니다.
다음 편부터는 실무에서 적용 가능한 대표적인 준실험 기법을 하나씩 소개해드릴 예정입니다.
