인과 추론(Ep.1) - 이중차분법(DiD)
"시간의 흐름을 비교하라"
랜덤화 비교 시험(Randomized Controlled Trial, RCT)은 인과 추론을 위한 가장 이상적인 방법으로 평가받습니다. 마케팅 실무에서 널리 사용되는 A/B 테스트 역시 이 개념의 실전 버전이라고 볼 수 있습니다.
왜 '랜덤화'가 중요한가?
우리가 어떤 변화 (예: 광고, UI 개선, 가격 인하 등)가 실제로 성과에 영향을 미쳤는지를 알고 싶을 때, 그 변화 외에도 수많은 외부 요인들이 영향을 줄 수 있기 때문에 순수한 인과관계를 식별하기 어렵습니다.
이때 ‘랜덤화’는 교란 요인을 제거하는 가장 강력한 무기가 됩니다. 실험군과 대조군을 무작위로 배정하면, 두 집단은 모든 면에서 거의 동일한 조건을 가진 상태가 됩니다. 이 덕분에 결과 차이가 오직 ‘처치(treatment)’ 때문이라고 간주할 수 있게 됩니다.
RCT(A/B 테스트)가 어려운 상황이라면?
RCT(A/B 테스트)가 어려운 상황에서는, 대안이 필요합니다. 예를 들어, 고객 전체에게 캠페인을 적용했거나, 역사적 데이터만 존재할 때, "시간 흐름"과 "그룹 차이"를 함께 비교함으로써 인과를 추론할 수 있는 방법이 바로 이중차분법(DiD)입니다.
이중차분법이란?
이중차분법(DiD)은 다음 두 가지 비교를 동시에 수행합니다.
✔️ 시간의 변화 : 전(before) vs 후(after)
✔️ 그룹 간의 차이 : 처리집단(Treatment) vs 비교집단(Control)
아래와 같은 구조에서 처리집단의 변화 - 비교집단의 변화를 계산하여 다른 외부 요인의 영향을 최대한 제거하고, 정책 또는 행동의 인과효과를 추정합니다.
� 목표 : 처리군과 대조군 간의 시간에 따른 변화 차이를 분석하여 특정 정책이나 이벤트의 효과를 추정
� 예시 : 특정 지역에서만 적용된 마케팅 캠페인이 해당 지역의 매출 증가에 미친 영향을 비교
✔️ A2 - A1 = 400 사실의 결과
✔️ B2 - B1 = 200 반사실의 결과
✔️ {(A2 - A1) - (B2 - B1)} = 200 인과 효과
이중차분법이 성립하기 위한 조건
이중차분법(Difference-in-Differences)은 A/B 테스트처럼 직접 실험이 어려운 상황에서도 인과 효과를 추정할 수 있는 강력한 도구입니다. 하지만 이 방법을 신뢰하려면 반드시 충족되어야 할 두 가지 전제 조건이 있습니다.
1. 평행 추세 가정 (Parallel Trend Assumption)
실험군과 대조군은 개입 이전에 유사한 트렌드를 보여야 합니다. 예를 들어, 광고 효과를 측정하기 위해 A 지역에서는 광고를 집행하고, B 지역은 그대로 둔다고 가정합시다. 이때 이중차분법이 유효하려면 광고 전 기간 동안 A와 B 지역의 매출 흐름이 비슷한 방향(평행 추세)을 가져야 합니다. 핵심은 “비교 가능성(comparability)”입니다. B 지역의 매출은 “A 지역이 광고를 하지 않았다면 어떻게 되었을까?”를 보여주는 반사실(counterfactual)의 대리 지표이기 때문에, 개입 이전의 조건이 유사해야 신뢰할 수 있는 비교가 가능합니다.
2. 외부 요인의 영향 배제 (No Confounding Shocks)
처치(treatment)가 시행되는 동안, 결과 변수에 영향을 미칠 수 있는 다른 변화가 발생하지 않아야 합니다. 예를 들어, 광고를 시작한 바로 그 시점에 A 지역 매장에서 판매하는 제품을 유명 인플루언서가 착용하면서 화제가 되었다고 가정해 봅시다. 이 인플루언서가 A 지역에만 영향력이 있는 경우, 이후의 매출 증가는 광고 때문인지, 인플루언서 노출 때문인지 구분할 수 없게 됩니다.
이처럼 처치 외의 이벤트가 개입되면, 이중차분법이 추정한 효과는 실제 광고 효과가 아닐 수 있습니다. 결과에 영향을 줄 수 있는 외생적인 변수는 반드시 확인하고 통제해야 합니다.
이중차분법 실무 분석 사례
아래에 실무에서 자주 접하는 이중차분법 대표 분석 사례를 소개합니다.
전체 유저 대상 캠페인 효과 분석
예 : "3월 1일부터 전체 유저에게 VIP 등급제를 새롭게 적용했는데, 실제로 전환율에 영향을 줬을까?”
✔️ 분석 목적 : 정책 전후의 전환율 차이를 비교군과 함께 비교
✔️ 행동 기반 대조군 설정 (정책의 영향을 덜 받은 고객)
Treatment : 정책 이후 ‘VIP 등급이 변동된’ 고객 → 등급제 개편으로 혜택이 실질적으로 늘어난 유저
Control : 정책 이후에도 등급 변동이 없었던 일반 고객 또는 미사용자 → 정책의 영향을 거의 받지 않은 대조군
✔️ 분석 개요
종속 변수 : 구매 전환 여부 (0 또는 1)
정책 적용일 : 2025-03-01
분석 기간 : 2025-01-01 ~ 2025-03-31
처리군 : VIP 혜택이 개선된 고객
대조군 : 등급이 변경되지 않았거나 혜택 변화가 없는 고객
비교 시점 : Before (1월, 2월), After (3월)
✔️ 분석 결과
모델 결과
* did : 0.36 → 정책 적용 이후 Treatment 그룹의 전환율이 36% p 증가
* p-value : 0.002 (유의미)
* 1~2월 동안 Treatment와 Control 그룹 모두 유사한 전환율 추이를 보였으며, 이는 평행 추세 가정이 성립함을 시각적으로도 확인할 수 있습니다.
✔️ 결론
정책 도입 전 2개월 동안 Treatment와 Control 그룹 간 전환율은 거의 동일했으나, 정책 시행 이후 Treatment 그룹의 전환율이 36% p 급등하며, 이는 정책의 인과 효과로 확인되었습니다. 이중차분법 회귀 분석에서도 해당 효과는 통계적으로 유의미함을 보였습니다.
이밖에도 이중차분법은 다음과 같은 사례에서도 활용될 수 있습니다.
지역 기반 광고나 오프라인 프로모션의 효과 측정
예) "A 지역에서만 진행된 옥외 광고 캠페인이 매출에 영향을 줬을까?"
처리군: A 지역 매장 또는 A 지역 고객
대조군: B 지역 또는 광고가 집행되지 않은 유사 지역의 매장/고객
단, 광고 외의 조건(인구 특성, 매장 규모, 과거 매출 트렌드 등)이 최대한 유사해야 함
UI/UX 변경 또는 기능 개편의 효과 추정
예) "모든 사용자에게 적용된 장바구니 화면 개편이 구매 전환율에 어떤 영향을 줬을까?"
처리군: 3월 이후 장바구니 개편을 사용하게 된 전체 사용자
대조군: 3월 이전 사용자 그룹 (단, 충성도나 유입 특성 등은 유사해야 함)
또는 과거 개편 전/후의 사용 패턴이 비슷했던 세그먼트를 기준으로 설정 (예: 개편 이전 2개월 동안 구매율이 유사했던 세그먼트 기반 비교)
정책 변경이나 등급제 개편 효과 파악
예) "VIP 등급 기준이 변경되었을 때, 실제 재구매율이 바뀌었을까?"
처리군: 정책 개편으로 VIP 혜택이 늘어나거나 등급이 상향된 고객
대조군: 개편 이후에도 등급 변화가 없었던 일반 고객
또는 정책 전후 동일한 조건을 유지한 고객, 혜택을 거의 받지 않은 미사용자 그룹도 가능 (단, baseline 특성이 유사해야 함)
실험이 어려운 현실, 인과 추론은 가능하다
현실의 마케팅 환경에서는 모든 상황에서 A/B 테스트처럼 깔끔한 실험을 설계하기 어렵습니다. 이미 캠페인이 전체 유저에게 적용되었거나, 시간의 흐름만이 남아 있는 경우가 대부분이죠. 하지만 그렇다고 인과 추론이 불가능한 것은 아닙니다.
이중차분법(DiD)은 "실험을 하지 못한 상황에서 인과를 추정할 수 있는 가장 강력한 도구 중 하나"입니다. 물론 전제 조건을 충족해야 하고, 설계와 해석에 주의가 필요하지만, 잘 설계된 분석은 데이터 속에 숨은 정책의 효과를 끌어내는 훌륭한 방법이 될 수 있습니다.
앞으로 여러분이 어떤 마케팅 액션을 평가하든, 단순한 "전/후 비교"를 넘어서 Control을 함께 고려하고, 평행 추세와 외부 요인을 점검하는 습관을 갖는다면, 데이터 기반의 판단은 훨씬 더 정교해질 것입니다.
