도대체 P-value 가 뭔가요-2편

제2편 모집단 평균과 Sample이 비슷한 경우

지난 글에 이은 2편입니다.

지난 글에서 우리는 다음을 배웠습니다. 오늘은 빵집에서 고객과 손님이 빵의 무게로 벌이는 논쟁을 해결하는 실마리를 p-value로 만들어 볼게요.

오늘의 스토리: 빵집 사장님의 고민

빵집 사장님: "우리 빵은 80g으로 만들고 있는데... 손님들이 자꾸 가볍다고 하네요 �"

통계 탐정 (우리): "샘플을 측정해서 P-value로 진실을 밝혀드리죠!"

1단계: 가설 세우기 (복습)

귀무가설(H₀): 빵 무게는 80g이 맞다 (μ = 80)

대립가설(H₁): 빵 무게는 80g이 아니다 (μ ≠ 80)

유의 수준(α): 0.05 (5% 오류 허용)

쉽게 말하면?

귀무가설 = "문제없어요, 정상이에요"

대립가설 = "뭔가 이상해요!"

유의 수준 = "5% 확률로 실수할 수 있어요"

2단계: P-value가 뭔데?

P-value: "귀무가설이 맞다고 가정했을 때, 지금 관측된 결과(또는 더 극단적인 결과)가 나올 확률"

피자로 이해하는 P-value

상상해 보세요:

동네 피자집에서 "피자 배달 30분 이내 보장!"이라고 해요

오늘 배달이 45분 걸렸어요

P-value = "정말 30분 이내 배달집이 맞다면, 45분 이상 걸릴 확률"

P-value가 작다 = "이건 우연이라고 보기 힘들어요. 뭔가 문제가 있어요!"

P-value가 크다 = "충분히 일어날 수 있는 일이에요. 우연이예요!"

3단계: Python으로 실전 검정!

시나리오 1: 빵 무게가 가볍다! (문제 있음)

측정결과 SAMPLE 평균이 76.4 gram으로 모집단 평균인 80 그램보다 작다면 문제 있음.

시나리오 2: 빵 무게 정상! (우연한 차이)

측정결과 SAMPLE 평균이 80.5 gram으로 모집단 평균인 80 그램보다 근소한 차이라면 우연한 차이로 문제없음.

4단계: 중간 정리 - P-value 해석 가이드

해석표

핵심 기준: α = 0.05 (5%)

P-value ≥ 0.05 → 귀무가설 채택 (문제없음, 우연)

P-value < 0.05 → 귀무가설 기각 (문제 있음, 의미 있는 차이)

쉬운 비유: P-value = "이게 우연일 확률"

P-value = 0.001 → "1000번 중 1번 일어날 일" → 우연 아님!

P-value = 0.30 → "10번 중 3번 일어날 일" → 충분히 우연!

5단계: 인터랙티브 시뮬레이션

그런데 우리는 판정에 앞서 충분한 sample수로 측정을 했느냐를 검증해야 합니다. 왜냐하면

인터랙티브 시뮬레이션: 샘플 크기의 영향

샘플 크기: 10개 샘플 평균: 79.34g P-value: 0.3640 판정: ✅ 채택 (문제없음) 샘플 크기: 30개 샘플 평균: 77.44g P-value: 0.0000 판정: ❌ 기각 (문제 있음) 샘플 크기: 50개 샘플 평균: 77.32g P-value: 0.0000 판정: ❌ 기각 (문제 있음) 샘플 크기: 100개 샘플 평균: 77.69g P-value: 0.0000 판정: ❌ 기각 (문제 있음) 샘플 크기: 200개 샘플 평균: 77.88g P-value: 0.0000 판정: ❌ 기각 (문제 있음)

시뮬레이션 결과 발견내용

샘플이 많을수록 → 표준오차 감소 → 작은 차이도 감지 가능!

샘플이 적으면 → 표준오차 증가 → 큰 차이만 감지 가능!

6단계: 실전 체크리스트

1) 가설 설정 귀무가설(H₀) 명확히 정의

대립가설(H₁) 명확히 정의

유의 수준(α) 결정 (보통 0.05)

2) 데이터 수집

샘플 크기 충분한가? (최소 30개 권장)

무작위 샘플링 했는가?

데이터 품질 확인

3) 검정 수행

적절한 검정 방법 선택 (t-test, z-test 등)

P-value 계산

검정통계량 확인

4) 결과 해석

P-value < α → 귀무가설 기각

P-value ≥ α → 귀무가설 채택

실무적 의미 해석

5) 보고

결론을 명확하게 서술

시각화 자료 첨부

한계점 언급

주의사항:

• P-value는 '효과의 크기'가 아니라 '통계적 유의성'만 알려줍니다

• 샘플이 많으면 작은 차이임에도 불구하고 유의한 결과라고 나올 수 있어요

• 실무적으로 의미 있는 차이인지도 함께 고려하세요!

조금 많은 내용을 다뤘는데, 천천히 읽어 보시면 제 의도를 알 것입니다. 다음번 글도 재미있게 준비할게요