무질서 속의 완벽한 질서: 중심한계정리와 가설검정

1. 엉망진창인 세상에서 '종(Bell) 모양'을 찾아내는 마법

우리가 사는 세상은 사실 무질서합니다. 빵집에 들르는 손님들의 방문 시간은 제멋대로(푸아송 분포)이고, 갓 구워낸 식빵의 무게는 반죽기 컨디션에 따라 들쭉날쭉합니다. 하지만 통계학자들은 이 혼돈 속에서 기적 같은 법칙 하나를 발견했습니다. 그것이 바로 중심한계정리(Central Limit Theorem, CLT)입니다.

중심한계정리는 아주 단순하면서도 강력합니다. "원래 데이터가 어떤 모양(분포)이든 상관없이, 거기서 충분한 수의 샘플을 뽑아 그 '평균'을 구하면, 그 평균들의 분포는 반드시 정규분포(Normal Distribution)를 따른다"는 법칙입니다.

저희가 이미 공부한 이항분포나 포아송 분포도 샘플 사이즈가 커지면 결국 이 정규분포라는 거대한 바다로 모이게 됩니다. 이 정규분포야말로 우리가 '가설검정'이라는 도구로 세상을 판단할 수 있게 해주는 든든한 배경이 됩니다.

2. 가설검정: "우연일까, 아니면 진짜일까?"

만일 제가 가상으로 운영하는 빵집의 시그니처 메뉴인 '소금빵'을 생각해 봅시다. 저는 우리 소금빵의 무게가 평균 80g이라고 홍보하고 있습니다. 그런데 어느 날 까칠한 손님이 빵 10개를 사 가더니 투덜거립니다. "평균 80g이라더니, 제가 산 빵들은 너무 가벼운데요?"

이때 여러분은 어떻게 대응해야 할까요? "아니, 빵 무게가 좀 다를 수도 있죠!"라고 감정적으로 대응하는 대신, 통계라는 방패를 들어야 합니다. 여기서 가설검정이 시작됩니다.

귀무가설(H₀)은 영어로 null hypothesis로 현재상태와 “변화나 효과가 없다”는 기본 입장을 말합니다.

귀무(歸無)’라는 말은 귀(歸): 돌아갈 귀, 무(無): 없을 무로 “무(없음)로 돌아간다의 의미고 일본식 수학용어로 추정(저자주)이 됩니다. 두 사람이; 코피 나게 서로 맞다고 싸웠는데 새로운 것을 발견하지 못하고 집으로 돌아갔다. 이렇게 이해하세요.

통계학에서는 일단 아무 일도 일어나지 않았다고 가정하고 출발합니다.

예: “빵의 평균 무게는 80g이다”, “신약은 기존 약과 효과가 같다”, “남녀의 평균 키 차이는 없다”.

즉, 현 상태(status quo)를 지키는 가설이에요.

대립가설(H₁)은 영어로 alternative hopthesis : “변화나 효과가 있다”는 주장을 말합니다.

우리가 실제로 검증하고 싶은 주장이 여기에 들어갑니다.

예: “빵의 평균 무게는 80g이 아니다”, “신약이 기존 약보다 효과가 더 좋다”, “남녀의 평균 키가 다르다”.

즉, 새로운 변화나 차이가 존재한다는 가설이에요. 두 사람이 피나는 토론 끝에 그래 "내가 졌다"라고 인정하는 거죠.

우리의 경우

귀무가설($H_0$): "우리 집 빵 무게의 평균은 80g이다. (손님이 산 빵이 가벼운 건 단순한 '우연'이다.)"

대립가설($H_1$): "우리 집 빵 무게의 평균은 80g이 아니다. (손님의 주장이 맞다.)"

이제 우리는 하루 종일 생산한 빵의 무게를 일일이 저울에 측정해서 평균값을 계산하면 됩니다. 1시간 동안 생산한 빵보다는 하루 종일 생산한 방의 평균, 아니면 신뢰도를 높이기 위해 1주일 동안 생산한 빵의 무게를 측정하면 저 정확한 평균 무게를 확인할 수 있겠지요?

우리가 대학 초년병 때 배운 중심한계정리(Central Limit Theorem)에 따르면 “표본 평균은 원래 데이터 모양이 어떻든 샘플 수가 많아지면 결국 정규분포(종 모양)처럼 된다”는 이론입니다. 동전의 앞면 뒷면 등 어떤 분포에서도 표본을 여러 번(1만 번 등) 뽑아 평균을 계산하면, 그 평균들의 분포는 점점 종 모양(정규분포)에 가까워진다는 말씀이죠.

원래 데이터가

한쪽으로 치우친 분포든

뾰족한 분포든

심지어 정말 엉뚱한 모양이든

상관없이 표본 평균만 보면 정규분포처럼 된다는 거예요.

우리는 중심한계정리에 따라 빵 무게의 평균이 그리는 정규분포 곡선을 알고 있습니다. 만약 손님이 가져간 빵 10개의 평균 무게가 이 곡선의 '아주 끝자락(보통 5% 미만의 확률)'에 위치한다면, 우리는 "이건 우연히 일어날 수 없는 일이야!"라고 판단하고 귀무가설을 기각합니다. 즉, 공정에 문제가 생겼음을 인정하는 것이죠.

sample 수가 많아지면서 종모양으로 바뀌는 것이 보이죠?

다음 시간에는 과연 80 gram이 맞는지 아닌지를 P-value라는 개념을 적용해서 해설을 해볼게요.

"결과: P-value가 0.05보다 작으므로 귀무가설을 기각합니다. (빵 무게에 문제가 있습니다!)"

"결과: P-value가 0.05보다 크므로 귀무가설을 채택합니다. (우연히 발생한 차이입니다.)"

이런 내용을 설명하는 흥미롭고 중요한 시간이 되도록 준비할게요.