가설검정(Hypothesis Testing)
관찰된 차이는 우연인가, 유의한 결과인가
1. Learning Focus
지금까지 우리는 표본을 이용하여 모집단의 평균이 어느 범위에 존재할 것인지 추정하는 방법을 학습했습니다. 그러나 실제 분석에서는 단순한 추정을 넘어 "수집한 데이터에서 발견한 관측 값의 차이가 표본의 우연한 변동에 기인하는 것인지, 아니면 실제로 존재한다고 봐야 할 정도로 유의한 차이(효과)인 것인지" 판단하는 과정으로 나아가야 합니다. 이러한 문제의식에 기초하여 통계적인 해결을 위해 사용되는 방법론이 가설검정(Hypothesis Testing) 입니다.
앞서 우리가 평균의 표준오차(SEM) 및 신뢰 구간(CI) 파트에서 다뤘던 직원 몰입도 조사 결과에 대한 Data Set에서 표본 평균은 3.64, 95% 신뢰 구간은 약 [3.55, 3.74]라고 말할 수 있습니다. 이것은 모수에 대한 범위의 추정인 것인데, 실제 분석에서는 여기서 그치지 않고 추정한 통계량을 바탕으로 판단으로 나아갑니다.
A팀의 평균 몰입도가 3.5 이상이라고 통계적으로 말할 수 있는가? 몰입도 증진을 위한 조직적인 프로그램을 시행한 이후 A팀의 평균 몰입도가 통계적으로 유의하게 증가했다고 말할 수 있는가? A팀과 B팀의 몰입도 평균 점수의 차이가 통계적으로 다르다고 결론을 내릴 수 있는가? 이러한 문제의식에 있어 통계학은 단지 보이는 수치적 차이로 판단하는 것이 아니라 '가설검정'이라는 하나의 절차로서 살펴보게 됩니다.
2. 가설검정을 위한 중요 개념
가설검정은 "지금 관측된 결과(예: 표본 평균 또는 관측 값의 차이)가 우연으로도 충분히 일어날 만한 것인지, 아니면 우연으로는 설명하기 어려울 정도로 드문 것인지를 수학적으로 다룹니다. 이를 위해 통계학은 크게 네 가지를 설정합니다. 구체적으로 ① 비교의 기준(가설), ② "얼마나 드문가"를 측정하는 수치(검정통계량), ③ 드물면 드물수록 작아지는 값(p-value), ④ "어디서부터 드물다고 볼 것인가"(유의수준 α) 입니다.
2-A. 비교의 기준(가설)
가설은 귀무가설(H0)와 대립가설(H1)로 나뉩니다. 먼저 귀무가설(H0)을 보겠습니다. '귀무(歸無)'란 "없었던 상태로 돌아간다"는 뜻입니다. 여기서 '없다'는 것은 차이가 없다, 효과가 없다, 인과관계가 없다는 것을 의미합니다. 즉, 분석가 입장에서 증명하고 싶은 새로운 가설이 틀렸다고 가정하여, 모든 상황을 "아무런 일도 일어나지 않은 처음 상태"로 돌려놓는 가설이기 때문에, 귀무'라는 이름이 붙습니다.
만약 직원 몰입도에 관한 데이터 분석에서 표본을 활용하여 얻은 결과값(표본 평균)이 우리가 추정하고자 하는 모수인 3.5보다 통계적으로 그 이상이라고 증명하고자 한다면, 이때의 귀무가설은 '차이가 없거나 효과가 없거나'를 기본값으로 두어 [H0: μ=3.5]로 설정합니다. 귀무가설은 영어로 "Null Hypothesis"라고 합니다.
대립가설(H1)은 말 그대로 귀무가설에 대립(반대)되는 가설입니다. 분석가가 실험 또는 조사를 통해 진짜로 증명하고 싶은 주장이라고 할 수 있습니다. 귀무가설이 "차이가 없다(0이다)"라고 한다면, 대립가설은 "아니, 분명한 차이가 있다(0이 아니다)"라고 주장하는 것입니다. 통계검정의 목적은 보통 이 대립가설이 맞다는 것을 보여주기 위해 귀무가설을 무너뜨리는(기각하는) 과정이라고 볼 수 있습니다. 대립가설은 영어로 "Alternative Hypothesis"라고 합니다.
직원 몰입도에 관한 데이터 분석에서 표본을 활용하여 얻은 결과값(표본 평균)이 우리가 추정하고자 하는 모수인 3.5보다 통계적으로 그 이상이라고 주장하거나 모수와는 다르다고 주장하려면, [H1: μ>3.5, 단측(오른쪽 검정)] 또는 [H1: μ≠3.5, 양측 검정]로 설정합니다.
2-B. p-value
p-value는 "귀무가설 H0가 True라고 가정했을 때, 지금 관측된 결과(또는 그 보다 더 극단적인 결과)가 나올 확률"로 정의합니다. 즉, 귀무가설 H0가 맞다고 가정할 때, 지금과 같이 나온 평균이 이렇게까지 커지거나 작아지거나 하는 일이 얼마나 흔한 것인가? 라는 질문에 대해 확률로 말하는 것입니다. 만약 흔하지 않다면(확률이 작다면) H0는 의심을 받게 됩니다. 따라서 p-value가 작을수록 "H0 is true"라는 가정하에서 이런 결과가 흔하지 않다는 것이고, H0를 기각할 근거가 커지는 것입니다.
2-C. 유의수준 α
α는 "드물다"를 판단하는 기준선입니다. 보통 α=0.05입니다. 즉, 5%보다 더 드문 일이면, "우연으로 보기는 어렵다"라고 봅니다. 이에 통계학은 두 가지의 의사결정 규칙을 갖고 있습니다. 우선 p-value가 α보다 작거나 같다면, H0를 기각하는 판단을 내립니다. 반면, p-value가 α보다 크다면, H0를 기각할 수 없다는 판단을 내립니다. 여기서 주목할 점은 "기각할 수 없다"는 것이 곧 "H0가 참이라는 것을 증명"한다고 단정할 수 없다는 것입니다. 분석가 입장에서 증명하고 싶었던 내용을 뒷받침할 증거가 현재로서는 부족하다고 보는 것이 적확한 해석입니다.
2-D. p-value & 유의수준 α: 판단 오류
유의수준(α)는 5%에 대한 통계적 의사결정을 내릴 때 우리가 허용하는 '최소한의 안전장치'인 동시에 '판단의 기준선'이 됩니다. 유의수준을 통계에서 말하는 판단 오류의 개념과 연결하여 보면, 제1종 오류의 유형입니다. 제1종 오류란, 실제로는 귀무가설이 맞는데(즉 차이나 효과가 없는데), 실수로 "효과가 있다."라고 잘못된 결론을 내리는 것을 말합니다. 예를 들어 형사재판에서 재판부가 무죄를 선고해야 할 사건을 유죄로 판결하는 경우입니다.
α=0.05로 설정했다는 것은, "내가 내린 결론이 우연에 의해 실수일 가능성을 5% 까지만 인정하겠다."는 약속입니다. 즉, 95% 이상의 확신이 들 때만 대립가설을 채택하겠다는 뜻입니다.
p-value는 조사(실험) 결과 나온 데이터가 "순전히 우연으로 나왔을 확률"을 계산한 수치와 같습니다. 만약 p-value가 0.01(1%)이 나왔다면, "효과가 없다고 가정하였음에도 이러한 데이터가 나올 확률이 1% 밖에 안 된다."라는 것입니다.
미리 정해둔 기준선(α)과 실제의 데이터 결과인 p-value를 비교함으로써 우리는 의사결정을 하게 됩니다. p-value가 α와 같거나 그 이하인 경우 우연히 발생할 확률이 내가 허용하고 있는 실수의 범위(5%) 이하이기 때문에 "이건 우연이라고 보기에는 너무 희박한 확률"입니다. 따라서 귀무가설을 기각하고 대립가설을 채택하는 판단으로 나아갑니다. 이를 "통계적으로 유의미하다."라고 표현합니다.
반면 p-value가 α보다 크다면, 우연히 발생할 확률이 내가 허용하고 있는 실수의 범위보다 크기 때문에 "이 정도의 차이는 운이 좋으면 얼마든지 나타날 수 있는 확률"입니다. 따라서 귀무가설을 뒤집을 만큼의 증거가 충분하지 않다는 판단으로 나아갑니다. 이를 "통계적으로 유의미하지 않다."라고 표현합니다.
오류의 종류에는 제1종 오류 외에도 제2종 오류가 있습니다. 제2종 오류는 "실제로 효과가 있는데 없다고 선언할 실수(놓친 발견)"를 뜻합니다. 형사재판에서 유죄를 선고해야 하는 사건을 무죄로 판단해버리는 오류를 말합니다.
유의수준은 "효과가 없는데 있다고 할 실수"의 한계선과 같습니다. 만약 이 유의수준의 기준을 5%가 아닌 1%와 같이 엄격하게 낮추게 되면, 1종 오류는 줄어들지만 대신 2종 오류가 늘어납니다. 신약 개발 실험에서 1종 오류만 신경 쓰느라 유의수준을 엄격하게 잡게 되면, 실제로 효과가 있는 약인데도 "효과가 없음"으로 결론을 내어 연구의 성과물이 사장될 수도 있습니다.
보통 제1종 오류가 더 치명적이기 때문에 이를 먼저 고려하지만, 그만큼 제2종 오류가 커지면 분석의 효율성이 떨어질 수 있다는 것을 시사하고 있습니다. 제1종 오류와 제2종 오류를 동시에 줄이는 가장 효과적인 방법은 결국 표본의 개수 n을 늘리는 것이라 하겠습니다.
3. t-분포의 등장
가설검정의 단원이 그간의 학습 내용과 달라지는 점은 정규분포가 아닌 t-분포가 등장한다는 점입니다. 신뢰 구간 단원에서도 다뤘듯이, 현실에서는 모집단의 표준편차를 모르기 때문에 표본의 표준편차(SD or s)를 사용합니다. 그런데 표본의 표준편차는 표집에 따라 변하는 값이기 때문에 불확실성이 내재되어 있습니다. 이 불확실성을 반영하면 표준화된 통계량은 정규분포가 아닌 t-분포를 따릅니다. 이러한 t-분포는 표본의 크기가 30개 미만으로 중심극한정리가 작동하지 않는 경우에도 많이 활용합니다.
Reference: JMP Statistical Knowledge Portal [The t Distribution]t-분포의 특징은 크게 세 가지입니다. ① 좌우 대칭의 종 모양이고, ② 꼬리가 정규분포보다 두꺼운 편이며, ③ 자유도(df=n-1)가 커질수록 정규분포에 가까워집니다. 각각의 특징에 대해서 좀 더 짚어보겠습니다.
① t-분포는 표준정규분포(z-분포)와 똑같이 생겼습니다. 평균 0을 중심으로 좌우가 똑같은 분포의 모양입니다. 즉, 대부분의 값이 평균 근처에 모여 있을 것이라는 가정은 동일합니다.
② t-분포는 표본의 개수가 적을 때도 주로 활용될 정도로 불확실성을 반영하는 분포의 특질이 있습니다. 정규분포의 경우 데이터가 아주 많아 "평균이 이 지점"이라고 강하게 확하는 상태입니다. 따라서 전체 분포의 봉우리가 뾰족하고 양쪽 끝(꼬리)이 얇습니다.
반면, t-분포는 데이터가 적기 때문에 불확실한 상태를 반영합니다. "평균이 이 지점일 것 같긴 하지만, 혹시 모르니까 양쪽 끝의 값이 나올 가능성을 더 열어둔다."라는 관점이 반영되어 있습니다. 그래서 양쪽 꼬리가 정규분포에 비해 위로 두툼하게 올라와 있습니다. 통계학에서는 이를 "변동성이 크다" 혹은 "불확실성을 반영한다."라고 표현합니다.
③ 자유도(Degree of Freedom, df)는 통계학에서 "자유롭게 값을 가질 수 있는 데이터의 개수"를 말합니다. 이 자유도와 관련하여 z-분포와 t-분포는 중요한 차이가 있습니다. 바로 z-분포는 자유도라는 개념을 아예 사용하지 않는다는 것입니다.
우리가 표본을 뽑아서 평균을 계산한 뒤, 이 데이터들이 얼마나 퍼져 있는지(분산) 계산하다고 가정해 보겠습니다. 이때 '평균'은 이미 정해진 값으로, 마지막 데이터 하나는 자유를 잃게 됩니다. 만약 3개의 숫자가 있고 그 평균이 10이어야 한다면 어떨까요? 첫 번째 숫자가 5, 두 번째 숫자가 12라면, 세 번째 숫자는 반드시 13이 되어야 합니다. 즉, 자유롭게 변할 수 있는 숫자의 개수는 3-1=2입니다.
t-분포는 위와 같이 표본을 통해 모집단을 추정해야 하는 '불확실한' 상황에서 사용하기 때문에, 표본의 개수에서 하나를 뺀(n-1) 자유도를 따져서 그만큼 신중하게(꼬리를 두껍게) 계산하는 것입니다.
반면 z-분포는 시그마의 제곱인 모분산을 이미 알고 있거나, 표본이 아주 많아(보통 30개 이상) 불확실성이 거의 없는 상태를 전제하고 있습니다. 이미 완벽한 정보(모집단의 표준편차)가 있기 때문에 표본의 개수가 몇 개인지, 그 중에 몇 개가 자유로운지를 굳이 따질 필요가 없습니다. 그래서 z-분포는 표본의 크기와 상관없이 항상 모양이 일정한 단 하나의 그래프만 존재한다고 봅니다.
4. t-통계량(t-statistic): 표본 평균의 표준화 형태
t-통계량을 계산하는 이유는 "표본의 평균이 우리가 기준을 삼는 값과 얼마나 떨어져 있는지"를 수치로 얻기 위한 것입니다. 여기서 표본 평균과 우리가 기준으로 삼는 값의 차이를 평균의 표준오차(SEM) 단위로 측정함으로써 t-통계량을 계산하게 됩니다. 그래서 t-통계량을 계산하는 공식은 아래와 같습니다.
①은 관측된 표본의 평균, ②는 귀무가설이 주장하는 기준 값(평균), ③은 표본 Data Set에 기반한 표준오차입니다. 결국 분자는 "관측값과 기준값(기대값)의 차이", 분모는 "표본 평균 변동성(표준오차)" 입니다. 달리 말해, 관측된 값과 기준으로 삼는 값의 차이가 몇 표준오차만큼 떨어져 있는지를 계산합니다.
5. Case Study: 직원의 조직 몰입도
[표본 데이터에 대한 기초 통계량]
지난 시간부터 계속 활용 중인 어느 조직의 팀원 30명에 대한 조직 몰입도 점수를 활용하여 가설검정을 단계별로 해보겠습니다. 우선 30명의 조직 몰입도에 관한 Data Set을 도해하면 평균 3.643, 표준편차 0.270, 평균의 표준오차(SEM)는 0.049 수준입니다.
[질문: 가설 설정]
이 팀의 몰입도 Data Set과 관련하여 "이 팀의 평균 몰입도가 3.5보다 통계적으로 높다고 말할 수 있나?"라는 질문을 던져보겠습니다. 여기서 귀무가설(H0)은 [μ=3.5], 대립가설(H1)은 [μ>3.5] 입니다. 이 질문은 평균 몰입도가 '3.5보다 높은지'를 보기 때문에 '단측 검정(오른쪽 영역)'을 활용하는 경우입니다.
[t-통계량과 자유도]
t-통계량을 계산해보겠습니다. t-통계량은 관측 값과 기준 값의 차이를 평균의 표준오차 단위로 나누어 계산합니다. 따라서 [t=(3.643-3.5)/0.049≒2.9]로 계산됩니다. 자유도(df)=30-1=29입니다.
[가설 검정에 관한 분석 시나리오]
표본 데이터에 대한 기초 통계량을 얻었고, 우리가 분석하고자 하는 질문(가설)을 설정했습니다. 그리고, 모집단에 대하 정보가 없는 상태에서 t-통계량과 자유도를 확인했기 때문에 가설검정에 관한 시나리오를 펼쳐보게 됩니다.
우리가 핵심적으로 짚어보고자 하는 문제는 "귀무가설이 맞다면([μ=3.5]), 표본의 평균이 이렇게까지 높아지는 일이 흔한가?"입니다. t가 2.9의 값이라면, 평균에서 SEM의 약 2.9배만큼 떨어져 있는 상황인데, 보통 이런 정도면 오른쪽의 꼬리 영역이 매우 작아집니다. 달리 말해, p-value가 작아진다는 것입니다.
그렇다면, p-value가 0.05(5%) 이내의 값이라면, 귀무가설 H0를 기각하고, "평균 몰입도가 3.5보다 통계적으로 유의하게 높다."라는 결론을 통계적 근거와 함께 말할 수 있을 것인지를 검정해봐야 합니다. 여기서 중요한 점은 t=2.9라는 숫자는 단지 "크다/작다"라는 느낌이 아니라 "표준오차를 단위로 2.9배"라는 의미로서 접근해야 한다는 점임니다.
[ t=2.9, 단측 검정일 때 p-value 계산 ]
t=2.9라는 통계량일 때 위와 같이 설정한 단측 검정에서의 p-value을 계산해 보겠습니다. 제가 주로 활용하는 Jamovi이나 R, Python과 같은 훌륭한 통계 S/W도 있지만 저는 [t-test table]과 excel로 검정해보겠습니다.
우선 [t-test table]을 활용하여 단측 검정에서 유의수준 5%일 때의 기준 값을 살펴보겠습니다. t-test table은 왼쪽의 자유도와 우측 상단의 유의수준으로 구성된 행렬표이고, 우측 상단의 유의수준은 단측 검정(one-tail)일 때와 양측 검정(two-tails)인 경우로 나뉩니다. t분포가 좌우 대칭인 점을 고려할 때, 양측 검정은 단측 검정으로부터 구해지는 확률 값에서 '곱하기 2'라고 생각하시면 되겠습니다.
우리가 다루는 Data Set의 경우 표본 크기가 30이므로, 자유도(df)는 29입니다. 그리고 유의수준은 5%이고, 단측 검정이죠. 그렇다면 아래와 같이 t-test table에서 귀무가설이 맞다는 가정에서 판단의 기준점이 되는 값은 1.699입니다. 직관적으로 t-통계량이 이 값보다 크다면 기준 값보다 오른쪽 꼬리 영역에 있는 값이고, 그 말은 귀무가설이 맞다는 전제에서 우연히 나올 수 있는 흔한 값이 아니라는 말일 겁니다.
Reference: 'BY JU'S. "t-test table". https://byjus.com/maths/t-test-table/다음으로 t-분포를 통해 귀무가설의 기각 여부를 결정해보겠습니다. t=2.9일 때, 유의수준은 얼마일까요? 위 t-test table에서 유의수준 5%일 때, 그 기준 값이 1.699이라는 걸 알았습니다. 우리가 계산한 t-통계량은 2.9이기 때문에 1.699보다는 큰 값이고, 따라서 꼬리의 오른쪽에서 극단의 영역에 있는 값일 겁니다. 왜냐하면, 1.699일 때 유의수준 5%이기 때문에 그보다 큰 값은 자연히 p-value가 훨씨 낮을 수밖에 없기 때문입니다.
이를 정확히 계산하기 위해 Excel에서 [t.dist.rt(x,deg_freedom)] 함수를 사용합니다. 이 함수에서 'rt'는 오른쪽 꼬리(right tail)를, x는 t-통계량을, 그리고 deg_freedon은 자유도를 의미합니다. 따라서 이 함수를 적용하면서 [t.dist.rt(2.9,29)]를 입력하고 값을 계산하면, 0.003523이 나옵니다. 이러한 과정을 시각적으로 나타내면 아래 그림과 같습니다.
[ 결론 ]
t-통계량 2.9일 때 유의수준은 0.03523이고, 이는 귀무가설이 맞다고 가정하고 있는 상황에서 유의수준 0.05보다 훨씬 낮은 값입니다. 따라서 p-value가 유의수준 5%보다 낮으므로, 귀무가설 H0를 기각합니다. 이에 "표본의 평균은 귀무가설에서 설정한 평균보다 통계적으로 유의하게 높다."라는 점을 채택합니다.
6. Plus Point: 단측검정 VS 양측검정-무엇을 선택해야 할까?
가설검정 설계 단계에서 고민되는 지점 중 하나가 바로 "검정의 방향을 한쪽으로 둘 것인가(단측), 아니면 열어둘 것인가(양측)" 입니다. 언뜻 보면 큰 차이가 없어 보이지만, 이 선택에는 데이터를 분석하는 사람으로서 지녀야 할 신중함과 논리적인 엄격함이 담겨 있습니다.
6-A. 양측검정: 통계학의 '보수적' 표준
통계학에서는 특별한 사유가 없다면 양측검정(Two-tailed test)을 기본으로 합니다. 그 이유는 양측검정이 훨씬 더 보수적이기 때문입니다. 양측검정은 '더 높은 허들'을 갖고 있습니다. 양측검정은 유의수준 5%를 양쪽 끝에 2.5%씩 나누어 배분합니다. 즉, 한쪽 끝에 5%를 몰아주는 단측검정에 비해 '차이가 있다'고 결론을 내리기 위한 임계치가 더 높습니다. 또한, 양측검정은 '결론의 열린 가능성'을 배제하지 않습니다. 양측검정은 "A가 B보다 클 것이다."라는 것만 보지 않고, "A가 B보다 작을 수도 있다."라는 가능성을 모두 열어둡니다. 예상하지 못한 반대 방향의 결과가 나왔을 때, 이를 놓치지 않고 포착할 수 있는 객관적인 태도입니다.
6-B. 단측검정: 강력한 논리와 확신이 필요할 때
반면 단측검정(One-tailed test)은 한쪽 방향으로 기각역을 설정합니다. 단측검정은 '유리한 판정'을 의도할 수 있습니다. 왜냐하면 동일한 Data Set이라도 단측검정을 사용하면 p-value가 절반으로 줄어들어, 양측검정에서는 통과하지 못할 결과가 '통계적으로 유의미'한 것으로 둔갑할 수 있기 때문입니다.
또, 단측검정은 '남용의 위험'이 상존합니다. 데이터 분석을 하는 사람이 결과를 유리하게 만들기 위해(p-hacking) 사후적으로 단측검정을 선택하는 것은 통계적인 왜곡을 불러 일으킬 수 있습니다. 따라서 단축검정은 "반대 방향의 결과가 나올 가능성이 이론적으로나 실질적으로 전혀 없는 경우"에만 극히 제한적으로 사용됩니다.
6-C. 무엇을 선택해야 할까?
우리는 다음과 같은 기준으로 검정 방식을 선택할 필요가 있습니다. 첫째, 데이터를 확인한 후 p-value를 낮추기 위해 검정 방식을 바꿔서는 안 됩니다. 반드시 데이터 분석을 시작하기 전에 이론적인 근거를 바탕으로 결정해야 합니다.
둘째, 안전한 방법은 양측검정입니다. 분석의 목적이 단순히 "차이가 있는가?"를 확인하는 것이라면, 더 엄격하고 객관적인 양측검정을 채택하는 것이 학문적으로도 또 실무적으로도 설득력을 높이는 길입니다.
셋째, 단측검정은 명확한 명분이 있어야 합니다. 예를 들어 새로운 치료법이 기존보다 "무조건 나을 수밖에 없다."라는 물리적인 법칙이 있거나 반대 방향의 결과가 임상적으로는 아무런 의미가 없는 특수한 상황에서만 제한적으로 활용될 수 있습니다.
통계는 결론을 말하기 전에 '태도'가 중요합니다. 단측검정은 양측검정보다 덜 보수적이며, 자칫 분석가의 편향을 담을 위험이 있습니다. 가설검정의 핵심은 '내가 맞음을 증명하는 것'이 아니라 '내가 틀렸을 가능성을 최대한 엄격하게 배제하는 과정'에 있습니다. 이 보수적인 관점을 유지할 때, 비로소 분석가의 분석 결과는 견고한 신뢰를 얻게 된다는 점을 명심해야 합니다.
7. 이번 단원의 Executive Summary
① 가설검정은 "관측된 결과가 우연인지, 실제의 효과인지"를 판단하는 절차다.
② 귀무가설 H0은 "효과 없음/차이 없음"을 기본값으로 둔다.
③ 대립가설 H1은 우리가 주장하고 싶은 효과/차이를 표현하는 내용이다.
④ t-통계량은 표본의 평균이 기준값에서 몇 SEM만큼 떨어졌는지를 나타낸다.
⑤ p-value는 H0이 참일 때, 지금과 같은 결과가 난올 희귀함을 수치로 나타낸 값이다.
⑥ 유의수준 α(보통 0.05)는 "희귀하다."의 기준선이며, p-value≤α면 H0를 기각한다.
⑦ 신뢰구간(CI)는 "범위", 가설검정은 "통계적 근거를 갖추기 위한 판단"과 관련된다.