22화–결과가 없던 게 아니다 나는 검정력이 없었다
(유의하지 않다고, 관계가 없다는 건 아니야)
형은 그때
가설도 괜찮았고,
설문도 정성껏 만들었고,
p값도 열심히 구했어.
근데…
결과는 유의하지 않음.
처음엔 이렇게 생각했지.
“아, 이 변수들 간에 관계가 없구나.”
“이론이 틀렸나 보다.”
그래서
논문 주제를 바꿔야 하나,
막막해졌어.
그때 교수님이 조용히 한 마디.
“샘플 크기, 몇이었죠?”
“58명이요.”
“…그럼 Power가 안 나옵니다.”
그때 처음 들었어.
Power.
분석에서 말하는 진짜 힘.
검정력(Statistical Power)
간단히 말하면 이거야.
검정력 =
실제로 효과가 있을 때
그걸 ‘잡아낼 수 있는 확률’
형의 데이터는
효과가 없었던 게 아니야.
그 효과를 포착할 능력이
내 분석에 없었던 거야.
그걸 알고 나니까
유의하지 않다는 말이
다르게 들리더라.
"이 데이터로는
판단할 수 없습니다."
이 말이 더 정확했던 거지.
형은 그때부터
통계 돌리기 전에
꼭 계산해.
적정 샘플 수 (sample size)
기대 효과 크기 (effect size)
검정력 기준 (보통 0.8 이상)
실제로 분석 전에
G*Power로 계산해 보면
너무 적은 데이터로 분석하고 있다는 걸
알게 되는 경우가 많아.
그러니까 너도
분석 돌려서
p값 안 나왔다고
바로 가설 탓하지 마.
먼저 네 분석이
그걸 잡을 수 있는 힘이 있었는지부터 확인해 봐.
형이 말해주고 싶은 건 이거야.
결과가 없던 게 아니라,
네 분석이 약했던 걸 수도 있어.
검정력이 낮은 분석은
망원경 없이 별자리 찾는 거랑 같아.
안 보이는 게 아니라,
도구가 부족한 거야.
다음 화 예고
23화 – 변수는 넣는 것도 중요하지만
버리는 게 훨씬 어렵다
(모형이 복잡할수록, 해석은 죽는다)
