6화–통계는 유의하다는데, 나는 아무변화도 느끼지않았다
(p값은 작았지만, 내 마음도 같이 작아졌다)
그날 피피티 발표 중이었다.
SPSS 결과도 나왔고, p <. 01
그래프도 멀쩡했고, 평균 차이도 있어 보였다.
그래서 나는 자신감 있게 말했다.
"두 집단 간 유의미한 차이를 확인했습니다."
그. 런. 데.
교수님이 물으셨다.
“그래서,
뭐가 달라졌나요?”
와...
그 질문 진짜 강력했다.
나는 순간 멈췄다.
"예...? 차이가... 유의미하다고 나와서..."
말이 꼬였다.
그때 교수님이 하신 말씀,
아직도 적어놨어.
“통계적으로 유의하다는 건,
숫자가 의미 있다는 말이지,
현실이 변했다는 말은 아닙니다.”
‘유의미한 차이’와 ‘실질적인 차이’그때부터 형은 고민하기 시작했어.
‘유의미한 차이’와 ‘실질적인 차이’는 뭐가 다를까?
같은 평균 점수 차이 2점.
10점 만점 중 2점 차이? 꽤 크네.
100점 만점 중 2점 차이? 애매하지.
근데 p값은 둘 다 유의미할 수 있어.
p값은 오로지 우연의 가능성만 본다.
그 차이가 크든 작든,
‘이게 그냥 나온 건지 아닌지’만 따지는 거야.
그게 중요하지 않은 건 아니지만,
그게 전부인 줄 알면 위험한 거지.
형이 나중에 다시 발표 준비할 때는
이런 문장을 넣었어.
"통계적으로 유의미한 차이가 나타났으나,
그 차이는 실질적으로 해석할 만큼의
영향력은 크지 않았습니다."
좀 겸손해 보이지?
근데 그게 진짜 똑똑해 보이는 표현이더라고.
형이 배운 교훈은 이거야.
결과를 해석할 땐, 숫자보다 사람을 생각하자.
유의미한 차이가 있더라도
현장에서 그게 느껴지지 않으면
그건 이론의 승리, 실전의 패배야.
예전에 진행했던 설문에서
워크숍 참석자 만족도가
참석 전보다 0.3점 올랐다고 나왔거든.
p =. 003
통계적으로는 아주 유의미했지.
근데 참가자한테 물어봤어.
“어땠어요?”
“비슷했어요. 그냥 가만히 앉아 있었어요.”
그 순간, 깨달았다.
숫자가 변했다고,
사람이 변한 건 아니더라.
그러니까 너도 p값 작다고 흥분하지 마.
차이 났다고 무조건 효과 있다고 말하지 마.
‘진짜 변했나?’
그 질문을 꼭 한 번 더 해봐.
형처럼
숫자 앞에서 혼자 설레지 말고,
사람 앞에서 조용히 생각해.
“내가 보고 있는 이 차이,
정말 의미 있나?”
그 질문이 너를
통계가 아닌
해석의 사람으로 만들어줄 거야.
다음 화 예고
7화 – 다중 비교의 함정
열 개를 비교하다 보면
어쩌다 한두 개는 ‘우연히’ 유의미하다.
