그때는 맞고,지금은 틀리다 #2
옳고 그름을 판단할 기준, 유의수준과 유의확률
http://www.yes24.com/Product/Goods/71859635?scode=032&OzSrank=1
이런 상황을 가정해 보자. 거래처의 공급량 분석을 지시받은 A과장은 우여곡절 끝에 하반기 공급량 예측을 완료했다. 그 결과를 바탕으로 깔끔한 보고서까지 작성한 그는 당당하게 부장님 앞에서 보고했다. 열심히 경청하던 부장님이 그에게 질문을 던졌다.
“A과장, 그 결과 믿어도 되는 거야?”
이런 질문을 예상이라도 한듯 A과장은 다음과 같이 말했다.
“네, 믿을 수 있습니다. 우선 하반기 공급량은 1,500대가 넘을 것으로 예상했습니다. 따라서 ‘공급량은 1,500대가 넘지 않는다’라는 귀무가설을 정하고 유의수준 5%를 설정했습니다. 검정 결과 유의확률이 2%로 나와서 해당 귀무가설을 버리고(기각) 대립가설(1,500대가 넘을 것이란 예상)을 채택했습니다”
도대체 이게 무슨 소리일까? 유의수준(P value라고 하며 p로 표기)은 무엇이고 또 유의확률은 또 무엇이란 말인가? 이는 다음과 같다. 유의수준 5%는 가설에 대한 검정 결과가 잘못될 가능성을 5%로, 반대로 신뢰할 수 있는 수준을 95%로 설정하겠다는 뜻이다. 따라서 A과장의 분석 결과에서 유의확률은 공급량이 1,500대가 넘지 않을 확률을 5%까지만 허용하며, 95%는 확실히 1,500대가 넘을 것으로 예측한다는 것이다. 전박봉 과장이 설정한 귀무가설인 ‘공급량은 1,500대가 넘지 않는다’가 참일 가능성이 2%로나왔으므로 설정한 유의수준인 5% 미만이 돼(98%가 거짓) 해당 귀무가설을 기각한 것이다.
조금은 어려운 이야기다. 그러면 이 유의수준과 유의확률은 왜 정하는 것일까? 그것은 바로 앞서 영화 「의뢰인」에서 설명한 오류, 즉 귀무가설이 참인데 거짓으로 판명하고 거짓인데 참으로 해석하는(제1종 오류와 제2종 오류는 상충적 관계) 오류를 방지하기 위한 경계선을 정하고자 함이다. 유의수준 5%는 검정 결과의 유의확률이 5% 미만이면 유의미한 결과를 얻는 것이고, 그 반대로 5% 이상이 되면 무의미한 결과가 된다. 따라서 유의수준의 값이 낮으면 낮을수록 해당 검정 결과는 더욱 정밀해지며 그 결과의 신뢰도는 높아진다.
그러면 법정에서 유의수준은 무엇이며 유의확률은 무엇일까? 유의확률까지는 아니어도 유의수준과 기준점은 있어야 하지 않을까? 재판에서는 ‘판례’가 유의수준과 기준점 역할을 담당하며 중요하게 작용한다. 이처럼 반드시 숫자가 아니어도 된다. 우리가 정한 가설이 옳고 그름을 판단할 기준이 되는 유의수준은 앞선 사례와 지금까지의 패턴, 흐름 등으로 충분히 설정할 수 있다.
