유의성 검정 Vs 귀무가설 검정

Fisher Vs Neyman-Pearson

<20세기 전반기 통계학사에 대한 연구: 통계적 검정과 심리학을 중심으로>(Journal of History of Mathematics, 2013, 조재근).

이 논문은 양적 연구를 하는 모든 이들에게 읽혀야 한다. 

------------

여기서 철학적인 논의는 제외하고 두 방법의 절차만 간단히 비교해본다면 Fisher는 귀무가설만 인정했을 뿐 대립가설을 세우는 것에 반대했고 따라서 검정의 오류를 두가지 종류로 나누는 것도 받아들이지 않았다. 그는 Neyman-Pearson의 검정법이 품질관리 같은 좁은 영역에서는 쓸 수 있겠지만 널리 과학적인 연구 방법이 될 수는 없다고주장했다. 

물론 오늘날 p값이라고 불리는 것은 Fisher의 것인데 그는 p값을 가설들의 채택, 기각을 가르는 기준으로 삼기보다는 가설을 반증 (disprove)할 수 있는 통계적 근거 (statistical evidence)의 척도로 생각했다. 즉 그는 검정법을 두 가설 중 하나를 선택하는 최종적인 결정의 방법이 아니라 데이터로부터 추론해가는 일련의 과정 가운데 한단계 정도로, 다시 말해 타당하지 못한 귀무가설을 하나씩 버려나가는 귀납적 과정이 과학적 연구방법이라고 생각하였다. 

또한 Fisher는 관습적으로 유의수준 0.05를 기준으로 귀무가설을 기각하거나 채택하는 것에 대해서도 통계학이라는 것이 그렇게 단순한 논리로 이루어진 것이 아니라면서 반대하였다. 무엇보다 그는 스스로를 (사실 대단히 유명한 유전학자이기도 하였다) 자연과학자로 생각하였는데, 통계적 검정법은 연구자가 그 문제에 대해 제대로 아는 바가 없을 때에만 사용해야할, 따라서 그리 신빙성을 두기 어려운 연구방법이라고 주장하였다. 연구 주제에 대한 깊은 이해가 우선해야지, 문제를 제대로 파악하지도 못한 상태에서 이루어지는 통계학적 검정 때문에 그 연구가 과학적인 연구가 되는 것은 전혀 아니라는 것이다[11, 12]. 

논쟁이 진행되는 과정에서 Fisher는 자신의 유의성 검정법을‘inductive inference’라고 주장했고 Neyman은 자신의 가설검정법 ‘inductive behavior’라고 불렀는데[33, 19] 이와 같은 양측의 대립에 대해 후세 통계학자들은 어떻게 평가했을까?