by
Aug 05. 2020
가설 검정이란
데이터 과학자를 꿈꾸며
가설 검정(Hypothesis Testing)
가설 검정은 가설을 검정하는 것이다.
가설이 무엇인가?
사실인지 아닌지 모르지만 사실로 판명난 경우에 주어진 상황을 설명할 수 있는 주장
우선 근거 없이 던지는 자신감이다. 하지만 그 자신감이 거짓말이면 안 된다. 해가 서쪽에서 뜬다는 증거를 아무리 가져와도 결국 해는 동쪽에서 뜬다. 통계는 무에서 유를 만드는 요술 장치가 아니다. (물론 요술을 부리려는 사람은 많다.) 여름에는 해가 높게 떠서 낮이 길다고는 주장할 수 있다. 하지만 여전히 해는 서쪽이 아닌 동쪽에서 뜬다.
검정(Test)한다는 것이 무엇인가?
검정(Test) = 의사결정의 원칙(Decision Rule)
검정한다는 것은 기준을 세운다는 것이다. 이 부분이 와 닿아야 통계를 이해하기 쉽다.
A : 여름에 낮이 긴 이유는 해가 높게 떠서 그런 거 같아!
B : 뭐를 근거로? 니가 지구와 해의 거리를 자로 재봤니? 어찌 아니?
A : 아니.. 그러면 어떻게 하지?
낮에 막대기를 세워서 그림자 길이를 재보자.
막대기의 그림자의 길이가 짧으면 높게 뜬 거고 길면 낮게 뜬 거야!
그리고 여름하고 겨울에 일주일씩 길이를 재서 비교해볼게!
B : 그래 좋아. 대신 여름 평균이 겨울 평균보다 5 cm 이상 짧을 때만 해가 높게 떴기 때문에 낮이 길다는 것을 인정할게. 4.9 cm여도 난 인정 안 할 거야.
A : 좋아!
https://kin.naver.com/qna/detail.nhn?d1id=11&dirId=110304&docId=228421136&qb=7LaU67aE&enc=utf8§i이처럼 가장 중요한 것은 기준이다. 분석 프로젝트에서 결국엔 현업 인터뷰가 중요한 이유이다. 현업이 나는 이게 높아서 그럴 거 같아. 경험적으로 느껴져. 근데 근거는 없어. 이런 것이 인사이트이고 통계는 단순히 뒷받침하고 정교화, 최적화하는 도구일 뿐이다. 고객과 나의 판단 기준에 대해서 컨센선스(합의)가 이루어지지 않으면 내가 만든 숫자는 아무짝에도 쓸모없다. 그래서 프로젝트 초기에 EDA에 공들이는 편이다. 같이 하나씩 데이터를 까보며 AS-IS를 이해해나가는 과정이 있어야 내 주장이 전달이 쉽다.
그러나 내 주장의 근거를 검정하기 위해서는 이 데이터, 저 데이터를 끌어오면 안 된다. 여름에 낮이 길다고 주장하기 위해서 목성의 온도나 토성의 날씨를 가져오는 경우가 있다. 이게 참 난감한 것이 신비한 우주의 세계에서는 왠지 상관이 있을 것만 같다. 만물이 서로 연관되어 있고 다 인연 아닌가? 그리고 데이터가 뭐라도 많으면 좋은 거 아닌가? 빅데이터라는 말 때문에 자주 생기는 오해다. 물론 목성의 온도가 높으면 지구의 여름의 낮이 길다라고 동의한다면 어쩔 수 없는 일이지만... 이런 경우가 바보 같아 보이지만 자주 있는 일이다.
또한 다른 가설을 가져오는 실수도 해선 안 된다. 끝도 없는 호기심 탐구의 지옥에 빠질 수 있다. 컨센서스 과정에서 일어날 수 있는 일이다. 그림자의 길이를 잴 때 12시에 재는 것과 1시에 재는 게 다르지 않을까? 충분히 그럴 듯 한 주장이다. 하지만 또 다르게 증명해야 할 가설일 뿐이다. 11시와 4시에 재는 것은 다를 수 있지만, 12시와 1시는 그렇게 차이가 나지 않을 것이다. 모든 걸 증명할 수는 없다. 적정한 타협선을 찾아야 한다.
가설검정의 개념 정리
두 개의 가설이 있다. 하나는 귀무가설이라고 불리고, 다른 하나는 대립 가설이라고 불린다.
검정 절차는 귀무가설이 진실이라는 가정으로 시작한다.
이 과정의 목적은 대립 가설이 사실이라고 추론할 만한 충분한 근거가 있는지를 판단하고자 하는 것이다.
여기서는 두 가지의 가능한 결정이 있다:
대립 가설을 뒷받침할만한 충분한 근거가 있다고 결론짓는다.
대립 가설을 뒷받침할만한 충분한 근거가 없다고 결론짓는다.
다음 두 가지의 오류는 어떤 검정에서도 생길 수 있다. 제1종 오류는 진실된 귀무가설을 기각할 때 생기고, 제2종 오류는 우리가 가짜 귀무가설을 기각하지 않을 때 생긴다. 1종과 2종 오류의 확률은 각각 알파와 베타라고도 부른다.
