진보적 판단? 보수적 판단?
유의 수준(Significant Level)의 이해
진보와 보수... 마치 무슨 정치이야기인 것 같지만, 변화에 대해 우리가 어떻게 반응해야 하는 것에 대한 이야기다.
진보적인 판단이란 현재 내가 알고 있는 상황과 다른 변화를 감지했을 때, 내가 알고 있는 상황을 적극적으로 바꾸는 것을 말하고, 보수적 판단이란 이와 반대로 웬만한 변화에는 기존 입장을 바꾸지 않는 것이라고 할 수 있다.
앞에서 p-Value는 변화가 우연하게 발생할 수 있는 확률이라고 정의했다.
p-Value를 활용하여 의사결정을 하려면 하나의 기준이 필요한데, 이를 유의 수준(Significance Level)이라 하고 한다.
두 개 커피 머신에서 동일한 원두를 동일한 추출방법으로 비교했을 때 커피맛 차이에 대한 p-Value가 0.04(4%)가 나왔다면 어떻게 결정해야 할까?
판단하기 전에 우연하게 변했는지 여부를 결정할 유의 수준을 선택한다. 만약에 5%를 선택했다면 p-Value가 5%보다 작아야 우연이 아니라 의미 있는 변화라고 인정하겠다는 뜻이다.
따라서, 이번의 경우에는 p-Value가 5%보다 작은 4%이기 때문 진짜 변화가 있다고 판단할 수 있다.
유의 수준을 5%가 아니라 1%를 선택했다면 변화가 우연하게 발생되었으니 진짜 변화는 아니라고 판단하게 된다.
보수적, 진보적 의사 결정의 차이는 어떤 유의 수준을 선택하느냐에 따라서 결정된다.
작은 유의 수준(여기서는 1%)을 선택한다면, 99%는 우연한 변화이고 1%보다 작아야 만 그 변화를 인정하겠다는 상당히 보수적인 입장이다.
반대로 유의 수준을 10%로 한다면, 우연한 변화의 인정 폭이 99%에서 90%로 줄어들게 되며 1%보다 변화를 인정하는 폭이 넓어진다. 즉 1%보다는 진보적인 입장이라고 할 수 있다.
유의 수준을 어떻게 정할 것인가?
이는 그동안의 경험과 내가 수행하고 있는 업무의 성격에 따라서 결정할 수 있다.
많은 경험을 통해서 아는 것이 많다면 웬만한 변화는 입장을 변경시키기 어려울 것이다.
생명을 다루는 의사, 안전을 담당하고 있는 부서 등등 조그만 변화가 결과에 커다란 영향을 줄 수 있는 경우에도 보수적인 입장을 취하게 될 것이다.
따라서, p-Value와 유의 수준은 업무 상황을 고려하여 적절한 유의 수준을 선정한 다음 사실(Data)에 근거한 변화의 정도를 확인해서 결정하는 과학적 의사 결정 절차라고 할 수 있다.
p-Value가 유의 수준보다 작을 경우, 즉 우연한 변화가 아닐 경우 우리는 "통계적으로 유의(Significant)하다"라고 표현한다. 이러한 변화는 우연하게 보기 어렵다는 뜻으로 중요하다는 의미는 아니다.
유의(有意)는 특정 유의 수준에서 의미 있는 결과
