오차(Error)의 해부학
무지와 운명
물리 법칙을 활용하면 정확하게 포탄의 낙하지점을 한 치의 오차도 없이 예측할 수 있습니다. 하지만 현실은 진공 상태처럼 오차가 전혀 없는 세상이 아닙니다(Welcome to Real World). 아무리 완벽하게 포탄 궤적 계산(f)을 했다 하더라도, 발사 순간 갑자기 불어온 돌풍이나 화약의 미세한 성분 불균형과 같은 e가 개입하는 순간, 포탄은 예측 지점을 벗어납니다.
앞 장에서 우리는 이 오차(e)를 '신의 주사위'라고 불렀습니다. 그렇다면 우리는 이 주사위 놀음 앞에서 그저 무기력해야만 할까요? 아닙니다. 통계학은 우리에게 오차의 종류가 있다는 사실을 알려줌으로써 오차를 관리할 수 있는 희망과 함께 분명한 한계를 제시하고 있습니다.
오차의 종류 : 무지와 운명
우리가 겪는 실패, 즉 예측값과 실제값의 차이인 '전체 오차(Total Error)'는 가지 성분의 합으로 표현할 수 있습니다.
전체 오차 = 줄일 수 있는 오차 + 줄일 수 없는 오차
오차를 이렇게 두 개로 나누어 봄으로써 예측에 실패했을 때 우리는 이러한 철학적 질문을 할 수 있습니다.
“예측의 실패는 노력으로 극복할 수 있는 것이었습니까, 아니면 어쩔 수 없는 운명이었습니까?"
1. 줄일 수 있는 오차 (Reducible Error): 우리의 무지
전체 오차의 첫 번째는 '줄일 수 있는 오차'입니다. 이것은 우리의 실수와 무지로 인해서 발생하는 오차를 말합니다.
* 예측을 위한 독립변수의 누락: 맛집의 성공 요인을 분석하면서 '맛(X1)'과 '가격(X2)'은 고려했지만, 또 다른 중요한 독립변수 '입지(X3)'를 빠뜨렸다면 예측은 빗나갈 수밖에 없습니다.
* 부적절한 모델의 선택: 비선형으로 복잡하게 움직이는 주식 시장을 단순한 직선 그래프로 예측하려 했다면, 이는 모델(f(x))을 잘못 선택한 것입니다.
* 데이터 수집의 실수: 우리나라 사람들에 대한 여론을 조사한다고 하면서, 특정 지역에 거주하는 사람들에 대해서만 데이터를 수집한다든지, 측정을 위한 도구(설문지, 측정장비 등)의 신뢰성이 떨어진다면 아무리 좋은 모델을 사용한다고 해도 예측 결과는 실제와 다를 수밖에 없습니다.
이 영역은 우리의 '무지(Ignorance)'에 해당합니다. 다행히 이 무지는 개선이 가능합니다. 더 많은 데이터를 수집하고, 더 정교한 알고리즘을 사용하고, 더 깊이 고민한다면 이 오차는 0에 가깝게 줄어들 수 있습니다. 이를 위해서 우리는 좀 더 많은 경험을 통해 현장 지식을 쌓고 이를 이론과 접목할 수 있도록 공부 또한 게을리해서는 안 됩니다.
2. 줄일 수 없는 오차 (Irreducible Error): 피할 수 없는 운명
전체 오차의 두 번째는 '줄일 수 없는 오차'입니다. 가령 우리가 신의 능력을 빌려 세상의 진짜 함수 f를 완벽하게 알아냈다고 가정해 봅시다. 그럼에도 불구하고 오차를 완벽하게 제거할 수 없습니다.
Y 자체가 가지고 있는 본질적인 변동성, 측정할 수 없는 미세한 잡음(Noise), 혹은 현재의 과학 기술로는 관측조차 불가능한 잠재 변수들이 존재하기 때문입니다.
의사가 환자의 상태(X)를 완벽히 파악하고 최적의 처방(f)을 내려도, 인체라는 복잡한 시스템이 반응하는 과정에서 발생하는 생물학적 무작위성(Randomness)까지 통제할 수는 없습니다. 이것은 분석가의 잘못이 아닙니다. 이것은 시스템이 가진 자연스럽고 고유한 불확실성, 즉 '운명'의 영역입니다. 통계학은 이 오차의 크기를 측정해서 예측할 때 보정할 수 있는 길을 열어주고 있습니다.
최선과 한계 사이에서
우리는 종종 '줄일 수 없는 오차'까지 줄이려고 애쓰다 좌절하곤 합니다. 주식 시장의 모든 등락을 100% 맞추려 하거나, 인간관계의 모든 변수를 통제하려 드는 것이 바로 그런 시도입니다. 통계학은 냉정하게 말합니다.
"아무리 훌륭한 모델이라도, 줄일 수 없는 오차를 제거할 수는 없다."
세상을 Y = f(X) + e로 바라본다는 것은, 내가 노력으로 개선할 수 있는 영역(줄일 수 있는 오차)과 겸허히 받아들여야 하는 영역(줄일 수 없는 오차)을 구분할 줄 아는 지혜와 합리적인 행동을 하는 것입니다.
우리의 목표는 e를 완전히 제거하는 불가능한 꿈을 꾸는 것이 아닙니다. 다만, 나의 게으름이나 무지로 인한 오차를 최소화하여, 피할 수 없는 운명의 오차와 마주했을 때 "나는 할 만큼 했다"라고 당당히 말할 수 있는 최적의 모델을 만드는 것, 그것이 바로 Y = f(x) + e 가 우리에게 들려주는 인생의 이야기가 아닐까요?
