by
Nov 03. 2023
예측에서 가장 중요한 한 가지
불확실성 시대, 미래를 포착하는 예측의 비밀 - <신호와 소음>
인간은 본능적으로 불확실성을 싫어한다. 어두운 밤에 갑자기 덤불 속에서 소리가 나면 경계하게 되는 이유는 거기에서 갑자기 맹수가 나오면 내 생명이 위험해지기 때문이다. 그래서 예측을 해서 불확실성을 제거하려고 한다. 그 상황에서 일어나는 여러 패턴을 학습하면서 불확실을 예측을 통해 확신으로 바꾸어가면서 생명과 심신의 안전을 가져왔다. 보통 패턴이나 정보가 많아질수록 예측이 정확해졌고 인간은 패턴을 찾도록 진화해 왔다. 지나칠 정도로 말이다.
하지만 인쇄술의 발전으로 정보량이 폭발적으로 증가하면서부터 문제가 생기기 시작했다. 세상의 모든 정보가 예측에 도움이 되는 건 아니다. 예측의 맥락에 따라 정보가 신호가 되기도 하고 소음이 되기도 한다. 그런데 정보 자체가 늘어나면서 소음 자체가 늘어났고, 패턴을 찾도록 진화해 온 인간의 본성이 소음의 패턴을 의미 있다고 착각하기도 하면서 예측의 정확성은 점점 낮아지고 있다. 지금은 정보의 홍수 속에서 신호와 소음을 제대로 구분할 수 있어야 한다.
예측이 실패하는 이유는 데이터의 부족이 아니다. 정보가 많다고 해서 예측이 쉬워지는 것은 아니다. 정보가 하나둘 많아지면 오히려 불필요한 소음의 양도 늘어난다는 점을 간과해선 안 된다. <신호와 소음>은 넘치는 정보에서 쓸모 있는 정보를 가려내기, '신호'에서 '소음'을 제거해 의미를 발견하는 것의 중요성을 역설한다. - <신호와 소음> 6페이지
그렇다면 어떻게 신호와 소음을 구분할 수 있을까? 어떻게 하면 예측을 잘할 수 있을까?
여우가 되어라.
캘리포니아대학교 버클리캠퍼스에서 심리학과 정치학을 가르치는 필립 테틀록은 전문가들의 예측이 얼마나 잘 맞추는지를 15년 넘게 연구한 결과 대부분이 형편없었다. 지극히 초보적인 통계 방법론으로 추정한 결과나 동전을 던져 판단할 때보다 못했다. 그런데 유달리 예측을 잘 맞추는 집단이 있었다. 그래서 테틀록은 잘 맞추지 못하는 집단을 고슴도치, 잘 맞추는 집단을 여우라고 분류했다.
고슴도치는 거창한 생각 즉 세상에 대한 지배적 원칙, 물리학 법칙이자 사회의 모든 상호작용을 실질적으로 뒷받침하는 것처럼 작동하는 거대한 원칙을 믿으며, 긴장하고 성급하며 경쟁적인 'A형 행동양식' 유형에 속한다. (중략) 여유는 이에 비해 수업이 사소한 생각들을 믿으며 또 문제를 해결하려면 다양한 접근이 필요하다고 여기는, 관심이 사방팔방으로 뻗치는 산만하기 짝이 없는 유형이다. 여우는 위앙스의 차이, 불확실성, 복잡성, 대치되는 의견 등에 좀 더 관대한 경향이 있다. (중략) 테틀록은 여우가 고슴도치보다 예측을 상당히 잘한다는 사실을 발견했다. - <신호와 소음> 91페이지
여우는 복잡성과 불확실성을 충분히 고려해야 하기 때문에 예측을 확률적으로 표현하며 자신의 의견에 단서를 여러 가지 붙인다. 또한 언제나 자신이 틀릴 수 있다는 것을 마음에 새기고 있고 심지어 본질적으로 문제를 해결할 수 없거나 예측 불가능한 부분이 있다고도 생각을 한다. 그래서 언제나 자료를 수집하고 가설을 세워 검증하며 기존의 예측을 업데이트해 나간다. 여우들은 아래의 3가지 원칙을 가지고 있다.
1. 확률적으로 생각하라.
하나의 숫자가 아닌 결과가 일어날 가능성을 범위로 제시하는 것이다. 그 이유는 현실에 내재하는 불확실성을 가장 정직하게 표현하는 방법이기 때문이다. 언제나 우리가 예상하지 못하는 경우가 발생한다. 이런 불확실성을 배제하지 말고 실제 현실의 불확실성을 인정해야 한다. 그리고 세상이 어떻게 움직일지 설명하는 자기 이론이 완전하지 못하다는 점 또한 인정해야 한다.
이는 완벽한 자연과 불완전한 인간 사이의 괴리와 관련 있다. (중략) 라플라스는 직접 측정이 아니라 확률적 추론을 토대로 궤도를 계산 했다. 그리고 확률을 무지와 지식 사이에 존재하는 중간 지점으로 이해하게 됐다. '확률'을 더 철저하게 이해하는 일이 과학 (진보)의 필수 요건이라고 생각하게 된 것이다. - <신호와 소음> 364페이지
불확실성에 대한 정직하고 정확한 표현은 때로 수많은 인명과 막대한 재산을 구할 수 있다. - <신호와 소음> 593페이지
2. 날마다 새로운 예측을 하라.
예측가는 언제나 예측이 틀릴 수 있다는 것을 기억하고 오늘은 오늘 할 수 있는 최선의 예측을 하겠다는 마음가짐을 가지고 있어야 한다. 그리고 새로운 정보가 들어오면 예측을 업데이트한다. 이 책의 핵심 내용이자 가장 중요한 개념인 베이즈 정리를 활용하는 것이다. 베이즈 정리의 개념인 사전확률을 통해 사후확률을 추정하는 방식을 활용하는 것이다. 여기서 중요한 점은 이번에 추정한 사후확률이 다음번 예측의 사전 확률이 되는 것이다. 즉, 새로운 증거가 발생하면 현재 추정한 확률을 사전 확률로 설정해 예측을 지속적으로 업데이트하는 것이다.
우리는 수학적이면서 철학적으로 표현된 진술, 즉 어림값을 통해 우주에 대해 배우는데, 증거를 더 많이 모을수록 '진리에 조금씩 또 조금씩 더 가까이 다가갈 수 있다'는 점이다. - <신호와 소음> 363페이지
3. 집단지성을 활용하라.
때로는 여러 사람들의 의견을 종합하는 것이 예측의 확률을 높일 수 있는 방법이기도 하다. 한 사람이 여러 관점을 보는 것도 중요하지만 여러 사람들의 의견을 모으면 한 사람의 다양한 관점보다 더 많은 관점을 적용할 수 있기 때문이다. 그리고 많은 관점만큼 더 많은 데이터가 모이게 되고 과적합 (Overfitting) 문제에 좀 더 자유로워질 수 있다. 자료가 부족할 경우 전체 데이터의 분포를 따라가지 못하고 특수한 분포에만 적합한 예측을 할 가능성이 높아진다. 그래서 신호보다 소음에 더 의존하게 되고, 결과적으로 전체 분포에 대한 올바른 예측을 하지 못하게 된다. 여러 관점과 자료를 모으기 위해 집단지성을 활용해야 한다.
하지만 과잉적합 모델은 소음까지 계산에 넣어 추가 점수를 받았을 뿐이다. (학생들 시험으로 치차면 부정행위나 다름없다.) 그러니 과잉적합 모델은 실제 현실을 설명하는 데서 적정적합 모델보다 훨씬 덜 정확할 수밖에 없다. - <신호와 소음> 256페이지
단순한 공식 안에 진리에 도달할 수 있는 방법이 들어있다.겸손함과 용기, 지혜
예측은 아주 중요하고, 그 때문에 더욱 어렵다. 소음에서 신호를 분리하려면 과학적 지식과 자기 인식을 동시에 갖추어야 한다. 즉, 객관적 실체와 주관적 실체를 교차시켜야 한다. 우리가 예측할 수 없는 것에 대한 겸손함과 예측할 수 있는 것을 예측할 수 있는 용기, 그리고 이 둘 사이의 차이를 아는 지혜가 필요하다. - <신호와 소음> 656페이지
이처럼 예측을 하기 위해서는 인간의 본성을 이기고 철저하게 훈련하며 실패에 좌절하지 않고 끊임없이 노력하는 끈기도 필요하다. 그래서 예측은 어렵다. 하지만 우리는 예측을 멈추면 안 된다. 우리에게 충격을 주는 사건들의 대부분은 "알려지지 않은 미지 (Unknown unknown)"이고 우리는 여기에 저항감을 가지거나 상상하지 못해 일어나지 않을 일이라고 믿어버리게 된다. 하지만 그 와중에 신호는 계속 발생하고 있다. 이런 신호들을 찾지 못할 때 2008년 금융 위기, 911 테러, 후쿠시마 원전 등의 큰 사건이 벌어지게 된다.
알려지지 않은 미지로 대표되는 "불확실성"은 우리 인간에게 가장 큰 적이다. 그래서 기존 통계학에서는 표본을 추출하고 신뢰 수준을 설정하여 불확실성을 제거하려는 노력을 해왔다. 하지만 현실은 멈춰있는 과녁이 아니다. 움직이면서 동시에 모양도 변하는 과녁이다. 이러한 과녁을 맞히기 위해서는 끊임없이 새로운 정보를 받아들이고 예측을 업데이트해 나가 진리에 가까워지도록 노력해야 한다. 언제나 틀릴 수 있음을 받아들이고 포기하지 말자. 그러면 진리에 다가갈 수 있을 것이다.
베이즈주의는 통계학의 방법론일 뿐만 아니라 세상을 바라보는 새로운 눈, 새로운 철학이다. 네이트 실버는 <신호와 소음>을 통해 통계학의 기술만 전달하는 게 아니다. 우리의 사회와 국가 그리고 전 세계를, 경제적으로 기후적으로 안보적으로 더 안전하게 만드는 세계관을 얘기하는 것이다. - <신호와 소음> 661페이지
참고자료 : <신호와 소음>, 네이트 실버, 더퀘스트
