두 책의 공통점
<신호와 소음>과 <블랙 스완>의 공통점 리뷰
<신호와 소음> 은 2008년 대선, 상원의원 선거, 2012년 대선 결과를 정확히 맞추어 화제가 된 통계학자이자 언론인 네이트 실버의 대표적 저서이다. 현대 사회에 들어 많은 사람들로 하여금 소수 인물들의 특권이었던 ‘정보’ 에 언제든 접근할 수 있음에도, 이를 다루는 인간들은 이를 효과적으로 다루지 못한다.인간은 천성적으로 불확실성과 무질서를 싫어한다. 그들은 불확실하고 패턴이 없는 데이터 속에서 나름의 예측 모델이나 정리를 구축해 이를 예측에 사용한다. 그러한 예측은 다양한 분야에서 참혹한 결과를 불러일으켰다.
이러한 불확실성과 인간의 잘못된 편향에 대한 대안으로 저자는 베이즈 정리를 제안한다. 토마스 베이즈가 내놓은 논문 중 하나로 시작된 베이즈 정리는 학자 라플라스에 의해 완성되었다. 얼핏 간단해 보이는 이 정리는 “과학을 이해하기 위해 확률을 먼저 이해해야 한다” 는 목표 아래 “조건부 확률” 을 도입했다.베이즈 정리에 쓰이는 세 가지 변수는 다음과 같다.
1) 그 가설이 참인 조건 아래에서 등장했을 확률
2) 그 가설이 거짓인 조건 아래에서 등장했을 확률
3) 사전확률 : 가설을 발견하기 전에 추정되는 확률
이 중에서 가장 중요한 요소는 “사전 확률”로, 이에 따라 베이즈 정리가 도출하는 확률은 크게 변동될 수 있다. 이 사전 확률을 통해 이 정리는 우리의 불확실성과 한계에 대해 지적한다. "사전 확률” 자체가 인간의 예측 범주를 넘어선 수치이기 때문이다. 이 정리를 다양한 예측에 꾸준히 적용함으로써 예측을 확률화시키는 것이 정확도를 높이는 가장 확실한 길이다.
이 책은 불확실성을 다룬 소수의 책들, 특히 나심 탈레브의 <블랙 스완> 과 일맥상통하는 부분이 많다. 두 책은 공통적으로 이 세상에는 불확실성이 존재하며, 이를 대하는 인간은 다양한 종류의 오류를 저지르고 있으며, 마지막으로 불확실성 속에서도 통용되는 법칙이 있다고 주장한다.
# 불확실성은 항상, 어디에나 존재한다
<신호와 소음> 은 다양한 예시들을 통해 예측이 빈번하게 이루어지는 대부분의 분야가 불확실성에 노출되어 있다고 주장한다. <기상> 챕터에서는 자연 현상에서 일어나는 불확실성의 존재에 대해 상세하게 설명한다. 인간은 기본적으로 자연현상과 과정과 경로를 바꿀 수 없으며 엄청난 기술의 발전이 일어났음에도 기상 예측의 정확도 변화는 굉장히 미미하다. <지진> 챕터에서는 인간이 불확실한 세계에서 얻는 정보의 한계를 지적한다. 기술적, 물리적 한계로 인해 인간은 지진에 대한 정확한 정보와 원인을 분석할 수 없다. 나아가 <경제> 챕터에서는 자연현상 뿐만이 아닌 인간 사이의 상호작용에도 불확실성이 존재할 수 있다고 말한다. 과거의 데이터와 전혀 다른 극단값이 언제든 나타날 수 있으며 이는 몇몇 단순한 모델로는 전혀 분석할 수 없는 위협 너머의 것이다.
<블랙 스완> 에서는 불확실성이 가득한 세계를 ‘극단의 왕국’ 이라는 단어로 표현했다. 표본값이 다른 표본과 설령 달라도 그 영향이 제대로 두드러지지 않는 '평범의 왕국'과 달리, 극단의 왕국에서는 높은 자가증식성으로 다른 표본의 수치를 월등히 상회하는 소수의 표본들이 우발적으로, 예상치 못하게 등장한다. 이러한 세계에서는 다양한 무작위성의 법칙들이 적용되며 표본의 움직임이 비선형적으로 진행된다.
# 인간은 불확실성을 제대로 통제할 수 없다
이렇게 현실 세계에 불확실성이 만연함에도 불구하고, 인간은 이를 의도적으로 무시하거나 거부한다. 심지어 잘못된 예측 모델로 인해 예상치 못한 피해를 입는 경우도 많다. <신호와 소음> 에서는 대표적인 예측 오류 사례로 서브 프라임 경제 위기를 분석한다. 그들은 독립적이지 않은 요인을 독립적이라 생각하고, 당장의 이권을 위해 위기 (레버리지와 주택담보부증권의 태생적 위험성) 를 의도적으로 무시했으며, 무엇보다 맥락적 요인을 고려하지 않은 채 과거의 데이터를 토대로 현재의 상황을 잘못 예측했다. 대부분의 금융회사들은 이 위기에 대처하기 위해 조잡한 예측 모델을 만들어냈지만 불확실성에서 온 극단적 사건을 막기에는 역부족이었다.
블랙 스완은 더 나아가 이러한 문제점들을 확인 편향, 이야기 짓기, 칠면조 오류 등으로 분류한다.
확인 편향
인간은 1) 한 상황에서 배운 지식이나 추론을 다른 분야에 응용하지 못하고 2) 어떠한 맥락에 생각의 범위가 제한당하며 3) 비슷한 명제 (출현 가능성이 있는 증거가 없다 vs 출현할 가능성이 없다는 증거가 있다) 에 대해 의심하지 않으며 4) 간단한 문제가 논리적이거나 추상적으로 제기되면 답을 찾지 못하고 부분적인 두뇌 장치를 사용하고 5) 정보를 자신의 주장을 정당화하는데만 사용하거나 그와 관련된 정보만 수집하는 경향이 있다. 또한 6) 어떠한 문제에 대한 확증 증거를 찾으려고 한다.
이야기 짓기의 오류
인간은 1) 어떤 정보를 엮어 이야기를 만들지만 이 흐름에 벗어나는 사건을 대처하지 못하고 2) 인과관계와 원인을 무작정 찾으려하는 사후 합리화를 자주 활용하며 3) 정보의 습득, 저장, 가공 비용을 줄이기 위해 계속해서 압축하려 하며 4) 심지어 과거의 기억또한 이러한 인과 관계와 이야기의 흐름 속에서 재창조하려 한다. 그리고 5) 외부 요인에 따라 확률을 과대평가하거나 사고의 대비를 포기하고, 심지어 희귀한 사건에 대해 과소평가한다.
칠면조 오류
경험적 지식 자체로는 미래를 결정짓는데 사용할 수 없다. 설령 그 지식이 과거엔 통했더라도 이것이 미래에는 쓸모 없어지거나 심지어 치명적인 결과까지 낳을 수도 있다. 문제는 많은 사람들이 이에 대해 문제의식을 가지지 않아 항상 블랙 스완의 가능성에 노출되어 있다는 점이다. 또한 블랙 스완은 갑자기 나타는 것이 아닌 변화의 축적으로도 나타날 수 있다.
# 복잡계에서 통용되는 몇 가지 법칙들
두 책은 공통적으로 불확실성이 적용되고 있는 복잡계 속에서 눈여겨보아야 할 몇 가지 법칙이 있다고 주장한다. <신호의 소음> 에서는 작은 것이 큰 결과를 불러일으키며 안정적으로 보이면서도 안정적이지 않고, 안정적이지 않은 것처럼 보이면서도 안정적인 여러 현상을 설명하는 이론인 ‘카오스 이론’, 복잡계의 데이터에서 흔히 발견되는 ‘멱법칙’, 그리고 20%의 요인이 80%의 결과를 불러일으키는 '파레토 법칙'에 대해 언급한다. <블랙 스완> 은 이에 더해 승자가 모든 결과를 독식하는 ‘토너먼트 효과’, 우연이 결과를 좌우하는 ‘마태 효과와 누적 이득’, 그리고 자가증식하는 무작위성을 설명하는 ‘지수 법칙’ 에 대해 설명한다.
