by
Apr 02. 2023
제발 '좆문가'가 아닌 '자신'을 믿어 주세요!
#소음과 신호 #정보의 과잉 #소음과 신호 구별 #TMI #전문가
바야흐로 정보의 과잉 시대가 도래했습니다. 셀 수 없을 정도로 많은 자극성 정보와 영상들이 매시간마다 무차별적으로 쏟아져 나옵니다. 블로그, 유튜브, 인스타그램, 페이스북 등 각종 SNS에도 제대로 검증되지 않는 루머성 정보들이 넘쳐흐릅니다. 심지어 각종 일간지와 방송사까지 자극성 기사와 영상을 필터링하지 않은 채 실어나릅니다. 정보의 과잉 시대에 우리가 맞닥뜨리는 위험은 바로 '실제로 아는 것'과 '안다고 착각하는 것'과의 괴리라고 할 수 있습니다. TMI(Too Much Information)은 이제 흔히 쓰는 용어가 되었습니다.
지금처럼 변동성, 불확실성, 복잡성, 무질서가 판치는 시대는 일찌기 없었습니다. 인공지능(AI), 사물인터넷(IoT), 로봇기술, 드론, 자율주행차, 가상현실(VR) 등이 주도하는 4차 산업혁명이 본격적으로 시작되면서 하루가 다르게 세상이 복잡계(하나의 변수로 결과를 설명할 수 없는 세계)로 진화하고 있고, 미래를 예측하는 것은 사실상 불가능의 영역이 되어가고 있습니다.
정보의 과잉 시대에는 진짜가 아닌 소위 '짜가 전문가'들은 우리들에게 구원의 손을 내밀며 세상은 예측 가능하다고 말하며, 자신의 이론과 모델로 그것을 설명하려고 애씁니다. 그런 전문가들 중에는 우리가 평소 신뢰하는 금융회사 임원, 대학교 교수, 돈 많다고 주장하는 투자가, 유명 베스트셀러 작가들도 있습니다. 여태껏 세상은 이런 가짜 전문가들에 의해 상당 부분 조작되고 윤색되어 왔습니다. 주식, 코인, 부동산 상승기 때 그토록 투자만을 종용하던 가짜 전문가들은 지금 다 어디로 사라진 것일까요?
출처 : Pixabay《신호와 소음》의 저자 네이트 실버는 정보가 많으면 오히려 예측이 어려운데 이는 정확한 정보인 신호와 이를 방해하는 소음을 잘 분리해 잡아내지 못하기 때문이라고 합니다. 저자 네이트 실버는 특이한 경력을 가지고 있습니다. 시카고대학 경제학과를 졸업한 그는 회계 컨설팅 회사에서 근무하면서 야구선수의 성적을 예측하는 시스템을 만들기도 했고, 포커게임으로 돈을 번 뒤 회사를 그만두고 전문적인 통계 예측 회사를 설립하기도 했습니다. 그 후 미국 총선과 대선의 결과를 정확하게 예측해서 명성도 얻게 되었죠. 지금은 전 세계가 주목하는 통계학자가 되었습니다. 되는 사람은 뭘 해도 되는 것 같습니다. ^^
우리는 일상생활 속에서 확률적 사고를 하기보다는 감정(感情)이나 직감(直感) 또는 경험(經驗)에 의한 사고나 판단을 하는 경우가 많습니다. 행동경제학에서는 대충 어림잡아 결론을 내리는 '휴리스틱(heuristic)'과 다양한 '인지적 편향(bias)'들이 현실 속 인간들의 선택과 결정 과정에 중요한 역할을 한다는 연구 결과를 발표했습니다. 저자 네이트 실버는 사람들의 비합리적 결정 과정을 보면서 생각의 속도를 늦추고 직감을 믿으면 안된다는 사실을 깨닫게 되었고, 군중의 지혜(?)를 점점 더 회의적인 시각으로 바라보게 되었다고 말합니다. 기존의 합의 내용과 통념이 있더라도 조금 더 의문을 품어야 한다고 조언합니다.
'Garbage In, Garbage Out'이라는 용어가 있습니다. '쓰레기가 들어가면 쓰레기가 나온다'라는 뜻입니다. 컴퓨터는 논리 프로세스에 의해 운영되기 때문에 결함이 있거나 심지어 터무니없는 데이터가 입력되더라도 그 값에 전혀 의심을 품지 않고, 원칙대로 처리함으로써 터무니없는 출력값이 나온다는 뜻이죠. 이 원칙은 전제에 결함이 있으면 논증은 오류가 있을 수밖에 없다는 의미로 알려져 있습니다.
네이트 실버, 《신호와 소음》IBM에 따르면 날마다 2.5 퀸틸리언(조의 1만 배, 100경) 바이트나 되는 데이터가 생산되고 있지만, 이 중 90퍼센트는 최근 2년간 생산된 데이터라고 합니다. 많은 데이터들이 양산되고 있지만 이 중에서 유용한 정보의 양은 매우 제한적으로만 증가하고 있습니다. 이처럼 엄청나게 쏟아지는 쓰레기 같은 데이터(소음) 속에서 양질의 데이터(신호)를 찾아내기는 무척 어렵다고 할 수 있습니다. 가설을 세우고 검증을 하는 데 있어 고려할 변수들도 많지만 무엇보다 시간이 상당히 소요되기 때문이죠.
이러한 이유로 많은 가짜 전문가들은 복잡하고 지루한 작업 과정들을 건너뛰고 단순 변수 몇 개만을 고려해 정보 값을 분석하고, 자신의 감과 직관으로 미래의 영역을 예측하곤 합니다. 전문가들은 사람들의 관심을 끌기 위해 검증되지 않은 자료들을 아무 여과 장치 없이 뽑아낸 후 과장해서 말합니다. 《블랙스완》, 《안티프래질》의 저자 나심 니콜라스 탈레브는 그의 저서에서 가짜 전문가들의 위험을 심각하게 경고했습니다.
가짜 경제학자와 금융 종사자들은 잘못된 이론을 외치고 돈을 벌고 있는데도 오히려 그 피해는 선량한 서민들만 받는다고 말이죠. 그들은 이전에 설명한 투자 이론과 모델이 틀렸어도 절대 인정하지 않습니다. 늘 그랬듯 침착하게 다시 개정 매뉴얼을 만들어 이론과 모델을 수정한 후 "내 그럴 줄 알았다"라며 '사후확증편향(事後確證偏向, Hindsight Bias)'을 활용해 무너진 신뢰를 단번에 회복합니다. 정말 뻔뻔하고 얄밉기 짝이 없습니다.
** 사후확증편향 : 결과가 발생한 후에 모든 것을 알고 있었다는 듯이 말하는 현상을 말하는데 '사후확신편향'이라고도 부름
세계적인 금융 위기가 닥쳤을 때 개인들은 엄청난 손해와 피해를 입었지만 막상 파산을 선언한 금융기관들 대부분은 정부의 구제금융을 지원받아 멀쩡하게 기사회생을 했습니다. 다시 말해 전문가들과 금융회사들은 멀쩡한데 그들의 이론과 모델을 따른 개인들만 고스란히 피해를 받은 것이죠. 이렇듯 변동성, 불확실성, 복잡성, 무질서가 판치는 현대사회는 복잡계라고 불립니다. 하나의 이론과 모델만으로 복잡한 이 세상을 설명하는 것은 근본적으로 많은 취약성을 내포하고 있다는 말이죠.
앞으로도 2008년과 같은 세계 금융 위기와 같은 '블랙 스완(Black Swan)'은 필연적으로 발생할 수밖에는 없습니다. 블랙 스완은 '극단적으로 예외적이어서 발생 가능성이 없어 보이지만 일단 발생하면 엄청난 충격과 파급효과를 가져오는 사건'을 가리키는 용어입니다. 월가 투자 전문가인 나심 니콜라스 탈레브가 그의 저서 《블랙스완》에서 '검은 백조'란 용어를 통해 서브프라임 모기지 사태를 예언하면서 두루 쓰이게 되었습니다.
** 블랙스완의 유래 : 1697년 오스트레일리아 대륙에서 검은색 백조(흑고니)를 처음 발견하기 전까지 유럽인들은 모든 백조가 흰색이라고 인식하였다고 합니다. 블랙 스완은 '진귀한 것' 또는 '존재하지 않을 것'이라고 생각하거나 불가능하다고 인식된 상황이 실제로 발생하는 것을 가리키는 은유적 표현임임
이렇듯 기존에 세상에 있던 이론과 모델만으로 세상을 미혹하는 전문가들이 매우 많다는 점을 고려할 때 우리는 자신만의 경험 위에 삶의 설계하고, 세상을 이해해야 할 시점이 되었습니다. 우리에게 필요한 것은 좋은 정보와 나쁜 정보를 구별하는 능력과 소음 속에서 신호를 찾아내는 능력을 갖추는 것이죠. 그럼 어떻게 하면 세상의 수많은 소음 속에서 신호를 필터링하고 또 그것을 프로세스화할 수 있을까요?
첫 번째, 가짜 전문가를 선별하는 능력을 키워야 합니다. 불확실성과 변동성이 큰 시기에는 단정적으로 방향성을 제시하는 전문가를 선호하는 경향이 높습니다. 앞날이 불투명하고, 현재 주어진 상황에서 선택이나 판단이 어려울 때 우리가 점집을 찾는 것처럼 말이죠. 이럴 때 명확하게 방향성을 제시해 주는 사람을 신뢰하려는 경향이 높아질 수밖에는 없습니다. 하지만 단정적으로 말하는 전문가들은 특히 조심하고 의심을 해야 합니다. 진짜 전문가들은 절대 단정적으로 말하지 않기 때문이죠. 그들은 언제나 '확실하진 않지만', '잘 모르겠지만', 확인은 해봐야 알겠지만', '새롭게 깨달은 사실인데'와 같은 문구를 사용합니다.
사람들의 심리적 속성을 잘 알고 활용하는 가짜 전문가들은 가급적 과감하게 예언하고 단정적으로 얘기를 합니다. 그래야 상대방에게 강한 믿음을 심어줄 수 있으며, 세간의 관심도 끌 수 있기 때문입니다. 만약 그 예측이 맞으면 한순간에 전문가로 등극합니다. 하지만 예측이 틀려도 걱정할 필요가 전혀 없습니다. 왜냐하면 사람들은 이미 그 예측을 잊어버렸기 때문이죠. 일정 시간이 지난 후 언제 그랬냐느듯 다시 출연해 수정된 이론과 모델과 '사후확증편향'을 활용해 '필연적으로 그럴 수밖에 없었음'을 설명해 주면 그만인 것이죠.
결국 우리가 해야 할 일은 소위 전문가라고 말하는 사람들의 말을 있는 그대로 믿기보다는 반드시 그 사람의 과거 행적을 찾아서 그간 그가 주창했던 내용들의 신뢰성을 객관적으로 검증하는 과정이 필요합니다. 누구나 결괏값에 대해서는 자기 나름의 이론과 모델로 그 원인을 분석하고 설명을 할 수 있습니다. 그러므로 우리는 미래 예측은 복잡계의 영역이며, 그 어떤 누구도 단정적으로 얘기할 수 없다는 사실을 인식하고 받아들여야 합니다. 그리고 진짜 전문가들이 항상 말하는 미래의 예측은 '신의 영역'이며, 개인의 선택은 '개인의 책임 영역'이라는 주장에 신뢰를 가져야 합니다.
우리가 가짜 전문가들에게 매번 속는 이유에서 관해서 《설득의 심리학》의 저자 로버트 차알디니는 '권위의 법칙' 때문이라고 설명을 합니다. 일반적으로 대부분의 사람들은 권위를 가진 사람들의 말을 쉽게 믿으려는 경향이 크기 때문이죠. 권위를 가진 사람들이라고 하면 대부분 전문직에 종사하는 사람들로 의사, 변호사, 판사, 검사, 건축사, 교수, 박사 등을 말합니다. 이 중에서도 가장 큰 권위를 가진 전문직은 바로 의사입니다. 왜냐하면 생명과 직결된 의료적 지식과 수술에 대해서는 일반인들이 쉽게 개입하거나 관여할 수 있는 영역이 전혀 아니기 때문이죠.
권위의 법칙에 대한 위험성이 가장 두드러지게 나타나는 경우가 있는데 그건 바로 의료사고 통계 자료입니다. 법원의 통계 자료에 따르면 2011년부터 2020년까지 의료사고로 인해 손해배상 소송 분쟁이 접수된 건수가 9.654건인데 이중 단 86건(0.9%)만이 승소를 했다고 합니다. 안타깝지만 의료사고 손해배상의 경우 그 과실을 입증하는 과정이 매우 까다로운데 원고인 환자 측에서 입증을 통해 그 사고의 인과관계를 밝혀야 하기 때문입니다. 게다가 큰 수술을 앞두고 병원은 환자 측에게 책임을 묻지 않는다는 서류에 사인을 받기 때문에 과실 책임의 영역에서는 항상 불리할 수밖에 없습니다.
권위의 법칙을 극복하는 방법은 이전에 말씀드린 대로 최대한 진짜 전문가를 찾는 노력을 기울어야 한다는 것입니다. 중대 질병에 걸렸다면 진짜 수술을 잘 하는 병원과 의사가 어디에 있는지 많은 시간을 두고 탐색하고 선별하는 노력을 기울여야 합니다. 투자를 할 때도 마찬가지입니다. '계란은 한 바구니에 담지 않는다'라는 투자의 포트폴리오 원칙을 반드시 지키도록 노력해야 하며, 자신을 믿으라고 단언하는 가짜 전문가를 구별하는 선구안을 가져야 합니다. 진짜 부자들은 자신이 부자인 것을 밝히지도 않을뿐더러 자신의 돈 버는 방법을 가르쳐 주지 않는 것이 상식일 겁니다. 모든 판단과 선택의 기준은 상식선에서 결정되어야만 하는 것이죠.
출처 : 강원도민일보 기사 '권위의 법칙' (1016.10.11)두 번째, 데이터나 통계자료를 잘 선별하고, 해석해야 합니다. 좋은 전문가를 찾더라도 그들이 주는 정보에 만족하면 안 됩니다. 수많은 정보 속에서 라디오가 주파수를 잡아내듯 잡음(소음)을 제거하고 정확한 신호(정보)를 잡아내는 안목이 필요한 것이죠. 진리와 본질은 매우 단순하지만 선별하는 것은 매우 어렵습니다. 왜냐하면 소음이 신호를 방해하기 때문이죠.
통계학에서 소음을 신호로 인식하는 것을 '과잉 적합(Overfitting)'이라고 합니다. 통계학이나 기계학습에서 자주 쓰이는 '과잉 적합(과적합)'은 모델이 실제 변수들 간의 관계보다는 과거 학습 데이터(training data)의 노이즈를 설명하게 되는 경우를 표현할 때 쓰이는 용어입니다. 다시 말해 모델이 과거의 데이터를 너무 과하게 설명한 나머지 실제 변수들 간의 관계를 잘못 설명하게 되는 경우를 말합니다. 마치 암기식으로 공부해서 시험문제를 잘 못 푸는 것처럼 아직 학습하지 않은 데이터에 대해서는 제대로 설명을 못 하게 되는 것이죠.
과잉 적합의 원인은 여러 가지 요인들로 복합적으로 얽혀서 발생할 수 있지만 가장 쉽게 생각할 수 있는 원인은 학습된 데이터가 대표성을 가지지 않는 경우가 많습니다. 또한 과잉 적합은 고려하는 변수가 지나치게 많아도 발생하기 쉽고, 모델이 너무 복잡한 경우에도 발생합니다. 예를 들어, 국민들의 심리학에 간한 인식을 알기 위해 조사를 의뢰받았으나 수뢰인이 대학생들에게만 조사를 진행해 그 결과를 주게 되면 이러한 사실을 모르는 의뢰인이 '한국 사람들의 심리학에 대한 인식이 좋아지고 있다'라고 잘못된 판단을 내리게 되는 경우는 대표성을 갖지 않는 경우에 해당합니다.
우리가 잘 알고 있는 천재 수학자 존 폰 노이만은 "매개변수 넷만 있다면 나는 코끼리도 만들어낼 수 있다. 그리고 매개변수 하나가 더 있다면 난 이 코끼리가 몸통을 흔들게도 할 수 있다."라고 말했습니다. 일반적으로 우리는 너무 복잡한 데이터도 싫어하고, 깔끔하고 단순한 데이터(추세선)를 선호하는 경향이 있습니다. 하지만 자료가 너무 복잡한 것도 문제지만 데이터가 너무 단순하거나 깔끔한 경우에 우리는 과잉 적합이 있는지 확인하고 검증할 필요가 있습니다. 적절한 수준의 복잡도를 가진 데이터를 찾는 것이 중요하다는 것이죠.
20세기 영국의 대표 사상가인 이사야 벌린은 그의 저서 《고슴도치와 여우》에서 인간을 여우와 고슴도치로 분류했습니다. 일반적으로 여우는 꾀가 많아 교활하다는 이미지를 가지고 있습니다. 많은 것을 알고 있기 때문에 무수한 전략과 전술을 구사할 수 있죠. 반면 고슴도치는 오로지 막강한 가시 방패 갑옷 하나로 무장하고 과묵하게 삶을 영위합니다. 그러면 지략이 뛰어난 여우와 우직한 고슴도치와 싸우면 과연 누가 이길까요?
일반적으로 생각할 때는 여우가 이길 것으로 생각하지만 최종 승자는 고슴도치일 확률이 높다고 합니다. 여우는 자신의 영민함을 무기로 고슴도치가 방심한 틈을 타서 단번에 치명상을 입힐 공격을 감행하지만 고슴도치는 여우의 기습을 감지하고 순간적으로 몸을 말아 방어망을 치기 때문에 여우는 고슴도치의 가시에 코가 찔려 혼비백산 물러난다고 합니다. 다시 말해 여우가 단기 승부를 위한 여러 잔꾀를 시도할 때 고슴도치는 자신의 유일한 무기인 가시로 우직하게 장기 승부를 걸기 때문에 승리를 거머쥔다는 것이죠.
벌린은 '복잡한 세상을 단 하나의 체계적인 개념이나 기본 원리로 단순화하는 고슴도치형 인간이 큰일을 이룬다"라고 결언을 맺습니다. 《고슴도치와 여우》란 책의 부제는 '톨스토이의 역사관에 대한 에세이(An essay on Tolstoy's view history)'입니다. 벌린은 고슴도치와 여우라는 이분법을 톨스토이의 역사관에 대한 분석을 하는데 활용했습니다. 벌린이 보기에 톨스토이는 어느 한쪽에도 나눌 수가 없었다고 합니다. 굳이 말하자면 고슴도치가 되기를 간절히 바라던 여우 정도가 될까요?
요즘처럼 변동성, 불확실성, 복잡성, 무질서가 판치는 세상에서 움직이는 과녁을 맞히기 위해서는 다방면으로 지략을 갖춘 '여우'의 통찰력을 가져야 하며, 또한 벌린의 말처럼 복잡한 세상을 체계적인 개념이나 단순화시켜 보는 '고슴도치'의 선구안과 지혜를 가진다면 과잉 적합의 오류를 제거함으로써 소음을 걸러내고 신호를 포착할 수 있을 것이라 생각합니다.
출처 : BBC 뉴스코리아 (2011.9.15)세 번째, 예측할 수 없는 블랙스완에 대비를 해야 합니다. 정규분포를 관찰하면 양 끝의 분포는 일어날 확률이 거의 없다는 것을 아실 겁니다. 그래서 양 끝의 분포에 대해서는 유의미한 해석을 하지 않는 경우가 많습니다. 그리고 분포에서 너무 벗어난 값을 '이상치(outlier)'라고 부릅니다. 이 값은 보통 통계를 분석할 때 무시하고 제외를 하는 경우가 많죠. 하지만 2008년 세계 금융위기와 같은 사태는 바로 이런 정규 분포를 따르지 않는 것이죠. 우리는 간혹 위험(risk)과 불확실성(uncertainty)을 혼동하며 쓰는 경우가 흔합니다.
하지만 이 두 용어는 명확히 다릅니다. 위험은 확률적으로 계산할 수 있지만 불확실성은 확률적으로 계산을 하기가 상당히 어렵기 때문입니다. 일부 어설픈 전문가들은 불확실성을 위험으로 묘사하는 오류를 범하곤 합니다. 그들은 "금융 위기는 절대 일어나지 않습니다. 부동산은 절대 폭락하지 않아요."라며 단언하며 말합니다. 이런 때일수록 위기와 불확실성의 차이를 올바르게 구분하고 팩트를 말하는 전문가를 찾도록 노력해야 합니다.
네 번째, '생존 편향(surviorship bias)'을 주의해야 합니다. 생존 편향은 생존에 실패한 사람들은 자료가 없어 비교적 기록이 남아있는 생존자들의 사례에 집중함으로써 생기는 편향을 말합니다. 연구자들에게 있어 실패 사례는 없거나 매우 부족한 반면 성공 사례는 상당히 풍부하기 때문에 본의 아니게 성공 사례만을 통계자료로 작성해 일반화시키는 오류를 저지를 가능성이 높습니다. 한 마디로 '승자들의 기록'인 셈이죠.
나심 니콜라스 텔레비는 2008년 세계 금융 위기가 닥치기 전 생존 편향을 언급하면서 성공의 개연성을 과대평가하지 말라고 경고를 했습니다. 성공한 사람들만 보고 실패한 사람들을 보지 않는다는 뜻이었죠. 우리는 오랫동안 보이지 않는 정보를 무시하고, 눈앞에 보이는 정보만을 신뢰하도록 길들여졌기 때문입니다. 이러한 생존 편향은 금융이나 주식투자 분야에서 흔히 나타납니다. 승자는 자신의 승리를 과시하며, 책을 쓰고 강연을 다니며 더 큰 부를 쌓습니다.
나심 탈레브는 또한 《스킨 인 더 게임》이라는 그의 책에서 이익만 챙기고, 손실을 회피하는 전문가와 가짜 지식인, 권력이 어떻게 대중에게 기만하고 있는지를 구체적으로 묘사합니다. 그리고 투자에 관해서는 은행, 증권, 보험사의 전문가라는 사람들을 절대 믿지 말고, 본인 스스로 관련 분야를 공부하고 스스로 리스크를 안고 결정을 해야 수익을 창출할 수 있다고 거듭 강조합니다.
출처 : Pixabay