《대량살상 수학무기》

약자를 위협하는 불투명성·확산성·피해 모형

《대량살상 수학무기》, 캐시 오닐, 2017, 흐름출판

책 제목인 대량살상 수학무기는 대량살상무기(Weapons of Mass Destruction, WMD)의 Mass를 Math로 바꾼 것으로, 대량살상무기가 사람들의 삶을 위협하듯 “차별을 정당화하고, 민주주의를 위협하는” 수학과 빅데이터로 만든 모형입니다. 글쓴이 캐시 오닐은 수학 전공자로 한때 퀀트에서 일했던 경험을 살려 세상을 설명하기 위해 만들어진다는 모형들이 오히려 세상을 규정하면서 만들어지는 피해 사례들을 열거합니다. “이 책을 세상의 모든 약자들에게 헌정합니다”라는 첫 장 문구처럼, 글쓴이는 이 대량살상 수학무기의 폐해를 주로 약자에게 집중해서 살핍니다. 마지막으로는 어떻게 해야 이 모형들이 인류에게 이롭게 쓰일 수 있을지 그 대안을 제시합니다.

어떤 모형이든 실제를 그대로 보여주지는 않습니다. 모형에 들어가는 값들, 즉 우리가 보고자 하는 현실에 영향을 미치리라고 생각하는 변수의 선택부터 현실과 모형은 차이를 보입니다. 그리고 모형의 결과 나오는 값도 우리가 보고자 하는 현실과 다를 수 있습니다. 그렇기에 모형이 현실에 맞추거나, 현실이 모형에 맞춰지기 마련입니다.

책에서는 야구의 통계 모형을 현실에 맞춰가는 모형의 예시로 듭니다. 여러 가설들이 경쟁하고, 수많은 경기를 치르면서 나오는 데이터들에 맞춰 가설들을 수정하면서 더 실제 야구의 득점이나 승리를 더 잘 설명하는 모형들이 살아남게 됩니다.

여기서 나오는 중요한 개념이 피드백입니다. 피드백이 있는 모형은 현실에 맞춰 모형이 교정될 수 있습니다. 그러나 많은 사회적 모형에서는 이런 교정적 피드백의 경로가 막혀 있습니다. 글쓴이는 이렇게 피드백이 어려운 것을 대량살상 수학무기, 곧 WMD의 특징으로 듭니다.

이는 그리스 신화에 등장하는 도적인 프로크루스테스의 침대와도 비슷합니다. 이 도적은 나그네를 자기 침대에 눕혀서 침대보다 키가 큰 자는 침대에 맞춰 신체를 잘라 죽이고, 키가 작은 자는 몸을 늘려 죽이는 흉악한 도적인데, 이에서 비롯해 절대적 기준에 현실을 끼워맞추는 태도를 프로크루스테스의 침대라고 합니다. 오닐은 WMD가 현실을 설명하기보다 현실을 모형에 맞게 바꾼다고 고발합니다.

책에 나오는 WMD 중 하나가 대학순위입니다. 대학순위를 만든 유에스뉴스에서는 대학의 목적과 성과를 어떻게 나타내야 할지 정확히 알 수 없었기에, 이를 나타내는 수많은 대리(proxy) 지표를 사용했습니다. 그리고 이 지표들을 모은 결과가 공신력이 있게 되기 위해서는 기존의 명문 대학들이 높은 순위가 나와야 하기 때문에, 결국 이 대학순위는 명문대들의 특징을 많이 갖추면 갖출수록 유리한 지표가 되었습니다. 그렇기 때문에 이 대학순위는 유에스뉴스에서 더 정확하고 공신력 있는 지표로 만들기 위해 많은 수정을 거쳤음에도 글쓴이의 관점에서는 WMD입니다. 모든 대학이 명문대를 흉내낼 필요는 없습니다. 예를 들면 명문대는 출세한 동문들이 많기 때문에 많은 기부를 받는데, 그렇다고 모든 대학들이 동문들에게서 많은 기부를 받아야 할까요? 그러나 대학순위가 만들어지자 많은 대학들이 이런 방향으로 대학순위를 높이기 위해 분투했는데, 이는 대학순위라는 프로크루스테스의 침대에 맞춰 대학들이 자기 키를 일부러 늘리거나 줄이려는 시도를 한 꼴입니다.

이런 대학순위와 같은 모형은 불투명하고, 사회에 널리 확장되며, 많은 사람들의 삶에 피해를 끼칩니다. 이것이 글쓴이가 말하는 WMD의 정의입니다. 불투명한 모형이 사회에 널리 퍼져 피해자를 만들면, 피해자는 모형을 고쳐달라고 요구만 할 수 있을 뿐 모형이 스스로 고쳐지지 않습니다. 불투명하기 때문에 피드백이 있는지 없는지 외부에서는 알 수 없고, 특히 약자들은 모형에 맞춰 자기를 순응해야 모형으로 평가를 받는 세상 속에서 살아갈 수 있습니다. 글쓴이가 약자에 주목하는 이유도 이 때문으로 볼 수 있습니다. 이런 WMD는 부자들에게도 비슷하게 피해를 끼치지만, 부자들은 돈을 내고 WMD를 우회할 수 있습니다. 잘못된 모형으로 업무 능력을 부당하게 낮게 평가받아 해고된 교사라도 주변에 좋은 인맥이 있으면 이를 활용해 더 좋은 환경으로 옮길 수 있습니다. 그 열매는 그런 좋은 인맥과 연결된 부유한 지역에서 누릴 가능성이 높고, 반면 잘못된 모형으로 유능한 교사를 잃은 학교는 그런 모형들이 주로 파고드는 가난한 지역이 되기 쉽습니다.

WMD의 또 다른 특징은 현실에 맞춰 모형이 수정되는 것이 아니라 모형에 맞춰 현실을 바꾸는 능력이 있다는 것입니다. 이런 특징은 주로 모형이 사람들을 평가하고 집단화할 때 나타납니다. 이런 모형이 모두 WMD가 되는 것이 아니지만, 평가가 부정적인 낙인과 결합할 때 WMD의 파괴력이 가장 노골적으로 나타납니다. 한번 부정적인 낙인이 찍힌 사람들은 기회를 박탈당하고, 기회가 박탈되었기 때문에 평가 결과가 더 나빠지고, 더 평가 결과가 나빠졌기에 더 철저하게 기회를 박탈당합니다. 이런 악순환이 만들어내는 효과는 주로 약자들의 삶을 파괴하기에, 빅데이터가 불평등을 더 강고하게 만들고 퍼트릴 수 있습니다. 이것도 강화적 피드백이지만, 오닐은 현실이 모형을 조정하는 피드백과, 모형이 현실을 조정하고 그 조정된 현실 때문에 모형이 스스로 정당성을 획득하는 자기실현적 예언 구조를 구분합니다. 그리고 개인이 아니라 집단을 평가하기 때문에, 모형이 틀렸다는 개인의 항의가 나와도 예외로 취급하면서 모형이 수정되지 않습니다.

사람을 평가하는 모형은 현재의 상태를 맥락과 환경에 따른 조건이라기보다 개인의 성향으로 돌리는 방식으로 작동하기 쉽습니다. 이는 과거와 현재의 값에서 개인의 미래 상태를 대표한다고 보는 많은 모형의 한계로 볼 수 있습니다. 그리고 이런 모형이 만들어지는 이유 중 하나는 인간의 편향에 있습니다. 사람에게는 다른 사람의 행동이나 상태를 상황 요인보다 성향 요인에 과다하게 이유를 부여하는 편향이 있습니다. 다른 사람이 불법주차를 하면 이기적인 사람이라서 그렇고, 자신이 불법주차를 하면 주차 공간이 없어서 그렇다고 설명하는 것입니다. 이런 오류는 다른 사람의 상태를 그 사람의 고유한 성향에 연관시키기 때문에 잘 변하지 않는 것이라고 과다하게 추정하게 합니다. 알고리즘과 빅데이터는 이런 편향에 맞춰 설계되기 쉽습니다. 이 지점에서 오닐이 지목한 확산성이 중요해집니다. 모형은 이런 편향에 따른 판단을 신속하게, 대량으로 처리합니다. 따라서 편향도 신속하고 광범위하게 보급됩니다. 결과적으로 많은 사람들이 처한 상황과 맥락은 무시되고 자신의 속성이 바로 어떠한 것으로 판정됩니다. 모형은 감정과 선호가 없는 중립적이며 공정한 것이 아닙니다. 사람의 가치관과 판단을 담습니다. 그렇기에, 인간의 편향도 가감없이 충실하게, 더 신속하고 대량으로 재현할 수 있는 것입니다.

상태를 평가하는 모형의 많은 용례는 자격 부여입니다. 그리고 이런 자격 부여는 자격을 부여받지 못한 사람들에게 부정적인 속성을 부여합니다. 결국 상태를 평가하는 모형은 불가피하게 피해자를 만들 수밖에 없다는 점에서 WMD가 되기 쉽습니다. 더구나 많은 모형은 정확한 지표를 쓸 수 없어서 대리 지표를 쓰기 때문에 그 파괴력은 더 커집니다. 책에서는 음주운전 경력이 없어도 신용점수가 낮은 사람의 보험료가 음주운전 경력이 있어도 신용점수가 높은 사람보다 더 비싸게 나온 예를 듭니다.

책에는 한 번도 나오지 않는 법칙이지만, 이 WMD를 굿하트의 법칙으로 해석할 수도 있습니다. 굿하트의 법칙의 예로는, 공부를 잘 하라고 시험 점수를 목표로 삼으면, 공부를 잘 하는 게 아니라 시험 점수만 잘 받으려고 벼락치기를 하는 것을 들 수 있습니다. 일반적으로 말하면 관측 값을 통제해서 올리려 하면 그 값이 관련되어 있던 궁극적인 목표와 상관 관계가 헝클어진다는 것입니다. 모형을 만들면, 사람들은 현실의 목표가 아니라 모형에만 집착하게 되면서 모형에만 맞는 행동을 하게 되고, 현실의 목표는 개선되지 않습니다. 이 과정에서 왜곡되는 현실이 피해를 만들어내면, 모형은 WMD가 될 수 있습니다.

오닐은 현실의 문제를 단순화해서 보여주기 위해 현실에 맞춰 피드백이 되는 모형과 현실에 피드백을 가하는 모형을 구분했지만, 이는 뚜렷이 구분되기는 어렵습니다. 좋은 모형의 예로 나온 야구의 통계 지표들도 현실에 맞춰서 모형이 수정되는 면과 모형이 현실을 바꾸는 면이 둘 다 있습니다. 득점에 OPS, 즉 장타율과 출루율이 중요하고, 번트와 도루 등이 통념처럼 중요하지 않다는 것을 알게 되면서, 점차 선수들도 볼넷과 홈런을 중시하고 번트와 도루 등을 점차 기피하게 되었습니다. 결국은 우리가 현실을 나타내기 위해 어떤 모형을 쓰느냐가 현실을 바꿉니다. 이것이 긍정적인지 부정적인지는 일률적으로 말하기는 어렵습니다. 따라서 모형이 현실을 바꾸는지로는 모형의 윤리성을 판단할 수 없고, 어떤 변화가 정당한지 판단할 정치적인 기준이 필요합니다. 야구의 예를 더 들자면, 득점에 관련이 있는 지표를 추구해야 한다는 주장은 홈런을 중시하는 흐름을 만들었고, 이 홈런이 주는 원초적인 재미 때문에 변화는 수용될 수 있었습니다.

WMD의 요건은 불투명성, 확산성, 피해 세 가지라 했습니다. 그러면 투명하고 확산성 있고 피해를 끼치는 모형은 무엇일까요? 오닐은 이런 모형은 WMD가 아니고 순수한 착취 모형이라고 지목했습니다. WMD는 문제가 있는 모든 모형을 가리키는 것이 아니고, 그 위험성의 메커니즘을 규명하고 고발하기 어려운 모형에 국한하고 있는 것입니다. 그러나 책의 목적은 WMD뿐만 아니라 사회에 널리 피해를 끼치거나 피해를 끼칠 수 있는 모형들을 전반을 겨냥하기 때문에, 투명한 모델 역시 글쓴이의 비판을 피하지 못했습니다.

WMD는 평가나 예측뿐만이 아니라 인간의 행동에 직접 개입하는 모형도 포함됩니다. 사회적으로 궁색한 처지에 있는 사람들의 절박함을 이용하는 광고나, 사람들의 정치적 견해와 행동을 바꾸는 인공지능도 불투명성, 확산성, 피해 유발을 만족하면 WMD가 될 수 있습니다. 이런 점에서 WMD는 특정한 수학 모형이 사회적으로 만들어내는 폐단을 설명하는 특징을 잡는 것이 아니라, 수학을 이용하는 사회적 현상을 설명하는 도구임을 알 수 있습니다. 요건인 불투명성, 확산성, 피해 유발도 수학 모형의 특성이 아니라 이 모형을 운용하는 체계와 사람들의 특징입니다. 따라서 이 책은 제목에 수학이 들어가 있지만, 수학이 사회에 응용되는 구체적인 방법을 설명하는 것이 아니라 수학을 명목으로 내세운 사회 제도를 고발하는 책입니다.

모형이 WMD가 되지 않기 위한 한 가지 제언은 평가 모형을 사람에게 부정적인 낙인을 찍는 데 쓰지 말고, 지원이 필요한 사람을 찾는 데 쓰자는 것입니다. 이런 부정적인 낙인은 인간의 편향에서 비롯합니다. 따라서 모형이 WMD가 되지 않기 위해서는 편향적인 인간의 습성을 고려한 인간의 가치 판단이 반드시 필요합니다. 또 다른 WMD의 특징은 모형이 피드백이 불가능하다는 점에서 자주 비롯하기에, 글쓴이는 모형을 감사하는 사람, 조직, 운동이 필요하다고 강조합니다.

2026년 무렵에는 인공지능이 각국의 사회를 뒤흔드는 거대한 변화를 일으키고 있습니다. 이 인공지능은 대개 불투명하며, 빠르게 확산된다는 점에서 WMD의 잠재력을 갖추고 있습니다. 설명할 수 있는 인공지능을 만들고자 하는 등의 기술적인 노력도 중요하지만, 불투명하며 빠르게 확산되는 모형이 미치는 피해, 즉 WMD가 미치는 피해를 알게 됨으로써, 2017년 당시보다 더 널리 퍼진 인공지능을 대하는 태도에도 도움이 될 것입니다. 인공지능을 무조건 부정하거나 긍정하는 태도를 넘어서, 인공지능이 WMD가 되지 않으려면 개인과 기업, 사회가 어떻게 노력해야 하는지 실마리를 얻을 수 있을 것입니다.