#2 알고리즘의 위협과 사회과학
캐시 오닐, 《대량살상 수학무기》
*사회혁신프로젝트와 관련하여 강의에서 다룬 책을 정리하는 글이다.
대량살상 수학무기
제4차 산업혁명이라는 이제는 상투적이라고 느껴질 법한 슬로건에서 볼 수 있듯, 우리 삶의 (거의) 모든 측면은 데이터의 형태로 전환되고 있다.
구글 지도는 우리가 몇 시에 일어나 어디로 출근하며 등교하는지는 기록하고, 구글 검색 엔진은 우리가 어떤 종류와 성향의 정보를 선호하는지는 파악한다. 페이스북이나 인스타그램 등 SNS는 우리가 누구와 얼마나 친밀한지 꿰뚫고 있으며, 각종 소비 플랫폼은 우리의 소비 성향을 우리 자신보다도 정확하게 분석하고 있다.
데이터가 쌓이다 못해 흘러넘치는 오늘날, 데이터를 활용해 인간의 삶을 바꾼다는 제4차 산업혁명의 기치는 실용적일 뿐 아니라 불가피한 선언이기도 하다.
하지만 저자인 캐시 오닐은 데이터의 이면에 있는 위협을 들여다본다. 그 정체는, 점점 더 증가하는 데이터의 규모와, 그 규모를 감당할 수 없는 인간의 능력으로 인해 탄생하는 ‘대량살상 수학무기’다.
(이름이 길어 책에서 축약한 대로 WMD로 부르기로 하겠다. - Weapons of ‘Math’ Destruction으로, Mass Destruction의 언어유희다.)
데이터량의 증가로 우리는 갈수록 거대한 프로젝트를 기획하게 된다. 하지만 그런 규모는 인간의 손을 벗어나 있고, 그 거대한 프로젝트는 인간이 정해둔 경로를 이탈하여 폭주하는 대량살상 무기가 된다. 책에서는 아주 방대한 사례를 제시하지만, WMD의 세 가지 속성을 이해하기 위해 세 가지 사례만 살펴보기로 하겠다.
불투명성
미국에서 재판 양형 시 참고하기 위해 마련한 ‘재범위험성모형’을 보자. 미국의 재판에서 인종에 따라 다른 수준의 판결을 받는다는 통계는 한국인인 우리에게도 그다지 낯설지는 않을 것이다. 이러한 비판을 받아들이고 ‘공정한’ 사법시스템을 만들기 위해 미국에서는 범죄자의 재범위험성을 측정하는 알고리즘(재범위험성모형)을 개발한다.
이 알고리즘이 묻는 질문이 재범 위험성과 ‘상당한 관련이 있음’은 확실하다. “유죄 확정 판결을 받은 게 몇 번입니까?”, “처음으로 경찰에 붙잡혔던 때 몇 살이었습니까?”, “친구와 친척에게 전과가 있습니까?” 등.
하지만 이런 질문은 동시에 치명적이기도 하다. 질문 자체가 이미 불평등하게 설계되어 있기 때문이다. 지금까지 유무죄 판결을 불평등하게 내려 왔다면, 유죄 확정 판결 횟수에 대한 질문도 불평등하다. 경찰의 순찰과 불심검문이 불평등하다면, 경찰에 처음 붙잡혔던 나이도 불평등한 통계다. 친구와 친척의 전과도 같은 맥락이다.
재범위험성모형이 공정한 양형을 실현했다고 볼 수 있을까? 치명적인 질문, 치명적인 알고리즘은 누군가의 삶을 위협하는 WMD로 돌변했다. 모든 것이 차등적으로 분배되는 자본주의 사회에서, 데이터의 혜택 역시 차등적으로 주어진다는 사실이 아주 새롭지는 않을 것이다.
하지만 중요한 점은, 그것이 ‘수학’무기라는 점이다. 많은 사람을 위험에 빠트리는 살상적 무기는, 수학이라는 강력하고 합리적인 갑옷으로 무장해 있다. ‘수학’무기의 가장 큰 문제점은, 우리 스스로가 수학을 제대로 이해하지 못한다는 사실이다.
다시 재범위험성모형으로 돌아오면, 여러 요인들에 각각의 가중치를 부여한 모형이 제시하는 ‘재범위험성’이 어떤 의미를 가진 값인지는 개발자들조차 알 수 없다. 누락된 요인, 과소 과대평가된 요인, 상호작용하는 요인이 분명히 존재한다.
특정 요인만을 취사선택한 후 주관적인 가중치를 부여하여 도출한 ‘재범위험성’은 우리에게 어떤 정보를 주는 것일까? 이처럼 누구도 알고리즘의 실체를 알지 못하지만, 수학이라는 일종의 신앙은 알고리즘의 권능을 튼튼하게 뒷받침한다. (저자는 이를 일컬어 알고리즘의 ‘불투명성’이라고 부른다.)
부정적 피드백 루프
다음으로는 미국에서 진행된 교사역량평가를 살펴보자. 교사가 가르치기 이전과 이후 학생들의 성적을 비교하여, 성적 향상에 가장 미진한 결과를 낸 교사를 해고하는 정책이었다.
여러 문제점이 보인다. 성적만으로 모든 것을 평가할 수 있느냐, 모든 교사들이 역량평가에 윤리적으로 임했느냐, 기존 학생들이 너무 뛰어나거나 뒤처진다면 평가하기 곤란하지는 않느냐 등. 교사역량평가는 교육 현장과는 거리가 먼 탁상 데이터과학자들이 만들어낸 WMD였다.
모든 비판은 타당하지만, 교사역량평가에는 무엇보다도 결정적인 문제가 하나 있었다. 해고되고 나면 그것을 만회할 기회가 주어지지 않았다는 사실이다. 주에서는 ‘능력 부족’의 교사들을 즉시 해고하였다. 이렇게 알고리즘은 자기 자신이 옳은 측정을 해내고 있는지 피드백할 새도 없이, 무소불위의 전진을 계속할 따름이었다.
재범위험성모형도 비슷했다. 재범위험성이 높다고 나타난 사람은, 그것이 틀렸다고 주장할 방도가 없이 더 높은 형을 부여받았다. 더 오래 사회로부터 격리된 채 폭력적인 환경에 방치된 ‘재범위험분자’들은 추측건대, 실제로 또 다시 범죄를 일으킬 확률이 높을 것이다. (저자는 이를 일컬어 알고리즘의 ‘부정적 피드백 루프’라고 부른다.)
피해의 확장성
마지막은 유에스 신문의 대학역량평가다. 미국의 2류 신문인 유에스는 더 많은 독자를 유혹하기 위해 대학의 순위를 평가하여 발표하기로 한다. 물론 부정한 개입은 하지 않고, ‘공정한 잣대’로써 평가할 계획이었다.
그렇게 유에스 신문은 시험 점수, 입학 경쟁률, 졸업률, 신입생 잔류율, 학생 대 교수 비율, 동문 기부금 등의 ‘대리 데이터’를 바탕으로, 미국 전역의 대학을 순위매긴다. 유에스의 최고 데이터전략가 로버트 모스는 이것이 대학의 역량을 측정하는 최선의 방법이라고 주장했다.
하지만 머잖아 많은 대학은 자신들에 대한 평가를 끌어올리기 위해 갖은 방법을 동원했다. 대학들은 비윤리적인 편법도 서슴지 않았고, 심지어 윤리적인 방법조차 부작용을 낳는 경우도 많았다. “현실을 대체한” ‘대리 데이터’들은 대학을 교육의 장이 아닌 지표들의 집합으로 변질시켰고, 수많은 대학과 학생과 학부모들이 피해를 입었다.
유에스 대학평가의 부작용은 미국 전체 대학의 데이터를 단일한 알고리즘에 맡겨 평가하면서 발생한 문제다. 이처럼 대규모 데이터를 일원화된 과정으로 처리하게 되면서 수학 무기가 끼치는 위협의 범위는 기하급수적으로 넓어졌다.
앞선 재범위험성모형은 미국의 모든 피고인을, 교사역량평가는 모든 교사 나아가 학생들을 위험에 빠트린 WMD였다. 유에스 대학평가는 모든 대학과 대학생들, 입시경쟁에 뛰어든 학생과 학부모들에게 유해한 WMD다. 이처럼 방대한 데이터량을 처리하는 WMD가 끼치는 위협은 점점 더 넓은 범위에 뿌리를 내리는 중이다. (저자는 이를 일컬어 ‘피해의 확장성’이라고 부른다.)
판단을 내맡길 때
개발자 자신도 온전히 이해할 수 없는 ‘불투명한’ 알고리즘, 알고리즘의 발전을 막는 ‘부정적 피드백 루프’, 알고리즘이 처리하는 방대한 데이터량으로 인한 ‘피해의 확장성’은, 수많은 사람들을 WMD의 위험에 처하게 만들었다. 저자는 이러한 틀로써 데이터와 알고리즘이 우리 사회를 위험에 빠트리는 양상을 분석한다.
하지만 필자가 보기에 WMD가 탄생하는 가장 결정적인 지점은 조금 다르다. 잠재적으로 유해한 알고리즘을 대량살상 무기로 만드는 것은 바로 인간의 무책임한 믿음이다. 객관적 수치와 합리적인 수학적 절차를 이용한다면, 알고리즘이 가장 타당한 답변을 도출해줄 것이라는 믿음.
그 믿음을 바탕으로 일부 데이터과학자와 정책가들은 스스로의 주체적 판단을 포기했고, 그 권한을 알고리즘에 내맡겼다. 피고인의 재범위험성, 교사와 대학의 역량을 평가하고 판단할 권한을 인간이 아닌 알고리즘이 쥐게 된 것이다.
인간이 알고리즘을 온전히 이해할 수 없다는 알고리즘의 불투명성과도 관련이 있지만, 그것과는 조금 다르다. 필자가 보기에 WMD의 문제는 알고리즘이 불투명하다는 사실 자체보다, 주체적 판단을 포기한 수동적 인간들의 무책임한 믿음에 있었다.
저자도 이를 인식하고 있다. “데이터 처리 과정은 과거를 코드화할 뿐, 미래를 창조하지 않는다. 미래를 창조하려면 도덕적 상상력이 필요하다. 그런 능력은 오직 인간만이 가지고 있다.” 저자가 말한 ‘도덕적 상상력’은 알고리즘에 모든 선택을 위임하지 않고, 어떤 선택이 보다 나은 사회를 만들지 숙고하는 인간의 주체성과 다름없다.
맨 앞에서 언급했듯이, 우리 삶 곳곳이 데이터로 채워지는 소위 ‘제4차 산업혁명’의 흐름을 거스를 수는 없다. WMD의 강한 파급력은, 동시에 우리 삶의 얼마나 많은 부분이 데이터로 처리되고 있는지를 상징하기도 한다. 그렇지만 거스를 수 없다고 손을 놓는다면 이는 무책임하다.
알고리즘의 대량살상적 위험성과 데이터가 초래하는 수많은 윤리적 현실적 딜레마는, 데이터를 다루는 오늘날의 모든 과학자들이 반드시 고민해야 할 문제다. 사회과학자들에게도 마찬가지, 아니 사회과학자들에게는 특히 중요하다.
복잡한 현실을 단순명료한 수치로 설명하는 데이터의 유혹은 강력하다. 수치는 현실의 많은 것에 대해 상세하지만 분명한 정보를 제공한다. 하지만 그 유혹에 넘어가 생각하기를 멈추어서는 안 된다. 주체적으로 판단하기를 포기하고 데이터와 알고리즘에 권한을 넘겨주는 순간, 그 단단했던 수치와 논리는 WMD라는 통제할 수 없는 위험이 되어 우리에게 닥칠 것이다.
캐시 오닐, 《대량살상 수학무기》, 흐름출판, 2017
