대량 파괴 무기-수학
수학자이며 데이터 과학자인 캐시 오닐의 경고
캐시 오닐은 수학을 기반으로 한 정보 기술이 우리 사회에서 하는 파괴적 역할을 분석한 책에 WMD ㅡ 대량살상무기Weapons of Mass Destruction에 빗대어 Weapons of Math Destruction 이라는 제목을 달았다.
어렸을 적부터 수학을 가지고 놀았다는 캐시 오닐에게 수학은 무질서한 실제 세계로부터 도망칠 수 있는 질서 정연한 안식처였다.
그는 대학에서 수학을 전공하고 박사학위를 받고 교수가 되었지만 몇 년 후 헤지펀드의 매니저로 인생행로를 변경한다. 수학을 추상적인 이론에서 현실세계로 끌어들인 것이다. 자신이 숫자를 가지고 만들어 낸 작업의 결과가 수십조의 달러로 번역되어 세계경제를 이리저리 출렁이게 하는 것을 보며 처음에는 흥분되고 놀라웠다고 한다. 그러나 그곳에서 일한 지 1년 남짓 되었을 때, 2008년 가을, 파멸이 왔다. (2008년 미국의 서브 프라임 위기에서 시작된 세계적 불경기를 말함)
그 붕괴를 보며 저자는 한 때 자신의 안식처였던 수학이 단지 세계의 문제들과 깊이 얽혀 있을 뿐만 아니라 오히려 많은 문제들에 기름을 붓고 있다는 사실을 깨달았다. 또한 수학이 가진 힘의 특성 때문에 수학은 기술과 결합하여 혼란과 불행을 더욱 빠르게, 더 넓게 배가할 수 있다는 사실을 깨달았다.
이 책은 그러한 문제의식 아래 쓰여졌다.
거대 IT기업의 온갖 알고리즘에 의해 선택되고 제공된 정보의 소비자인 일반대중뿐만 아니라 그 알고리즘을 만드는데 기여하는 동료 수학자들, 데이터 과학자들에게 보내는 일종의 경고이다.
우리의 경제적, 사회적 활동을 보다 효율적으로 돕는 수많은 알고리즘 기반 프로그램들이 개발되어 있고 앞으로는 더욱 많아질 것이다. 그중에는 상당히 유용하고 과학적인 도움을 주는 프로그램들이 있다.
그 대표적인 사례는 야구나 농구 등 스포츠 분야에서 개발되어 사용하는 프로그램이다. 이 프로그램은 선수 개개인의 장점과 단점, 일정 기간의 실적, 컨디션, 또 상대 팀의 전력과 장. 단점 등 수많은 정보를 짧은 시간 안에 분석하여 바람직한 전략을 세우도록 지도자들을 돕는다.
이 분야에서의 알고리즘이 성공적이고 긍정적인 것으로 평가받을 수 있는 이유는 입력되는 데이터가 정확하고 항상 피드백이 가능하기 때문이다. 즉 필요한 데이터가 제한되고 명확하다는 것(선수 개개인이 분명한 데이터 정보)과 더불어 시뮬레이션 결과가 실제 게임의 결과와 다르게 나타났을 때 프로그램 개발자는 원인이 무엇인지 조사하고 새로운 정보를 입력하여 알고리즘의 정확성을 업그레이드할 수 있다. 이러한 모델을 수학자들은 다이내믹 모델이라고 한다.
그러나 모든 알고리즘이 이처럼 정확한 데이터에 기반하거나 즉각적인 피드백이 이루어지는 것은 아니다.
인간의 삶에 또 사회에 부정적 영향을 미치는 알고리즘 기반 프로그램을 저자는 대량 (살상적) 수학무기WMD라고 부른다.
2011년 월가 점령 운동 Occupy Wall Street 이 일어나자 저자는 이 운동에 동참하였다. 데이터 전문가로서의 경험에 더해 금융권에서의 경험을 통해 저자는 기술과 문화에 의해 작동하는 WMD의 역할을 깊이 들여다볼 수 있었다고 한다.
WMD를 개발하고 운영하는 사람들은 진실 대신에 그 대리인을 본다. 대리자는 돈이다. 돈이 쏟아져 들어오는 한 WMD는 잘 작동하고 옳은 것이다. 데이터 전문가는 어떤 통계 시스템도 완벽할 수는 없기 때문에 소수의 희생자가 나올 수는 있다고 인정한다. 그것은 우연히 발생한 불가피한 희생자이고 고려할 가치가 없거나 소모품 정도로 간주한다.
모델을 만들기 위해서는 정보에 대한 취사선택이 이뤄질 수밖에 없다. 그 선택에는 블라인드 스팟이 있을 수밖에 없으며 그것은 개발자의 판단과 우선순위를 반영한다.
구체적인 사례로 미국 공립학교의 교사 평가 프로그램을 든다.
이 모델은 교사의 능력을 평가하기 위해 학생들의 전년도 성적 대비 금년도 성적을 본다. 시험 성적에 크게 의존하고 있으며 교사가 학생들과 얼마나 적극적으로 관계를 맺는지, 특정한 기술이 있는지, 학급 운영에 얼마나 관여를 하는지, 개인적인 혹은 가정적 문제와 관련해서 얼마나 학생들을 돕는지 등은 무시하였다. 무엇 보다 학생의 성적이 전 년 보다 떨어진 데 가정적 문제가 있었는지 등은 데이터에 들어가지 않는다. 이 모델은 지나치게 단순하고, 효율성을 위해 정확도와 통찰력을 희생시켰다. 그럼에도 불구하고 관리자의 입장에서 보면 이 모델은 몇 명의 잘못된 사례가 발생한 위험은 있지만 그래도 수백 명의 무능한 교사들을 매우 효과적으로 찾아내는 도구이다.
모델은 중립적이라는 평판에도 불구하고 목표와 이데올로기의 반영물이라는 것을 알 수 있다. 데이터를 모델링하는 과정에서 어떤 질문을 하고 어떤 대답을 수집할 것인지 선택할 때 이미 우리 자신의 가치와 욕구가 영향을 미친다. 모델은 수학 속에 깊이 새겨진 판단/견해이다. 모델이 성공적이냐 아니냐도 견해의 문제이다. 모든 WMD를 판단할 때 우리는 누가 그것을 설계했느냐 뿐만 아니라 그 사람 혹은 그 회사가 이루고자 하는 목표가 무엇인지를 물어야 한다.
캐시 오닐은 WMD의 정체를 이해시키기 위해 여러 가지 사례들을 제시하고 있다.
그중 가능한 한 간단히 필요한 내용 몇 가지를 소개하려고 한다.
저자가 규정하는 WMD의 특징을 세 가지로 정리해 볼 수 있다.
불투명성opacity--데이터가 공정하지 않다.
1983년 뉴스 잡지 U.S. News & World Report 에서 야심 찬 기획을 한다. 1800개의 칼리지와 대학을 평가하여 우수한 순위를 매긴다는 것이다. 이를 통해 수많은 젊은이들이 자신들의 평생을 좌우할 첫 번째 큰 선택에서 도움을 받을 것이라고 기대했다. 물론 그 잡지의 편집자들은 이 기획물로 경쟁자인 타임지와 뉴스위크지를 제칠 수도 있다고 기대했을 것이다.
그런데 이 순위를 위해 입력한 자료는 무엇이었을까?
온전히 대학의 총장들에게 보낸 의견 조사에 기초한 것이었다.
각계각층에서 불평불만이 쏟아져 들어왔다.
다음 해, 잡지사의 편집자들은 교육의 우수성을 어떻게 수량화할 수 있을까 고민했다.
학습도, 행복도, 확신, 교우관계 등 4년 간의 학생의 주관적이고 개인적인 경험을 수량화하여 측정하는 것은 불가능하다. 또는 더욱 깊은 개인적 성취감, 더 큰 개인적 생산성, 개인적 보상의 증가(린든 존슨이 고등 교육의 이념으로 삼은 내용들) 같은 것을 측정하는 것도 불가능했다.
대신에 그들은 성공과 관련성이 있는 것으로 보이는 대체재들을 선택했다. 즉 SAT 점수, 교수 대 학생 비율, 입학 허가율 등이다. 입학이 허락된 학생이 2학년으로 진급한 비율, 그리고 졸업한 비율을 따졌다. 또 자신의 학교에 돈을 기증한 생존 중인 졸업생의 비율을 계산했다. 순위 매김의 3/4이 이러한 대체재로 만들어진 알고리즘에 의해 결정되었다. 나머지 1/4은 대학 관계자들의 주관적 견해에 의거하였다.
많은 알고리즘이 수량화할 수 없는 가치들을 수량화하기 위해 대체재들을 차용하는 것이 현실이다. 이 대체재에 데이터의 부정확성, 불투명성이 있다고 본다.
확장성scale
어떤 모델의 데이터가 사용하는 대체재의 부정확성 보다 더 큰 문제는 그 모델의 확장성이다.
예를 들어, 위의 대학들의 순위매김 모델은 관련된 모든 이들에게 동일한 목표를 향해 뛰도록 압박하였다.
그리고 그것은 끝없는 경쟁과 의도하지 않은 결과들을 초래하였다.
데이터에 의한 순위 매김이 없을 때는 칼리지의 운영자들은 모두 나름대로의 성공 스토리와 다양한 장점들에 대해 얘기할 수 있었다. 매칼레스터가 리드보다 나은가? 혹은 아이오와가 일리노이 보다 우수한가? 아무도 말하기 어렵다. 칼리지는 서로 다른 종류의 음악 혹은 식단과 같다. 다양한 의견이 있을 수 있고 서로 논쟁의 공간이 보장되어 있었다.
그러나 이제 이들 칼리지의 운영자들, 총장들은 2급 뉴스잡지가 생산한 기준에 맞춰 더 높은 점수를 얻기 위해 온갖 노력을 기울이고 때로는 속임수를 쓰기도 한다. U.A. News의 알고리즘을 만족시키기 위해 노력하는 것이 학교와 학생을 위한 최선의 방책이라고 주장한다. 더 많은 기여금을 모으고 더 훌륭한 교수와 좋은 학생을 모집하여 리스트에서 순위가 올라가기 위해 다른 방법이 있겠는가? 그냥 2순위-3순위로 입학원서를 넣은 학생들이 아니라 확실히 입학할 학생에게 입학허가서를 주어 등록율을 높여야 좋은 순위를 받을 수 있었다.
그래서 입학 사정 컨설턴트 회사를 이용하는 학교들이 많아졌다.
빅 데이터에 의해 수집된 정보들은 리드 생성 lead generation 업체들에 의해 목표 대상들을 선별하는 데 사용된다. 이들 컨설턴트 회사들은 학생 예정자들의 온갖 개인 정보를 취합해 수익 추구형 칼리지에 적합한 희생자의 명단을 뽑아 1명 당 $100를 받고 칼리지들에 팔아넘긴다. 대상 학생들은 그때부터 학교의 달콤한 광고 전화를 수없이 받게 된다. 대부분이 국가의 학자금 지원 대상자 자격이 있는 가난한 가정, 홀 부모 가정의 학생들이다. 칼리지는 학생들의 학업 성취 보다 이들이 가져올 정부 지원금에만 관심이 있다.
칼리지 수준만이 아니라 의대, 예술대, 기타 대학들을 대상으로 한 순위 매김이 퍼져 나갔고 심지어 고등학교까지도 그 대상이 되었다. 리드 생성 업체들의 알고리즘이 광범위하게 채용되어 이들 학교의 운영에 사용되고 있다.
인터넷 뉴스매체들이 발전하면서 본 업이 축소되고 있던 U.S. News는 부업이 주업으로 확장되어 간다.
훼손성demage--빅 데이터 시대에 희생되는 시민들
미국 경찰이 기획한 범죄 예측 프로그램이 있다.
경찰이 그들의 범죄예측 프로그램을 설정할 때 강력범죄 위주로 셋업을 할 수도 있고 좀 더 범위를 넓혀 풍속사범이나 경범죄 nuisance 행위들을 포함시킬 수도 있다. 첫 번째 범주의 범죄(살인, 방화, 폭행 치상 등)는 당연히 경찰에 신고가 들어오겠지만 부랑자, 공격적인 거지, 소량의 약을 사고파는 행위 등은 경찰이 그 자리에 없었으면 기록되지 않고 그냥 지나갔을 범죄들이다. 그러나 이들 풍속사범 행위를 데이터에 포함시키면 경찰들이 순찰을 돌게 되는 지역이 가난한 동네가 주가 된다. 당연히 그 지역에서 일어난 사소한 범법 행위를 발견하고 체포하는 경우가 많아지고 이 동네가 범죄발생 위험도가 높아지는 악순환의 고리가 만들어지게 된다. 이러한 풍속사범이나 경범죄가 많은 동네는 가난한 동네이며 대부분 흑인이나 히스패닉들이 사는 동네이다. 따라서 프로그램 자체는 인종차별의 요소가 배제되어 있다고는 하지만 인종별 거주지가 분리되어 있는 우리의 도시에서는 지역 자체가 인종을 대체하는 요소가 된다.
경찰이 범죄의 우선순위를 바꾼다면 어떻게 될까?
알고리즘에서 멀리 떼어놓은 범죄들, 부자들에 의해 행해지는 범죄들은 어떤가?
2000년대 금융분야의 제왕들은 자신의 고객들을 속이고 수십 억을 고객의 이익에 반하는 투자를 하는 사기 행각을 벌였다. 그들은 돈 잔치를 벌이고 신용 조사 에이전시도 한몫을 챙겼다.
이처럼 거대한 범죄가 자행되고, 그 결과는 그 후 5년 간 세계경제에 치명적인 것이었다. 수백 만 명이 집과 직업, 건강보험을 잃었다. 이런 금융분야에서의 범죄가 현재도 일어나고 있다.
금융의 세계는 거대한 이익을 창출하는 것이 목적이고, 많으면 많을수록 좋은 것이므로, 자체 규제 같은 데 기대어서는 아무 소용이 없다는 것을 인식해야 한다. 그들의 재력과 로비 덕으로 금융분야에 대한 감시는 미약하기 짝이 없는데, 경찰력은 알고리즘이 단지 가난한 동네에 산다는 이유만으로 범죄 가능자 혹은 우범자로 찍어 준 무고한 시민들의 집을 두드리고 위협적 경고를 하는데 소모되는 양태가 벌어지고 있다.
또 다른 예는 대형 유통회사들이 최저임금 노동자를 고용할 때 사용하는 성격 테스트 프로그램을 들 수 있다.
이런 모델은 대규모 집단을 대상으로 한다. 이들은 인력관리 비용을 줄이기 위해 사람 대신 기계를 사용하거나 현장에서 좀도둑 사건 같은 것이 터지거나 생산성이 급전직하하는 등의 상황이 벌어지기 전에는 필터링 모델을 다시 들여다볼 이유가 없다. 이 프로그램은 설사 잠재적으로 훌륭한 종업원을 한 두 사람 놓친다 해도 맡겨진 임무를 잘 수행하고 있는 것으로 간주된다.
회사들은 현 상태에 만족하겠지만 자동화 시스템의 희생자들은 고통을 받게 된다.
많은 최저임금 노동자를 고용하는 회사들은 비슷한 성격 테스트를 필터링에 사용하기 때문에 한 번 빨간 카드를 받은 사람은 다른 곳에서도 계속 비슷한 결과를 얻게 된다.
그래서 저자는 고용을 위해 사용하는 성격 테스트 프로그램이 WMD라고 생각한다.
직접 면접을 통해 노동자를 채용했던 과거에는 회사마다 선호하는 성향이 다를 수 있고 다양한 성향의 사람들에게 기회의 문이 열릴 수 있었다. 그러나 성격 테스트의 자동화된 시스템은 약간의 정신적인 문제 때문에 빨간 불을 받은 사람들이 정상적인 직업을 가지고 정상적인 삶을 영위할 기회를 원천적으로 차단하게 된다. 이들은 더욱더 고립되게 될 것이다
보험회사들은 고객의 개인적 정보를 많이 확보할수록 더욱 강력한 예측 프로그램을 생산할 수 있다. 그것이 데이터 경제의 본질이다. 더 많은 정보로부터 가장 똑똑한 정보를 끄집어 내 그것을 이윤으로 전환시키는 기업이 최고의 위치를 차지하게 된다. 이에 따라 어떤 사람은 20-30%의 할인혜택을 받고 어떤 사람은 200%의 할증된 금액을 지불해야 할 수 있다. 심지어 합법적으로 인정되는 곳에서는 보험을 거부하는 경우도 있다. 이제 평균 보험료를 내는 사람은 없다. 이는 위험에 처한 사람들을 도와 사회의 균형을 이루게 하려는 보험의 본래 취지를 무색하게 하는 것이다.
가난한 사람들일수록 높은 보험률을 적용받는 모순적 경향이 있다. 운전자 보험을 들 때, 보험회사들은 원칙적으로 운전자의 운전습관에 기초해서 보험료를 산정하는 것이 옳다. 그러나 흔히 운전자의 신용점수, 사는 동네, 자동차 운행 시간과 패턴 등에 대한 정보도 수집해서 보험료 결정에 참고한다. 가난한 동네에 살고 밤늦게 까지 일하는 사람들은 사고 위험성 점수가 높게 나와 높은 보험료를 내게 된다.
WMD는 우리 사회의 가난한 사람과 부자들 사이의 골을 더 깊게 만들고 있다.
빅 데이터의 시대에 안전지대는 없다.
FICO 점수라는 게 있다. 순전히 차용인의 부채 및 공과금 납부 기록만을 데이터로 사용해서 장래 대출금 상환의 위험정도를 판별하는 데 사용한다. 인종적 편견이 배제되고 피드백이 분명한 장점이 있다. 만약 좋은 점수를 받은 차용인이 상환에 실패하면 모델을 조정해서 보다 정확하게 만드는 것이 가능하다. 신용점수 또한 상대적으로 투명하다. 신용점수를 높이기 위한 방법에 대한 간단한 안내도 나와 있다. 못지않게 중요한 것은 신용평가 기관이 법으로 규제되고 있다는 점이다.
오늘날 이 FICO 점수와 비슷한 e-score라는 것이 횡행하고 있다. 이 프로그램은 우리의 우편번호에서부터 인터넷 사용 정보, 상품구매 정보 등을 취합하여 신용가치를 예측한다. 과학의 탈을 쓰고 얼핏 보아 FICO와 비슷한 것처럼 보이지만 그와 달리 이 점수는 임의적이며 고려할 가치가 없고, 법으로 규제되지도 않으며 자주 불공정하기도 하다. 이것은 WMD이다.
캐피탈 원 같은 신용카드 회사는 이와 비슷한 프로그램을 운영해서 누군가가 그들의 웹사이트에 접속하면 그 사람의 웹 브라우징 정보, 구매 패턴 등을 빠르게 파악한다. 대부분의 평가 시스템은 웹에 방문한 고객의 컴퓨터 시행 지역이 어딘지를 파악하고 (즉 부자 동네인지 아닌지 등) 그 부동산 정보가 고객의 신용점수와 맞는지를 파악한다. 가난한 동네의 누군가가 대출을 원할 경우 e-score는 그의 동네가 신용도가 낮은 것을 반영하여 신용평가 점수를 낮게 주고 그로 인해 가능한 신용대출금은 낮아지고 이자율은 높아질 것이다. 반면 그가 부자 동네의 주민이면 그의 전화 대기 순번은 바로 맨 위로 치솟으며 대출 이자는 낮아질 것이다.
미국 기업의 거의 반이 직원 채용 시 신용평가를 조회하며, 심지어 현 직원들에 대해서도 조회를 하는 것으로 나타났다. (특히 진급심사를 앞두고) 조사에 응한 사람들 10명 중 한 명이 회사로부터 자신의 신용평가 때문에 진급 심사에서 탈락했다는 얘기를 들었다고 보고했다.
집 안에 뜻 밖에 돈 들어갈 일이 갑자기 생겨서 제 때에 카드 빚을 갚지 못했다면 그 사람은 낮아진 신용점수 때문에 승진 기회에서 탈락하고 더 높은 봉급을 받을 기회를 잃어버리게 된다.
얼마나 더 많은 사람이 이유를 모른 채 그냥 승진에서 탈락했는지 누가 알겠는가.
페이스북에서 새로운 형태의 신용평가 프로그램을 출원했다. 그것은 소셜 네트워크에 기반한 것이다.
SNS활동이 활발하고 팔로워가 많고 팔로워 중에 영향력이 있거나 사회적 지위가 있는 사람들이 포함되어 있으면 높은 점수를 받도록 설계되어 있다.
나처럼 SNS를 거의 하지 않는 사람은 매우 낮은 점수를 받을 것이다. 나는 오프라인에서 믿을 만한 여러 사람들과 좋은 관계를 유지하고 있지만 그런 정보는 빅 데이터에 입력되기 어렵다.
이 프로그램을 기업이 인재를 채용하는 데 사용한다면 나는 어디에도 취업이 불가능하고 소비활동의 많은 부분에서 불이익을 받을 가능성이 높다. 승진에도 불이익을 받을 것이다.
해드 헌팅 회사들이 이런 프로그램에 의존하고 있다. 사람들은 그 기준에 맞추기 위해 자신의 SNS 활동에 더 열심을 기울이고 과시적인 소셜 네트워크를 만들고 더 많은 정보를 거대 IT 기업에 노출시킨다.
이런 식으로 대체 데이터가 첨단 IT기술과 결합하여 점점 더 광범위하고 깊게 우리의 생활을 지배하고 침투하고 있다.
저자는 이러한 현상에 마땅한 대안을 내놓지 못한다. (대안이 있을 수 있을까?)
이미 누구도 거부할 수 없는 시대의 흐름으로 자리잡았다.
캐시 오닐은 다만 이 책을 통해 대중에게 경각심을 가질 것을 촉구하고자 한다.
무엇 보다 동료 수학자들, 데이터 과학자들에게 수학이 대량살상무기로 작용할 수도 있는 현실에 대해 눈 감고 맹목적으로 거대 기업의 이윤추구를 위한 도구로 봉사하지 않도록 호소하고 있다.
덧 붙여서 통계나 데이터 분석이 의도하든 하지 않았든 잘못 해석되고 이용되는 현실에 대해서도 분명하게 경각심을 가지고 바라볼 필요가 있다.
최근 한 유튜브 방송에서 메이저 언론이 낸 기사를 비판하는 내용을 보았다.
여당의 촉망받는 젊은 지도자 한**의 20-30대 선호도가 40%가 넘게 나왔다고 보도했는데, 그 수치가 20대 10여% 와 30대 20여%를 단순 합산한 수치라는 것이다. 예를 들어 20대 응답자가 40명이고 그 긍정 수치가 15%라면 6명이 호감을 표시한 것이다. 30대 응답자가 60명이고 호감도가 25%라면 15명이 호감을 표시한 것이다. 그러면 20-30대의 호감도는 얼마가 될까? 100명의 응답자 중 21명, 즉 21%가 된다. 40%가 아니라.
그 유튜버는 이 단순한 계산을 기자가 몰랐을까 아니면 의도적으로 잘못된 수치를 내놓았을까 의문을 제기한다.
데이터를 제대로 읽는 방법에 대해서는 브런치의 정경문 작가의 글 <편의점 하면 얼마나 벌까? 평균의 비밀>이라는 글을 보면 잘 이해할 수 있다.
