일반인문 CXII 빅 데이터의 어둠
; 대량살상 수학무기 Weapons of Math Destruction
How Big Data Increases Inequality and Threatens Democracy
- O'Neil, Cathy 캐시 오닐
빅데이터 업계의 내부고발자의 책 -The Times
우리의 삶을 규제하는 빅데이터와 알고리즘의 이중성을 노련하게 풀어냈다-NY Times
대단히 흥미롭고 굉장히 심란케 하는 책이-유발 하라리
많은 알고리즘들이 불평등과 편견의 산물-랠프 네이더
임팩트있는 리뷰가 아니더라도 책의 저자 이력만으로도 책표지를 열게 하는 책이다.
Bic data
2007년, 나는 커다란 변화를 감행했다.
교수직을 그만두고, 미국 유수의 헤지펀드 D. E. Shaw 디이 쇼의 quant 퀀트가 된 것이다.
-서문 중
D. E. Shaw 디이쇼…
Jeffrey Preston Bezos 제프 베죠스가 94년 아마존을 설립하기 전 수석 부사장으로 재직했던 글로벌 투자회사이고 quant 퀀트는 수학·통계에 기반해 투자모델을 만들거나 금융시장 변화를 예측하는 사람을 말한다.
저자는 아마존 같은 회사들은 Big Data 빅데이터를 운영하고 있지만 그 빅데이터가 그리 좋은것만은 아니라는 이야기를 하고 있다.
효율성때문에 어쩔 수 없이 빅데이터를 이용할수밖에 없는 상황이 있을 수 있고 저자는 그것을 대량살상 수학무기라고 부르는데 어쩌면 일반인이나 비지니스를 하고 있는 현업 종사자들에게 빅데이터를 어떻게 활용할 수 있는것인지에 대한 이야기를 재미있게 다루고 있는 책이라 할 수 있다.
*Weapons of Math Destruction 대량살상수학무기를 줄여서 WMD로 사용한다.
(일반적인 WMD는 Weapons of Mass Destruction 대량살상무기를 나차낸다)
2010년 즈음이 되자 수학은 인간사에서 유례를 찾아볼 수 없을 만큼 확실히 존재감을 드러냈고, 대중은 수학을 열렬히 환영했다.
우리가 알고 있는 IT기술들이 수학에 의존도가 커지는 모습으로 나타나기 시작했고 그 내용들이 우리가 빅데이터라고 부르는 것들이다.
한마디로 표현 하자면 우리는 (어쩌면) 감정이 없는 기계에게 객관적인 수치들을 의뢰하면서 사심없이 처리하고, 그것이 매우 객관적이고 확실한 정답이라는 믿음을 갖게 되었다는 이야기다.
수학은 인간사에 확실히 존재감을 드러냈고 대중은 환호하기 시작했으며 많은 학생들이 수학을 전공하겠다고 나선것도 이 즈음의 일이다.
수학모형은 인간의 편견, 오해, 그리고 편향성을 코드화했기 때문이고 단순화했다는것이기에 우리는 더 그것을 좋아하게 되었다.
그리고 이 코드들은 점점 더 우리 삶을 깊이 지배하는 시스템에 그대로 주입됐다.
수학 모형은 여러 가지 면에서 신을 닮았다.
신처럼 불투명해서 이해하기 힘들고 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자들을 제외하고는 그 누구에게도 내부의 작동 방식을 보여주지 않는 등 신을 닮았다고 이야기 한다
이 단순하지만 명백한 사실은 이제부터 우리가 짚어볼 문제들의 출발점이다.
이 내용은 본문에 그대로 드러나 있다.
Intro...
워싱턴 교육당국에서 학생들의 성적이 떨어진 것을 단순히 교사들에게 잘못이 있다고 결론을 내린다.
쉽게 말해, 교사들이 무능해서 잘 가르치지 못하기 때문에 학생들이 충분히 배우지 못한다고 본 것이다.
100% 틀린것은 아니지만 오직 교사들의 잘목만이 학생들의 성적을 떨어뜨리는 원인이 되지는 않는다.
그럼에도 불구하고 워싱턴 교육청에서는 학교 시스템을 최적화해서 학생들이 더 좋은 성적을 거둘 수 있는 IMPACT임팩트라는 교사 평가 기법을 개발하고 이 프로그램을 실시하기 시작 했고 임팩트의 평가에 따라 2009~2010년 학년 말에 워싱턴 교육청은 평가점수가 하위 2%에 해당하는 교사들을 무더기로 해고했다.
다음 학년 말에는 하위 5%인 206명의 교사들에게 해고를 통지했다.
그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 없다.
시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝인것이다.
즉 WMD는 불평등을 프로그램화 한다는 것이다.
그럼에도 불구 하고 우라는 효율성때문에 버릴 수 없는 문제라는것을 이 책은 보여주고 있다.
저자는 지금 발전하며 만들어지는 빅데이터 프로그래머들에게 반대 의견을 제시하고 있다.
주류 사회의 메시지가 아님에도 불구하고 화제가 된것은 간과하고 엄어 갈수 없는 문제임에는 틀림없어 보인다.
이는 서문의 마지막 문장에서 확실히 느낄 수 있다.
빅데이터의 어두운 세상에 온것을 환영한다.
대량살상 수학무기의 탄생 ; 빅데이터시대
책의 시작부분에서는 모형이라는것에 관해 이야기하고 있다.
저자는 모형이라는것을 간단히 설명하고 그를 통해 몇가지 사례를 알아갈 수 있도록 대량살상 수학무기가 가지는 요건이 무엇이냐라는 부분을 이해시키려 하고 있다.
모형이란….
현대사회는 통계수치와 빅데이터로 만들어졌다고 해도 과언이 아닐만큼 통계수치를 빼 놓을 수 없다.
이 중요한 통계 수치는 1980년대부터 활발히 사용했다.
컴퓨터를 기업에서 사용하게된 시점이 80년대 시기이기 때문이다.
그래서 1980년대를 기점으로 너무나 많은 것들이 변화했다.
미국에서는 Reaganomics 레이거노믹스등이 이시기에 시작되면 CEO, 주주같은 말이 생겨 났다.
야구는 수학적인 예측 모형에 관한 이상적인 소재다.
세계적으로 유명한 논픽션 작가인 Michael Lewis 마이클 루이스가 2003년에 발표한 베스트셀러 Moneyball 머니볼에서 주장했듯, 야구는 지구상에 등장한 이래 수많은 데이터 광을 매혹시켰다.
그러나 통계 전문가들이 이런 통계수치가 어떤 의미를 갖는지 본격적으로 분석하기 시작한 것은 1980년대에 들어서면서부터다.
오늘날 우리는 이런 접근법 중 대표적인 방법을 머니볼이라고 부른다.
…중략…
모름지기 모형이란 야구 경기, 정유 회사의 supply chain 공급사슬, 외국 정부의 행동, 극장 관객 수 등 특정한 과정을 추상적으로 표현한 것에 지나지 않는다.
컴퓨터 프로그램으로 작동되든 우리 머릿속에서 기능하든, 모든 모형은 우리 지식을 토대로 만들어지고, 그런 지식에 의거해 다양한 상황에서의 반응을 예측한다.
-본문중
Michael Lewis 마이클 루이스의 Moneyball 머니볼과 2011년 개봉한 야구 영화 Moneyball중요한것은 모형이 무엇을 기대할 수 있는지 알려주고 있다는 것이고 의사결정과정에서 길잡이 역할을 한다는 것이다.
그러나, 여기에는 문제가 있다.
우리가 무엇을 기대한다는것은 우리가 알고 있는것에 기초가되고 여기에서부터 문제가 발생한다는 것이다.
예전 통계를 통해 야구를 예상했던 시대와는 판이하게 다른 세상이 펼쳐지고 이것을 우리는 빅데이터 경제라고 부르기 시작했다.
한때 금융시장을 분석했던 수학 기법들이 소셜미디어, 온라인쇼핑등에서 인간을 분석하기 시작한것이다.
어쩌면 실리콘밸리에서 인간분석팀이라부르는것과 같은 맥락이라 하겠다.
인간의 욕구와 행동 신뢰성과 관련한 잠재력등을 계산하고 있는 시대에 살고 있다는것이다.
그렇다면 WMD로 판단하려면 어떤 요건이 필요할까?
WMD의 3가지 요소는 불투명성, 확장성, 피해다.
정도의 차이는 있지만 이 책에서 소개하는 모든 WMD 사례에서 이 세 가지 특징을 찾아볼 수 있다.
첫째 불투명성.
어떠한 수학모형이나 algorithm 알고리즘이라 하더라도 불투명하고 비공개적이라는것이다.
즉, 회사들은 자신의 운영방법이나 마케팅 방법을 기업의 노하우라고 말하기도 하는데 거의 모든 알고리즘을 자신들이 어떤 데이타를 어떤 기준으로 판단 하는지를 말해주지 않고 있다는것이다.
서론에서 제시한 교사 평가 시스템, 임팩트에 관한 이야기다.
임팩트가 도입된 2년 동안 206명의 교사가 어떤 설명도 없이 평가 점수가 낮다는 이유로 교단에서 퇴출당했다.
교사 평가 점수가 낮은 교사는 퇴출당한다는 조건 때문에 교사들은 학생들에게 교육자적인 관심을 쏟기보다는 시험 준비에 열을 올렸다.
심지어 41개 학교에서는 불이익을 우려해 시험 후에 시험답안을 수정하기도 했다.
일부 학교에선 전체 학급의 무려 70%가 이런 부정행위에 가담했다.
WMD의 불투명성은 우리에게 공정한 경쟁, 다양성보다는 획일성과 침묵을 강요한다.
둘째, 확장성.
이러한 알고리즘들은 기하급수적으로 성장할 가능성이 있다는것이다.
WMD가 기업에게는 효율과 수익을 약속하지만 개개인에게는 공정성보다는 확장된 사회통제를 가하고 있다.
마지막으로, 피해의 악순환이 있다.
파괴적 영향, 즉 손해를 끼치고 있다는것이다.
서문에서 보여준 워싱턴 교육청의 사례를 보면 아마도 교사평가시스템의 혜택을 본 교사들도 분명 존재할것이다.
그러나 본문에서는 이렇게 이야기 하고 있기도한다.
핵심은, WMD 모형으로 혜택을 얻는 사람들이 있다는 것이 아니다.
일부 예외를 제외하면 고통 받는 사람이 너무 많다는 것이 문제다.
알고리즘에 의해 작동되는 모형은 수백만 명의 면전에서 기회의 문을 닫아버리고 이의를 제기할 가능성조차 허용하지 않는다. 더욱이 가끔은 지극히 하찮은 이유로 그렇게 한다.
그러니 WM D 모형이 불공정하다고 할 수밖에 없는 것이다.
-본문중
본문은 앞 서문에서 제시한 3가지의 구체적 예를 들고 있다.
금융과 수학의 결탁이 불러온 파국
첫장에서는 저자가 디이쇼에서 경험했던 금융상의 문제를 제시하고 있다
금융시장 위기의 뒷 이야기들은 너무나 잘 알려지고 알고 있는 이야기다.
어떻게 보면 글을 쓰게된 동기를 기술하는 책의 서문같은 역할을 하고 있기도 하다
다음 장부터 본격적인 WMD를 이야기 한다.
데이터의 포로가된 학교와 학생
여기서는 우리나라에서 벌어지는 대학평가모형도 상당히 의심을 가지게할 가능성이 높은 미국내 2류 시사주간지의 마케팅을 위한 대학 줄세우기에 관한 이야기가 언급된다
이야기는 1983년으로 거슬러 올라간다.
경쟁에서 밀려 고전하던 미국의 시사 잡지 U.S. News & World Report 유에스 뉴스 & 월드 리포트(이하 유에스 뉴스)는 그해 야심찬 프로젝트를 시작했다.
단과대학과 종합대학을 통틀어 1800여 개에 이르는 미국 대학교 전체를 평가하고, 교육의 우수성에 따라서 순위를 매기려는 시도가 바로 그것이다.
1,800여개 대학의 순위를 나열했으니 일단 자녀를 대학에 보내야하는 학부모의 입장에서는 잡지에 관심을 가지게되고 구입을 하게 될수밖에 없으니 이 프로젝트를 통해 엄청난 성공을 거두게 된다
대학 순위를 매기기 위한 기준을 세우시 위해 어떠한 정보를 사용하게 되는데 교육의 우수성과 관련이 되어 보이는 대학 총장들에게 발송한 설문조사지(대리 데이터)의 결과만을 근거로 순위를 매겼다.
여기에는 SAT점수, 학생과 교수의 비율, 입학경쟁률, 졸업률과 기부금등으로 계산했던것 같은데 이런 기준은 합리적으로 보일수 밖에 없었다.
유에스 뉴스는 1988년 처음으로 데이터를 기반으로 한 대학 순위를 발표했는데, 이는 매우 합리적으로 보였고 대학 순위는 거대한 공룡으로 성장했고, 얼마 지나지 않아 전국적인 표준으로 자리매김했다.
그러나 유에스 뉴스의 대학 순위는 미국 교육 시스템을 곤경에 빠뜨렸고, 대학 행정관들은 대학 순위 모형의 기준을 충족시키라는 어려운 과제를 떠안게 되었다.
이 내용들이 기준이 될 만한 요건들이 아닐수 있음에도 조건으로 정해지면서 생기는 문제들이 나오기 시작한다.
예컨데 그 모형으로 판단한 결과가 나왔을때 그 결과가 일반인들이 생각하는 내용-하버드, 스텐포드, 프린스턴, 예일…등이 최상위에 올려져 있는-과 동일해야된다는 것이다.
이런 시각에서 볼때 모형을 개발하기 위해 어떤일을 했을지 불을 보듯 자명하다.
그런 기준의 줄세우기는 결국 명문대 학교의 공통점을 찾았던것이고 그것이 바로 기준이 되었던 것이다.
그래서 수업료, 제반 학비, 학자금지원등의 기준은 좋은 학교 기준에서 배제되어 버리고 만다.
그렇게 해서 만들어진 대학 순위모형의 결과는 의미있고 각 대학들의 목표를 만들었는지 모른다.
하지만 학생과 교수의 비율을 조정하고 기부금을 늘리고 새로운 건물을 지으면서 순위를 높였던 학교들도 반듯이 존재한다.
그것이 학교가 발전하는 길이라면 좋겠지만 그렇지 않은 경우도 많았다는것이다.
불공정한 조건에서 이길 수 있는 방법은 수단과 방법을 가리지 않고 우위를 차지하고 다른 사람이 자신보다 앞서지 못하게 하는 것이다.
고등학교 진학 상담 교사, 학부모, 학생 모두가 유에스 뉴스 모형이 만든 시스템을 유리하게 이용하기 위해 처절하게 몸부림치는 모습이 사실이다.
그래서 이러한 결과를 만들어 내기도 한다.
유능한 교육컨설팅업체들은 각 대학의 신입생 입학 모형을 속속들이 파악하고 있기 때문에 학생들이 포트폴리오를 어떻게 구성해야 하는지 잘 안다.
캘리포니아에서 활동하는 Steven Ma 스티븐 마는 이런 시장 기반 접근법을 극단적으로 활용해 큰 성공을 거뒀다.
싱크탱크 러닝 ThinkTank Learning의 창업자인 마는 학생들을 자신의 모형에 대입해 목표 대학에 합격할 가능성을 수치로 계산한다.
대학 행정관들은 자기 대학의 순위를 끌어올리기 위해 필사적으로 몸부림쳤다.
가령 텍사스에 위치한 베일러 대학교는 입학 예정자들의 SAT 점수를 끌어올리고, 그래서 학교의 순위도 올라가기를 기대하면서, SAT를 다시 치르는 학생들의 응시료를 대신 부담해주었다.
심지어 펜실베이니아에 있는 버크넬 대학교와 캘리포니아에 자리한 클레어몬트 매케나 칼리지를 포함해 규모가 작은 명문대학들은 유에스 뉴스에 신입생들의 SAT 점수를 부풀리는 등 허위 데이터를 제공했다.
뉴욕 주에 위치한 아이오나 칼리지는 2011년 직원들이 시험 점수, 입학 경쟁률, 졸업률, 신입생 잔류율, 학생 대 교수 비율, 동문 기부금 등 거의 모든 항목의 숫자를 조작했노라고 시인했다.
대량살상 수학무기에서 언급하고 있는 첫 번째 사례에서로 광범위한 피해를 유발하고, 사실상 끝없이 순환하는 파괴적인 피드백 루프들을 생성시켰다.
결국, 모두가 피해자가 되는것이다
알고리즘은 당신이 한 일을 알고 있다
구글 광고에 5000만 달러 이상을 쏟아부으면서 신분 상승을 미끼로 빈곤층을 공략한 피닉스 대학교가 전면에 내세운 광고 메시지에는 가난한 사람들이 자신의 삶을 개선하기 위해 충분히 노력하지 않는다는 비판이 바탕에 깔려 있다.
이 같은 전략은 성공을 거두어서 2004년에서 2014년까지 10년간 영리 대학의 등록률은 세 배나 증가했다.
오늘날 영리 대학 학생들은 단과대학과 종합대학을 통틀어 미국 전체 대학생의 11%를 차지한다.
영리 대학들의 마케팅은, 평등과 민주화를 위한 위대한 도구가 될 것이라는 초기 인터넷의 약속과는 전혀 방향이 다르다.
-본문중
저자는 표적광고는 바로 약탈광고라는 이야기를 하고있다.
컴퓨터가 발전하며 자연어 검색이 늘어났다
그러면서 광고주들에게는 무한한 신세계를 열어주었다
알고리즘이 인간의 언어를 해석할 수 있게 되었고 이제 패턴을 찾게되었다는 것이다
그래서 우리가 SNS에 글을 올리게되면 알고리즘은 표적집단을 파악하고 움직임을 예측한다는것이다
그러다보니 이제는 약탈적 광고가 등장한다는것이다
저자는 그 중심 사례로 영리대학의 이야기를 열거하고 있다
코린시안 칼리지의 경우, 30명으로 구성된 마케팅팀이 연간 1억 2000만 달러의 비용을 집행했다.
지출의 상당 부분이 240만 명의 예비 고객 명단을 작성하고 이를 관리하는데 사용됐는데, 이는 6만 명의 신입생과 6억 달러의 연수입이라는 성과로 되돌아왔다.
학교가 제대로된 기능을 발휘하려면 투자가 마케팅분야가 아닌 다른 분야가 되어야 하는데 돈을벌기위해 학교가 마케팅 부분에 엄청난 금액을 투자하고 있다는것이다
피닉스 대학교의 모기업인 Apollo Group 아폴로 그룹은 2010년 마케팅 비용으로 10억 달러 이상 지출했는데, 마케팅 예산의 거의 대부분이 신입생 모집에 집중됐다.
예를 들어, 학생 1인당 마케팅 비용은 2225달러 인데 비해 학생 1인당 교육비는 892달러에 불과했다.
즉 이 학교는 알고리즘을 통해 마케팅부분에 엄청난 금액을 투자하고 있다는것이다
그만큼의 수익을 창출하고 있으니 투자할만 할것이지만 약탈광고는 피해를 만든다
영리대학들은 끈질기게 마케팅에 집중하고 있다는것이다
이 대학들의 학위가 사회에서 성공을 보장해주고 있지는 않지만 성공이 필요한사람들을 대상으로한 사람들에게 표적광고를 함으로 여기에 참여하게하는 것이다
결국 소득수준 하위 40%는 이 피해를 더 많이 받고 있다는것이다
반대로 이 영리대학의 마케팅팀은 대량살상무기를 사용하면서 성공하고 있다고 이야기 할 수 있다
가난이 범죄가 되는 미래
저자는 도시에서 살아가며 접할수 있는 일, 기업에 입사하는 과정에서 부딛치는 일, 그리고 어딘선가에서는 일을 해야하는 3가지의 예를 들어가는데 이미 우리가 접하고 있는지 모른다.
Pennsylvania 펜실베이니아에 있는 소도시 레딩은 탈공업화 시대에 힘든 시간을 보냈다.
2013년 하임 서장은 California, Santa Cruz 캘리포니아 산타크루즈에 있는 빅데이터 Start-up 스타트업 PredPol 프레드폴이 개발한 범죄 예측 소프트웨어를 도입했다.
Tom Cruise 탐크루즈 주연의 2002년 영화 Minority Report 마이너리티 리포트를 연상시키는 내용이다.
미국의 주요도시가 사용하고 있는 범죄 분석과 예측 프로그램 이야기가 등장한다.
물론 표면상으로는 성공하고 있는 프로그램이라고 할 수 있다.
그러나 여기에는 우리가 보지못하는 빅데이터의 어두운 측면이 있다는것이다.
뉴욕 시는 프레드폴과 비슷한 ComStat 컴스탯이라는 범죄 분석 및 예측 프로그램을 도입했다.
필라델피아 경찰 당국은 지역의 한 업체가 개발한 HunchLab 헌치랩을 사용하고 있다.
헌치랩은 위험 지역을 분석하기 위해 ATM과 편의점처럼 범죄 발생과 관련 깊은 특징적인 요소들을 활용한다.
헌치랩은 애틀란타나 LA등 다른 지역의 경찰당국에서도 사용하고 있다고한다
특히 이 알고리즘은 범죄발생 가능성을 이 높은지역에 경찰인력을 집중 배치하는 논리적 근거를 제공하고 있어 실제로 그 범죄율이 감소했다는것이다
프레드폴은 개인에게 초점을 맞추지 않는다.
대신 지리적 데이터에 온전히 집중한다.
프레드폴이 활용하는 핵심 변인은 각 범죄의 유형과 발생 장소, 그리고 발생 시점이다.
이는 언뜻 보면 아주 공정한 것처럼 생각된다.
경찰들이 범죄 발생 위험 지역들에 출동해 더 많은 시간을 보내면서 강도와 자동차 절도를 예방한다면, 그 지역이 혜택을 입을 거라고 생각할 만한 충분한 근거가 된다.
성공적으로 보이는 프레드폴은 그렇게 긍정적이지만은 않다.
이런 알고리즘의 문제가 되는것은 항상 빈곤층을 타깃으로 설정하기때문이다
프레드폴은 방해 범죄, 즉 경범죄를 가장 정확히 예측했다
데이터는 무조건 많을수록 좋다고 생각하기 쉽기 때문에 강력 범죄와의 전쟁을 천명한 경찰서장이 범죄예측모형에 막대한 양의 경범죄 데이터를 포함시키지 않기 위해선 엄청난 자제력을 발휘해야 한다.
그러나 소소한 경범죄 데이터를 포함시키면 그 도시의 무법 상태를 더욱 완전하고 적나라하게 보여주는 지도가 탄생한다.
즉 경범죄가 많이 일어나는 지역에 더 많은 경찰들을 출동시켜서 경범을 더 많이 잡게되는 것이다
그렇다면 수치상으로는 확 줄어들게 된다
그러나 특정유형의 강력범죄는 이렇게 해서 줄어드는것은 아니다
오늘날 경찰들은 거의 오롯이 가난한 사람들에게 초점을 맞추고 있다. 그들이 아는 한, 그것이 경찰의 유산이요, 사명이다.
여기에 오늘날에는 데이터과학자라는 응원군까지 더해져 이런 분위기에 힘을 보탠다.
데이터과학자들은 경찰의 편향된 선택을 프레드폴처럼 사람들의 삶에 미치는 영향력이 갈수록 커지는 모형들에 그대로 주입했다.
그 결과, 완벽히 유익하고, 심지어 고결한 소프트웨어 도구를 제공하는데도 프레드폴은 귀에 걸면 귀걸이, 코에 걸면 코걸이 식의 WMD가 되고 말았다.
-본문중
이 사실은 프레드폴을 사용하고있는 곳만이 아니라 뉴욕도 조금 다른 방법을 사용하지만 같은 개념을 가지고 있다
불심검문의 시행이 그것이다
2002년 당시 뉴욕 시장이었던 마이클 블룸버그가 범죄 예방을 위해 시행한 불심검문 정책은 시민들로부터 열렬한 지지를 받았다.
911 테러 사태 이후의 일이다
그 덕분에 1990년 2245건이던 살인 사건이 2011년에는 515건으로 감소했고 2014년에는 400건 이하로 떨어졌다
그래 뉴욕시민들음 더 안전해졌다고 느끼게 되었고 경찰당국의 이런 모습은 칭찬 받아야 할지 모르겠다
그런데 문제는 그 다음이다
우선 경범죄를 저지른 사람들이 체포되는 수가 늘어나게 되는데 이들은 대부분 빈곤층, 흑인이거나 히스패닉이다
경범죄로 처벌받는 사람들이 늘어나면 장기적으로는 이로인해 범죄가 다시 늘어날수 있다는 것이다
가난한지역에서 경범죄로인해 잠간이라도 교도소에 갔다온다면 그는 그로인해 다른 범죄를 저지를 가능성이 높아진다는것이다
그렇다면 장기적으로 도시가 더 안전해지지 않을 수 있다는것을 이야기하는것이다
(문제는) 최근에 안면인식기술에 관한 이야기가 계속해서 등장하는데 기술이 발달함에 따라 감시 시장은 급격하게 성장하고 있다.
만약 대도시와 소도시에 설치된 수천 대의 보안 카메라가 사람들의 사진을 분석용 프로그램에 전송하게 된다면, 경찰은 지금처럼 사람들을 차별할 필요가 없을지도 모른다.
좋다면 좋을 수도 있는 일이다.
당신은 우리가 원하는 사람이 아닙니다; 인적성검사에 대하여
우리는 기업들이 업무 생산성과 잠재력이 높은 지원자들을 선별하고 채용하도록 돕습니다.
직무 수행 능력이 뛰어나고 장기 근무할 최적의 인재를 찾아드립니다
기업이라면 직무수행 능력이 뛰어나고 오랫동안 일을 할 수 있는 사람을 채용하는것이 중요한 일이다
이 적성검사 알고리즘을 판매하는 회사들은 이런 문구를 제안한다고 한다
표면적으로 보면 맞는 이야기이고 대상 기업 입장에서 보면 거부하기 힘든 제안이다
그러나 이런 제안에는 입사후 직무수행능력에 대해서는 전혀 담고 있지 않다
엄밀히 말해 직무 수행 능력은 미래에 일어날 일로, 현재로선 알 길이 없다.
공정성과 적법성은 차치하고라도 인성적성검사가 직무 수행 능력을 측정하는데 그다지 큰 효과가 없음을 증명하는 연구 결과가 있다.
University of Iowa 아이오와 대학교 경영학 교수인 Frank L. Schmidt 프랭크 슈미트는 다양한 직원 채용 과정의 예측도를 측정하기 위해 지난 100년간의 직무 생산성 데이터를 분석한 결과, 인성적성검사는 직무 생산성과의 연관성이 매우 낮았다.
구체적으로 말하면 인지검사 예측도의 3분의 1에 불과했으며, 평판 조회 reference check보다 예측도가 훨씬 떨어졌다.
우리가 기업에 입사하기위해서는 기업에서 하고 있는 인적성검사를 받게 되는데 그러한 검사들이 회사 입사 후의 직무수행 능력 판별과는 전혀 관련이 없다는것이다.
그러나 그럼에도 불구하고 기업이 인적성검사를 하는것은 검사의 주요 목표는 최고의 인재를 찾는 것이 아니고 오히려 가능한 한 저렴한 비용으로 가능한 한 많은 사람을 걸러내는 것이라 저자는 이야기 한다
이미 기업들도 이 사실을 인지하고 있다는 것이다.
그리고 인적성검사를 하므로써 행정적 비용을 줄일 수 있고 부적합한 인원을 채용할 가능성을 최소로 줄이는데 의의를 두고 있다는 것이다.
그래서 인적성검사는 WMD가 되고 있다는 이야기다.
인적성검사의 결함에도 불구하고 채용과정에서의 영향력은 엄청나다.
기업들은 이렇게 문제점을 인지 한다하더라도 수정하려 하지 않는다.
현재 상당수 미국 기업의 인적자원부서들은 산더미같이 쌓인 이력서들을 추리고 걸러내기 위해 자동 심사 시스템에 의존하고 있다.
이력서의 72%가량은 기계로 걸러져서 인간의 눈으로 심사받을 기회조차 주어지지 않는다.
컴퓨터 프로그램은 이력서들을 처리하면서 고용주가 원하는 기술과 경험을 골라낸다.
그런 다음 해당 직무와의 적합도에 따라 각각의 이력서에 점수를 매긴다.
여기서 커트라인 점수를 결정하는 것은 인적자원 담당자, 즉 인간의 몫이다.
-본문중
미국 직장인들 사이에 최근 유행하는 신조어, clopening.
알고리즘의 노예가된 노동자들
이 단어는 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어다.
사실, 책에서 다루고 있는 사례는 스타벅스다.
스타벅스에서도 직원들의 clopening을 위해 WMD가 사용되고 있다는 것이다
수학 모형이 도입되기 전에 기업들은 노동자들의 일정 관리를 어떻게 했을까?
수십 년간 일정 관리는 과학과 조금도 관련이 없었다.
오늘날 사업체들은 고객들의 방문 패턴을 분석해 시간대별로 정확히 몇 명의 종업원이 필요한지 계산할 수 있다.
이것은 효율성을 강화하는 빅데이터가 만든 일정관리 알고리즘, WMD가 존재한다는 것이다.
그러다보니 종업원들을 기계 부품처럼 취급한다는 것이다.
이 알고리즘은 제법 똑똑하다.
날씨, 보행패턴, 트윗의 양, 그 장소 근처에서 열리는 행사까지도 검색을 한다.
이처럼 기업들은 시시각각 변하는 상황과 조건에 따라 변동하는 수요를 충족시키도록 인력을 탄력적으로 배치하고 있다.
그렇게 하지 않으면 기업으로선 돈을 길에다 버리는 것이나 마찬가지다.
실제 이것은 스타벅스에서 하고 있는 일이기도 하다.
13만 바리스타들을 옥죄는 일정상의 악몽을 줄이기 위해 소프트웨어를 수정하고 모든 종업원의 근무 시간을 최소 1주일 전에 알리겠다고 말했다.
결국 이런 알고리즘에의해 피해를 받는다는것이다.
그래서 2014년 뉴욕타임스의 스타벅스 고발 기사가 나온 직후, 미국의 민주당에서는 스타벅스 일정관리 소프트웨어를 규제하기위한 법안을 발의 하기도 했는데 다수당인 공화당 의원들이 정부의 규제에 격렬히 반대함에 따라, 법안은 국회를 통과하지 못하고 그대로 사장되고 말았다.
이상의 내용을 미루어 본다면 일정관리 프로그램도 WMD라고 할수 있는데, 그렇다면 우리 삶속에 보이지는 않지만 이미 빅데이터를 이용한 WMD는 우리의 주변에 너무나 많이 침투해 있다고 봐야 할 것이다.
알고리즘의 잘못된 관행을 수정할 수 있지 않을까.
저자는 단언컨데 그런 희망은 보이지 않는다고 이야기 한다.
기업에 종사하는 수 많은 사람들, 그리고 데이터 과학자들은 WMD를 무장해제하고 기업의 수익으로 연결되지 않는다는 것쯤은 어렵지 않게 생각할 수 있다.
우리가 어쩔수 없이 받아들일 수 밖에 없는것은 인간이 만든 알고리즘이 탐욕이든 편견에서 비롯되었든, 우리가 느끼는 그 부당함은 인류의 역사와 궤를 같이한다는 점이다.
그래 바꿀 수 없다는 것이다.
우리는 무엇을 해야 할지에 대해 철학적 답변을 우리에게 주지는 않는다.
그러나 데이터 과학자들이라도 자신들이 만든 모형이 실생활에서는 오남용 될 수 있다는 가능성에 대해서는 인지하고 있어야 할 것입니다.
