<시스템 에러> 혁신의 함정들을 피하려면
...
무엇보다 당혹스러운 점은, 누구의 문제가 해결되는가.(그리고 누구의 문제는 외면당하는가) 혁신으로부터 혜택을 받는 사람은 누구인가.(그리고 손해를 보는 사람은 누구인가) 기술의 미래 형태를 만들어가는 일에서 발언권을 가진 사람은 누구인가.(그리고 아무도 귀를 기울이지 않는 사람은 누구인가)에 대한 비판적 성찰에도 불구하고 디지털 경제 그리고 스탠퍼드에서 실리콘밸리로 이어지는 수익 창출 파이프라인에 대한 열광은 전혀 사그라지지 않고 있다는 점이다. (14쪽)
혁신을 지지하고 기술이 만드는 순기능을 믿지만, 이대로 괜찮을까? 이 질문에서 자유로울 수 없는 시대다. 알고리즘이 믿고 싶은 것만 믿도록 이끄는 믿음의 시대, 변화의 속도가 너무 빨랐던 탓에 놓치는 건 없을까?
다들 학교를 중퇴하든 말든, 몇 번의 스타트업 창업으로 억만장자가 되는 선배들의 전설이 줄줄이 이어지는 곳. 실리콘밸리 기술혁신의 요람 같은 스탠퍼드대 교수들이 뭉쳤다. 정치학 교수이자 사회윤리센터의 철학자 롭 라이히. 구글 초기 멤버로 컴퓨터과학 교수인 메흐란 사하미. 오바마 행정부 출신으로 스탠퍼드 정치학 교수인 제러미 M. 와인스타인.
최근 읽었던 <소셜온난화>를 비롯해 기술 변화가 가져오는 미래에 대한 불안, 성찰을 다룬 책이 여럿이지만 이 책도 따끈한데다 정리가 잘된 편. 분노가 과해 지나쳤던 니콜라스 카 <생각하지 않는 사람들>, 프랭클린 포어 <생각을 빼앗긴 세계>보다 낫다. #트레바리 #디지털탐구생활 5월 책인데 이것부터 봤으면 좋았겠다는 반응들이 있었다. 클럽장인 내 발제는 우리가 뜨겁게 토론해볼 질문들이다.
엔지니어 마인드가 최적화 함정에 빠진다는데 동의하는가? 리걸 마인드? 시장 마인드는 괜찮았던가? 기술권력은 과거 법률권력 금융권력과 어떻게 다른가?
의료인과 법률가에 대한 견제는 담합, 면허 제도가 작동했다. 엔지니어에겐 어떤 대안이 가능할까? 선한 의지를 믿지 못할 때 우리는 어떤 기대를 하게 될까?
디지털 권위주의 관련, 중국과 빅테크에 대한 우려는 다른가? 접근도 달라야 할까? 글로벌 차원의 규제가 가능할까?
테러든 스토킹이든 개인을 보호하기 위한 기술 남용과 저항, 어떻게 볼까? (테일러 스위프트 사례, 애플의 개인정보 제공 거부 등)
빅테크 시대의 윤리는 누가 강제하는가? 거버넌스는 어떤 방향에서 고민해볼까? 전문가는 누구이며, 전문가에게 맡기면 될까?
알고리즘과 지배력 남용의 견제는 결국 투명성과 권리 보호를 위한 적법 절차. 그거면 충분할까? 페북의 대법원은 어떻게 될까?
페북 경쟁자가 나타나면 괜찮을까? 리나 칸이 문제를 해결할 수 있을까?
우리는 무엇을 포기했는가? 인지해본 경험은 있는가? AI 시대 가장 불안한 것은?
민주주의가 답할 수 있는게 그래서 무엇인가?
가치를 배제하고 최적화에 눈먼 기술자들에 대한 냉정한 비판. 효율화를 추구하는게 본질적으로 선한 건 아니며, 최적화를 우선할 경우, 목표보다는 방법에 치중하게 된다는 염려도 나온다. 그런데 기술자들이 정말 그럴까? 일반화하기는 어렵다. 다만 권력을 가진 새 집단에 대한 견제가 작동하지 않는다는 점이 문제다. 의사와 변호사는 면허 카르텔을 짜서 자기들끼리 윤리를 따지긴 한다. (꼭 제대로 작동하는 건 아니지만) 비교적 투명해지기도 했다. 그런데 기술 쪽은 역시 '알아볼 수 있는 눈'을 가진 것도 엔지니어 뿐이라, 실체는 알기 어렵다. 직업규범과 강령? 수요 대비 공급이 부족해 몸값이 금값 된 이들에게? 미국에서 면허제를 고민했던 시절이 있다니. 혁신 앞에 다른 질문들을 놓치고 있다. 누구를 위한, 무엇을 위한 혁신인가? 피해자, 약자에 대한 대책은 누가 논의하고 만들 것인가?
기술자들이 사회를 통치하고 가치 판단까지 하는게 맞을까? 이미 정부보다 힘 센 페이스북이나 구글, 유튜브를 보면 이 고민이 진지해진다. 판단 기구로 페북의 대법원 같은 기구를 이미 두고 있는데, 명망가들과 전문가들을 페북이 섭외하고 보상하는데 괜찮나? '세상을 더 나은 곳으로 만드는 것'을 사명으로 했던 빅테크의 평판은 흔들리고 신뢰는 금이 갔다. SNS 여론조작 위험을 고발한 전 페북 직원 프란시스 하우건도 회사를 그만두고야 말할 수 있었다. 구글은 AI윤리팀의 팀닛 게브루 박사를 해고했고, 내부고발을 막기 위해 동료들 간 감시 프로그램도 만들었다는 내부고발이 나온 상황이다.
큰 힘에는 책임이 따르고, 견제가 필요한데 작동하지 않는다. 책에는 과학과 기술의 발전을 극대화하기 위해 만들어지는 소규모 가상 국가에 대한 열띤 대화의 에피소드가 나온다. 저자 중 한 명이 묻는다. "이 국가는 민주주의 국가입니까?" 답은 바로 나왔다. "민주주의? 과학에 최적화하기 위해서는 기술관료가 권력을 행사할 필요가 있습니다. 민주주의는 너무 느리고 과학의 발전을 저지합니다."(76쪽)
책이 인용한 조사에 따르면 18~29세 미국인 46%가 선출된 공무원보다 전문가 지배를 선호했고, 또다른 연구에서는 밀레니얼 4분의 1이 자유선거를 통한 지도자 선출이 중요하지 않다는데 동의했다 . (141쪽)
젠더 불평등은 고질적 문제. 2020년 벤처 자금의 2.3%만이 여성 주도 스타트업에 분배됐다.(101쪽). 벤처 투자를 주도하는 Y콤비네이터 사람들이 몽땅 남자이던 사진을 기억한다.
2005년 이래 Y콤비네이터는 2000개 이상의 스타트업에 투자했고 포트폴리오 시가 총액은 1000억 달러를 웃돈다. 이용자를 위해 무료 서비스를 하거나 수익을 나누는건 좋은데 기업이 챙기는 보상과 기업가치는 적절한가? 자기들끼리 시리즈a, b, c.. 초기 투자 카르텔을 만들어 그들만의 리그처럼 나눠먹는 건 아닌가?
나는 공직자 외에도 법률가든, 정치인이든, 금융가든, 그들이 작동하는 방식에 투명성이 필요하고 견제가 가능해야 한다고 믿는다. (이래서 대체 몇 명이 얼마나 버는지 알 수 없는 김앤장이 걸린다..)
빅테크는 국경을 넘어 규제가 가능하지도 않은 단계. 세금 덜 물리고 개인정보 규제 적은 국가로 본거지를 옮기면 그만이다. 중국의 지배 방식은 또 다르다. 테크 시대의 정치윤리는 어떤 모습이어야 할까? 기존 질서로 가능할까? 시장이 정답을 찾을 거다, 기술은 가치중립적이다 하는 건 순진한 생각이란게 입증되고 있다. 리더의 독재 대신 시스템이 움직일거라 믿기엔 알고리즘의 의사결정도 논란이다.
"늑대에게 허용된 전적인 자유는 양들에겐 죽음을 의미한다"는 이야기가 나온다. 누군가의 선량한 의지만 믿는 것도 순진하다.
토론을 진행하면서, 과학철학, 과학윤리에 대한 교육과 리터러시가 중요하다는 호주님 말씀에 문득 떠오른 건 벡델테스트. 새로운 기술 개발이 진행될 때, 개발자들끼리 어떤 기준에 부합하는 가? 최적화에 빠져 뭔가 놓친건 없나? 약자 보호는 어떻게 되나? 몇 가지 질문 리스트를 만들면 안될까?
또 복잡한 암호화 기술이 프라이버시를 보호한다면, '사생활에 대한 관심과 안보나 안전에 대한 욕구 사이의 균형을 꾀할 수 있는 다른 기술도 제공할 수 있지 않을까?' (224쪽)
알고리즘에 대해 투명성. 감사 가능성. 적법절차에 대한 약속이 필요하다고 하는데, 이런 얘기는 다 거버넌스 문제부터 논의해야 한다고 믿는다. 우리는 정부 감시에 민감한 반면 기업에 관대하다. AI가 가져오는 노동의 미래를 얘기하면서 노동자의 힘이 약화된다는 것은 간과한다.노동의 미래에 대한 논의가 기술에 영향을 받게 될 사람들보다 기술에 초점을 맞추는 경우가 너무나 많다'는 포드재단 대표 대런 워커의 말은 유효하다. (295쪽)
인터넷 시대에 억제 없이 표현의 자유를 고수하는 것이 민주주의를 뒷받침하기보다는 오히려 저해한다. 표현의 과잉으로 우리는 전에 보지 못했던 엄청난 크기의 사상의 시장을 갖게 됐고, 시장은 유해한 역정보와 허위정보로 가득차게 됐다. (323쪽) 우리는 과연 불편함을 어디까지 감수할 것인가. 표현이 자유가 늑대의 자유마냥 양들을 잡아먹을 때 균형점은 어디서 찾을 것인가.
최소한 질문을 이어가야만 한다.
