인공지능은 왜 정치적일 수 밖에 없는가?

민주주의, 반향실과 기계전체주의

Mar 29. 2025

0. 들어가기

인공지능은 편향성을 가지고 있다. 그것은 다시 말하면 제작자의 편향이 생산물인 인공지능에 반영되어 있다는 것이다. 인공지능에 대한 정치적인 관점에서 앞으로 더 많은 문제들이 등장할 것이다. 일어나는 일들을 민주주의와 연결해보고 어떤 준비를 해야하는지 생각해보자. 먼저 몇가지 질문을 던져보자. 인공지능이 민주주의를 발전시킬 수 있을까? 아니면 인공지능 때문에 민주주의가 후퇴할까? 지금 현재 운영되고 있는 다수결에 대의제 민주주의의 방식이 인공지능으로 인해서 달라질 수 있을까? 이런 고민들 말이다. STS전공생들과 함께 오늘도 스터디를 진행했다. 나는 3장 정치적인 부분에서 민주주의와 인공지능의 관계에 대해서 발제하게 되었다.

1. 민주주의에 대한 위협으로서의 인공지능

질문 : 과연 인공지능은 민주주의를 강화시킬 수 있을까? 아니면 오히려 약화시킬까? 인공지능이 사회 곳곳에 미치는 정치적 영향력을 감안할 때, 인공지능은 민주주의에 어떤 영향을 미칠까?

민주주의 위협론 : 1990년 컴퓨터네트워킹에 관한 엘고어(사코, 20002)의 연설, 민주주의를 퇴보시킨다는 입장. 기술이 정치적으로 중립적이지 않다.

주보포의 '감시 자본주의의 시대'(2019)에서 대중의 행동수정기법을 이용하는 감시자본주의는 개인의 자율성과 자주권을 무너뜨려 민주주의를 위협한다고 주장한다. 토마스페인은 '인간의 권리'에서 책임성이 없는 귀족정치를 비판하며, 오늘날은 귀족이 아닌 감시자본주의에서 폭적이 나온다. 인간의 경험을 무단으로 사용하며, 지식의 집중으로 권력을 만든다는 측면에서 새로운 방식의 통제가 일어나는 원시자본주의의 한형태이다.

반론 : 민주주의를 통해 개혁이 가능하다고 믿으며 "디지털 미래를 인류의 고향으로 되돌아가게 할 수 있다"고 생각한다. feat. 한나아렌트

유발하라리는 '호메데우스'에서 민주주의는 미래에도 데이터에 대처할 수 없고, 증가하는 데이터의 양과 속도를 감당하지 못하고 오래된 제도들은 사라질 것이라고 전망한다.

주요 논제

민주주의와 인공지능의 연결 가능성 : 정치철학이론을 통한 전체주의 기원에 대한 탐구, 인공지능이 민주주의에 미치는 영향, 플라톤과 기술관료주의적 정치개념 검토, 듀이와 하버마스식 참여와 숙의민주주의 검토

전체주의 등장의 조건형성 : 한나아렌트의 연구를 기반으로 전체주의를 심화시키는 고독과 신뢰부족의 사회를 만드는데 인공지능이 역할을 하는지 살펴본다. 한나아렌트가 말한 '악의 평범성'의 가능성에 대해서 인공지능이 그 조건을 만드는데 도움을 주는가?

감시자본주의의 주요내용

《감시자본주의의 시대》를 쓴 쇼샤나 주보프(Shoshana Zuboff)는 현대 사회를 특징짓는 새로운 형태의 자본주의로서 '감시자본주의(Surveillance Capitalism)' 개념을 제안했다. 쇼샤나 주보프는 감시자본주의가 단순히 기업의 비즈니스 전략에 국한되지 않고, 우리 시대의 지배적 사회경제적 시스템으로 자리 잡았다고 진단한다. 이에 맞서기 위해서는 사회적 각성, 엄격한 규제 도입, 민주주의와 인간성을 보호하는 사회적 노력과 연대가 반드시 필요하다고 역설한다.

감시자본주의의 개념 정의 : 주보프는 감시자본주의를 개인의 행동 데이터를 수집하고 분석하여 예측 가능한 정보로 전환한 뒤, 이를 상품화하여 이윤을 창출하는 새로운 경제 시스템이라고 정의한다. 디지털 플랫폼 기업들(구글, 페이스북, 아마존 등)이 사용자의 온라인 활동, 소비 패턴, 개인적 관심사와 감정 상태까지 광범위하게 추적하여, 이 데이터를 수익 모델로 삼고 있다는 것이 핵심이다.

감시자본주의의 작동 원리 : 기업들은 개인이 인터넷, 모바일 앱, IoT 기기 등 디지털 환경을 사용할 때 생성되는 방대한 데이터를 수집한다. 이 데이터는 알고리즘을 통해 처리되고 개인의 행동을 예측하는 도구로 변환되며, 개인이 인식하지 못한 상태에서 은밀히 이루어진다. 기업은 이러한 예측 데이터를 광고주나 제3자에게 판매하거나 개인의 행동에 영향을 미치는 맞춤형 광고, 추천 시스템 등을 통해 이윤을 얻는다.

인간 경험의 상품화와 사생활 침해 : 감시자본주의는 개인의 사생활, 자율성, 그리고 자유로운 의사결정 능력을 침해하며, 인간의 경험 자체를 경제적 원료로 전환시킨다. 주보프는 이것을 “인간의 경험을 강탈(appropriation)”하고, 자율성을 훼손하며, 민주적 자유를 잠식하는 현상이라고 경고한다.

행태 수정과 사회적 통제의 위험성 : 감시자본주의는 단지 사용자의 행동을 예측하는 데 그치지 않고, 사용자의 행동과 결정에 영향을 미치고 변화시키는 단계로 발전하고 있다. 이는 개인의 선택을 미묘하게 조종함으로써 시장, 정치, 사회적 통제를 강화할 수 있는 심각한 위험성을 내포하고 있다.

민주주의 위협과 권력 불균형 : 감시자본주의는 데이터 수집 및 분석 능력을 가진 일부 거대 기업에게 지나친 권력을 부여하여, 사회적 권력의 불균형을 심화시킨다. 이러한 권력 집중은 민주적 절차와 가치, 시민의 권리, 사회적 정의 등을 근본적으로 위협할 수 있다고 주장한다.

새로운 법적, 사회적 규제의 필요성 : 주보프는 이를 통제하고 감독할 수 있는 새로운 법적, 윤리적 기준과 규제가 필수적이라고 강조한다. 특히 사용자의 동의, 데이터의 투명성, 책임성 강화를 위한 강력한 제도적 대응을 요구한다.

2.민주주의, 지식, 숙의정치를 위협하는 인공지능

플라톤에서 시작하기, 민주주의와 지식과 전문성

플라톤의 민주주의 : 국가Republic에서 민주주의를 무지와 연관시키고 폭정으로 이어진다고 주장한다. 후륭한 지도자는 선장으로 국가라는 배를 통제할 수 있어야 하고 그것을 잘 움직이기 위한 지식이 있어야 한다. 이러한 지혜를 가진 철학자가 통치해야 한다고 주장한다. 적절한 지도력이 없다면 정치적 갈등과 무지가 강력한 지도자와 폭군을 요청할 것이다.

고전적 플라톤의 견해는 모든 시민에 대한 교육과 같은 새로운 방법이 등장하면서 바뀐다. 소수만이 아니라 다수가 자치를 할 수 있다는 생각이다. 루소는 모든 시민이 도덕 교육을 받게 되면 자치가 가능하고 바람직한 일이라고 주장한다.

질문 : 민주주의는 깊이 생각하고 충분히 논의하는 숙의 및 참여를 수반해야 하는가? 또 인공지능은 이러한 형태의 민주주의와 어떻게 관련되고, 그걸 가능성이 있는가?

기술관료주의, 민주주의 논쟁 : 데이터기반의 의사결정, 디지털기술기반의 공공행정, 과학적 증거기반의 정책에 대한 요구가 높아진다. 참여행정과 급진적 형태의 민주주의에 대한 요구와 긴장이 있다. 여기서 고민은 정치에서 지식과 전문성의 역할에 대한 견해이다.

인공지능은 기술관료주의의 편에 있다고 보통 생각한다. 통계학의 발전에 따른 미래 예측이나, 새로운 사회 인식론에 대해서 기술관료주의의 미래를 그려볼 수 있게 한다. 이러한 측면에서 인공지능은 전문화 경향이 커지면서 일부 전문가들의 소유물이 되거나, 민주적 통제를 벗어나는 거대기업들의 지배를 받고 있다.

인공지능이 제시하는 지식은 의사결정에 충분한가? 인간의 사회적 지능과는 다르게 인공지능이 제안하는 지능은 다르게 보이기도 한다.

발제자 관점 : 인간의 추론모델을 딥러닝해서 이미 다양한 모델들이 나오고 있다. 숙의 민주주의와 같은 부분도 '튜링 테스트'의 발전에 따른 다양한 추론이 가능해진다. 더욱이 'manu'와 같은 전략ai까지 나오고 있다. 이러한 흐름의 시작점은 인간의 신경망을 따르는 '인공신경망'의 도입이라고 생각한다. 저자는 ai에 대해서 너무 기능적으로만 보고 있는 것은 아닌가? 결국 ai는 인간을 닮아가게 될 것이라고 생각한다. 줄리언제인스의 책(bycameral mind)에서 볼 수 있는 것처럼 '신의 목소리'에서 인간이 시작되었듯이, 추론하고 생각하게 만드는 ai모델은 이미 가능해지고 있다. 호모데우스에서도 유발하라리는 인간이 신이 되고 싶었던 것처럼 ai도 신이 될 것이다라고 주장한다. '사물들의 의회'라는 개념을 아이디어만 가져오더라도 비인간 주체들의 다양한 의회들이 열릴 가능성도 높다고 생각한다. 최근 넷플릭스 영화 '일렉트릭 스테이트'에서와 같이 인간과 기계의 '주체적 동질성'에 대한 개념이 높아지고 있다.

다수결원칙과 대의제를 넘어서

민주주의를 대표하는 다수결원칙과 대의제에 대해서 이견이 제시되고 있다.

드워킨(2011) : 수적으로 더 많은 사람들이 다른 행동보다 한 가지 행동 방침을 선호한다는 사실은 더 선호하는 정책이 더 공저하거나 낫다는 신호를 보내는 이유는 무엇일까?

선동적인 지도자의 영향으로 다수가 민주주의를 폐지하고 권위적인 정부를 세울 수도 있다. 다수결 자체만으로는 민주주의를 위한 충분조건으로 볼 수 없다.

대의제에 있어서 민주적 지도자의 지적능력, 감성능력을 포함하는 사회적 스킬, 미덕은 중요하다.

에스트런드(2008) : 정치적 권위를 전문성으로 보는 것은 전문가와 보스를 혼동하게 한다.

전문성과 정치적 권위에 대해 생각할 때 기술관료주의에 반대하는 것은 전문가와 전문성, 기술이 민주주의에 어떤 영향을 미치는지 의문을 제기한다.

대의민주주의에 대한 대안으로 숙의민주주의가 있다. 이것은 참여적이고, 숙의적이며, 합의지향적 민주주의이다. 하버마스와 롤스, 코헨과 오닐과 같은 학자들이 말하는 숙의와 공적이성의 활동과 민주주의간의 연관성도 살펴볼 수 있다.

구딘의 성찰적 민주주의(2003) : 민주주의의 근간이 되는 내적행위와 과정에서 공동결정과 사려깊은 판단에 대해서 중요성을 제기한다. 성찰적이라는 뜻은 다른 사람의 입장에서 생각하고 자신과 전혀 다른 관심사를 가진 사람에 대해서도 공감한다는 것이다. 표층적이고 투표중심의 민주주의와 다르게 상상력과 지식/전문성을 가진 심층적 민주주의와는 비교가 된다.

숙의 민주주의와 인공지능 : 숙의 민주주의는 전문가와 인공지능에 의한 배타적 기술관료적인 거버넌스와 알고리즘을 통한 맹목적인 의존과 비참여적 거버넌스를 배제한다. 그러나 인공지능으로 부터 얻은 지식과 전문성으로 민주적 절차에 관여할 가능성은 있다. 그러나 정확한 형태는 명확하지 않다.

숙의적, 참여적 민주주의와 경합적, 급진적 민주주의

에스트럴드(2008) : 숙의민주주의에서는 자신의 목표와 이해에 관심을 기울이는 동시에 다른 사람에게도 똑같은 관심을 갖는 평등한 사람들 사이의 공적 숙의에, 시민들이 현실 문제를 해결할 수 있는 실용지능을 사용한다. 하버마스의 합리적 정치와 의사소통과정이라고 하며 새로운 합리성에 의한 이성을 말한다. 실용지능은 고대 용어인 프로네시스이며 이는 정치적 상상력을 포함하여 당시 시민들의 실용적인 지혜와 연결할 수 있다.

참여민주주의는 투표와 대의제가 아닌 다른 형식의 민주주의이다. 사람들이 정치에 참여하기 위해서는 교육이 필요하다. 여기에는 듀이의 교육방식인 "사회적 관계와 통제에 대한 사적 이해 및 무질서를 초래하지 않고 사회변화에도 흔들리지 않는 사고방식을 개인들이 갇게하는 것"을 볼 수 있다. 그러나 영, 무페, 랑시에르와 같은 급진적 사상가들에게서는 비판을 받는다.

영의 '포용과 민주주의'(2000) : 포용적이고 소통적이어야 하는 민주주의의 방식은 감정과 수사학을 통해서 기존의 방식과는 다른 정치적 소통방법을 만들어야 한다.

무페 : 갈등을 영구적으로 해결할 수 없고, 갈등은 오히려 민주주의가 살아 있다는 신호이다. 이것이 정치의 경합적 차원이다. 정치적인 것은 "모든 인간 사회에 내재한 적대적 차원"이다. 이성과 함께 감정의 역할도 중요하다. 합리적으로 세상을 구성할 수 없고, 경합적 다원주의로 정치를 해야 한다고 주장한다.

랑시에르 : 플라톤주의와 전문가중심의 대의민주주의를 비판한다. 일반 민중들이 지식을 완벽하게 습득할 수 있다고 여긴 그는 '무지의 스승'(1991)에서 모든 사람이 평등한 지능을 가지고 있으며 가난하고 권리를 박탈당하는 사람도 스스로 깨우칠 수 있으므로 지적 해방을 위해 전문가에 얽매여서는 안된다고 주장한다.

파카스와 쇼유(2020) : 민주주의에 대한 선험적인 방식으로 이성과 합리성, 진실에 접근하는 것을 반대하면서 가짜뉴스와 탈진실 논쟁에 개입한다. 민주주의는 계속해서 진화하고 사회적 투쟁을 통해서 발전하며 민주주의는 늘 서로 다른 진실을 보여주고 다른 근거와 기반을 가진 다양성의 측면에서 봐야 한다고 주장한다. 이들은 디지털기술을 더 참여적이고 포용적인 민주주의와 짝을 이루는 것이야말로 앞으로 나아갈 수 있는 유일한 방법이라고 주장한다.

숙의민주주의와 참여 민주주의에서 인공지능의 역할은 무엇인가? 숙의와 의사소통, 참여와 상상력에 도움을 주는가? 아니면 반대로 위협하하는가? 사람들을 데이터로 전환시켜 버리는가?

영의 포용과 민주주의 내용

배경과 문제의식 : 영은 현대 민주주의에서 배제와 억압이 여전히 지속된다고 진단하며, 전통적 민주주의 이론이 다음과 같은 한계를 갖고 있다고 비판한다. 다수결 중심으로 운영되면서 소수집단의 목소리를 무시하거나 배제한다. 합리적 토론이나 공론장을 강조하지만, 실제로는 다양한 목소리들이 효과적으로 표현될 수 없는 구조를 갖는다. 형식적 평등과 보편성을 강조하나, 이것이 실질적이고 구체적인 차이를 은폐하거나 억압하는 경우가 많다.

포용적 민주주의(Inclusive Democracy)의 개념 : 영은 포용적 민주주의를 다음과 같이 제안한다. 민주주의는 단순한 제도적 장치가 아니라, 사회적 포용과 차이의 인정을 적극적으로 지향해야 한다. 정치적 참여가 모든 개인과 집단에게 열려 있어야 하며, 특히 기존 정치 과정에서 소외된 여성, 소수 인종·민족, 장애인, LGBTQ+ 등 사회적 약자들의 정치적 발언권을 적극적으로 보장해야 한다. 포용이란 단순히 형식적 참여의 기회를 제공하는 데 그치지 않고, 실질적인 발언권과 권력의 재분배를 통해 성취되어야 한다.

의사소통적 민주주의 비판과 대안 제시 : 하버마스(Jürgen Habermas)의 의사소통적 민주주의나 숙의 민주주의(deliberative democracy)가 합리적 토론과 이상적 발화 상황을 강조하는 데 반해, 영은 다음의 비판과 대안을 제시한다. 하버마스가 제시한 ‘이상적 발화 상황’은 실제 정치 과정에서 실현되기 어렵고, 언어적, 문화적, 사회적 권력 관계를 충분히 고려하지 못한다. 실제로는 공론장에서 힘을 갖지 못한 집단이 침묵하거나 억압당하기 쉽다는 것을 강조하면서, 영은 ‘의사소통적 민주주의의 정치성’을 강조한다. 따라서 민주주의는 단순히 합리적인 의사소통만을 중시하기보다, 감정, 몸짓, 이야기(narrative) 등 다양한 표현 양식을 통해 목소리를 드러낼 수 있는 공론장을 만들어야 한다고 제안한다.

차이의 정치(Politics of Difference) : 영은 민주주의에서 ‘차이의 정치’를 다음과 같이 설명한다. 각자의 정체성, 차이, 경험의 특수성이 배제되지 않고 오히려 적극적으로 인정되어야 한다. 단순히 차이를 허용하는 ‘관용’(tolerance)의 수준을 넘어서, 구체적이고 실질적인 존중과 인정을 민주적 실천의 원칙으로 삼아야 한다. 민주주의에서 ‘차이’를 억압하는 보편주의적 접근은 결과적으로 실질적인 민주적 포용을 어렵게 한다고 주장한다.

대표성과 책임성의 재구성 : 영은 현대 민주주의에서 대표성과 책임성을 새롭게 재구성해야 한다고 주장하며 다음과 같이 강조한다. 전통적 민주주의가 국가 중심의 제도와 공식적 절차 중심으로 구성되었으나, 이제는 시민사회, NGO, 사회운동 등을 포함한 비공식적이고 다양한 정치적 공간이 더 적극적으로 활용되어야 한다. 대표성은 단순히 대표자를 선출하는 것이 아니라, 다양한 목소리와 차이를 적극적으로 담아내는 ‘집합적 대표성(collective representation)’ 개념으로 확장되어야 한다. 책임성(accountability) 또한, 정치 엘리트나 공식 제도에만 국한되지 않고, 사회 전반에서 수평적이고 다원적 형태의 책임성을 구축하는 것이 필요하다.

정보의 거품, 반향실, 그리고 포퓰리즘

선스타인, 패리저 : 개인화와 파편화, 양극화와 관련된 문제를 제기한다. 우리의 시야를 제한하는 필터 버블에 대한 비판을 가한다.

니야조프 '정보 거품과 반향실'(2019) : 각각의 개인들이 관심을 가질만한 정보를 개인화 알고리즘이 제공함으로써 반대 의견에 노출되지 않고 자신만의 신념을 강화시키면서 자기만의 세게에 고립된다. 이것은 공감을 방해하며 정치적 상상력을 더욱 어렵게 만든다. 정치의 양극화를 가속화하고 합의와 집단행동을 불가능하게 만든다. 결국 사회가 파편화되고 붕괴될 위험이 존재하게 된다. 이른바 '반향실' 즉, 녹음실처럼 편집통제가 없이 양극화와 증오는 그대로 노출된다.

합리적이고 합의지향적인 하버마스식 토론을 하길 원할 경우, 반향실 문제는 해결될 수 있지만 반대의견에 노출되지 않을 때는 경합적 민주주의조차 어랍다. 매일 더 멀어지는 고립된 디지털 섬들이 되는 실정이다(엘 바마위, 2016).

누웬(2020) : 목소리를 아예 빼버리는 인식론적 거품과 관련된 다른 목소리를 적극 배제하여 살마들이 모두 외부의 정보원을 불신하게 되는 반향실을 구분한다.

크랜카(2010) : 검색엔진의 경우, 작동하는 방식을 통해 이용자를 필터 버블과 반향실에 고립시켜 다양성과 함께 민주주의도 위협할 수 있다.

푸슈만(2018) : 소셜미디어는 이용자를 반대 관점에도 노출시키기는 하지만, 소수의 이용자만 의도적으로 반향실 방식으로 의견환경을 찾는 것으로 나타났다. 다양한 의견이 존재할 가능성이 있다.

벤하비브(2008) : 인터넷을 통해 제한받지 않는 의견의 교환으로 축소가능성이 있으며 인공지능은 하버마스, 아렌트등이 생각하는 의사소통합리성과 공론장도 위협할 수 있다. "한편으로는 의사소통과 정보 및 의견의 형성이라는 네트워크와 다른 한편으로는 의사결정의 표현 측면에서 공적 표현 간의 상호작용을 개념화하기란 어려운 일이다.

킨키드와 더블러스(2020) : 반향실은 민주주의의 인식론적 기반을 위협한다. 빅데이터 분석과 결합된 소셜 미디어는 정치커뮤니케이션의 본질을 변화시킨다. 고도로 표적화된 메시지를 전 세계 수많은 살마들에게 보내고 "전 지구적으로 도달할 수 있는 정치적 메시지를 특정 대상에게 보내는 것"이 가능하다. 민주주의 인식론적 미덕에 한가지 위험은 폐쇄적인 소셜네트워크가 공론장을 독점하고 비공개로 만든다는 점이다. 일단 정치적 담론이 사적으로 유사한 개인들 사이에서 공유되면, 다양한 관점으로 아이디어가 더 이상 도전받지 않으므로 인식론적 견곤함을 일부 잃게 된다.

민주주의는 공론장을 필요로 하고 정치는 공적문제를 다루어야 하지만 반향실, 필터버블, 특정집단에게 보내는 협송은 공론장의 사유화를 가속화할 수 있다.

포퓰리즘은 다양한 방식으로 인공지능과 연결될 수 있다. 정치인들은 대중의 흥미를 끌기 위해서 선동의 목적으로 인공지능을 사용할 수 있고, 소셜미디어에서는 전문가가 아닌 사람들의 논평에 가치를 부여하면서 전문지식을 목살하기도 한다. 이러한 과정을 인식론적 포퓰리즘(모피트 2016)이라고 한다. 토론과 이해라는 정치보다 입소문과 즉시성을 선호하고 심각한 이념적 분열을 초래하는 것이다. 따라서 유권자의 선호에도 영향을 미치며 권위주의적인 지도자의 출몰을 준비하게 하기도 한다.

더 많은 문제들, 조종과 대체와 책임 그리고 권력

인공지능은 사람을 조종할 목적으로 이용될 수 있다. 넛지를 통해 결정에 영향을 주고, 인간의 경험과 생각을 형성하는데도 이용될 수 있으며, 유권자의 특정 정당지지도에 영향을 미치기도 한다. 캐임브릿지 애널리티카 사건을 통해서 페이스북 이용자들의 개인데이터를 수집하여 2016년 도널드트럼프의 대선 캠페인에 이용하였다.

인공지능이 인류의 최고의 이익을 위해서 통치하거나 통치권을 주장할 위험성도 있다. 인공지능은 다양한 공상과학 소설에서 자유민주주의를 파괴하는 수단으로 나온다. 플라톤의 해석을 더하면 인공지능이 철학자의 왕으로 행동할 가능성도 있다.

인공지능은 하나의 기술로만 그치지 않고 도덕적이고 정치적인 일과 언제든지 연결될 수 있다. 또한 정치를 위한 도구만이 아니라 정치 그 자체를 바꿀수 있는 인공지능 비도구성에 대해서도 고민이 필요하다. 결정과정에서 인공지능을 통한 지식으로 판단할 경우 편향이 들어갈 가능성이 있다.

첨단기술기언의 권력은 가짜뉴스와 허위정보를 다루는 데 있어서도 문제를 야기한다. 가짜뉴스는 비관적인 디지털 미디어 기술에 대한 비판과 기술결정론적 비판에 동원되기도 한다. 또한 누가 가짜뉴스를 판명하며 그 기준은 무엇인지의 문제도 야기한다. 마르크스주의의 관점에서 볼 때 자유로운 표현 그 자체는 하나의 상품이자 경제적 가치로 전환되어 데이터 경제의 소스가 된다.

인공지능이 민주주의를 직접적으로 훼손하는 도구로 이용될 가능성만이 있는 것이 아니라, 의도하지 않은 부작용까지 초대할 수 있다. 잠재적으로 상충할 수 있는 서로 다른 정치적 가치들 사이에 인공지능에 관한 정책이 균형을 이룰 필요가 있다.

3. 인공지능과 전체주의의 근원, 아렌트로부터 얻은 교훈

인공지능과 전체주의

맥카시 존스 : 개인주의적인 서구 사회는 우리보다 우리의 생각과 욕망 또는 기쁨을 더 잘 아는 사람은 없다는 생각에 기반을 두고 있다. 인공지능은 이것을 바꿀 것이다. 우리가 우리 자신을 아는 것보다 우리를 더 잘 알 것이다. 인공지능으로 무장한 정부는 국민이 진정으로 원하는 것이 무언인지 알 수 있다고 주장할 수 있다.

맥카시 존슨은 이러한 생각을 스탈린의 소련과 마오의 중국에서 일어난 일과 비교한다. 인공지능은 텔레스크린을 토해 모든 시민을 감시하는 디지털판 빅브라더를 가능하게 한다. 중국의 감시카메라, 비디오캡쳐, 안면인식소프트웨어, 음성인식 등은 개인데이터의 디지털 발자국을 이용해서 통제한다. 이것은 다이아몬드의 논의대로 하면 '포스트모던 전체주의'라고 할 수 있다.

기술은 전체주의의 근원 가운데 하나가 될 위험이 있다. 아렌트의 전체주의의 기원에 대한 연구를 통해서 이러한 문제를 해결하기 위해서 다가갈 수 있다.

전체주의의 기원과 악의 평범성에 관한 아렌트의 연구

전체주의의 기원은 사회를 전체주의로 이끄는 조건에 대한 조사 내용을 바탕으로 하고 있다.

'일관된 거짓말로 허구의 세계를 설정하고 지켜내는 탁월한 능력'과 '현실세계의 전반적인 구조를 경멸하는 움직임'이 전체주의 사회로 만들었다며, '고립되어 평범한 사회적 관계가 결핍된'사람들을 폭력적인 국가주의에 취약하게 만드는지에 대해서 연구한다. 그리고 이러한 조건들에서 히틀러와 같은 독재자들이 나오는 경로를 파악한다.

연대와 행동이 부재하고 정치영역전체가 파괴되어 아무도 의지할 수 없고 공동의 관심사를 이야기할 수 없는 상황에서 고립은 발생한다. 고립은 다시 전체주의가 나오는 계기가 된다.

권위주의와 전체주의는 이미 파괴된 구조 위에서 성장한다. 전체주의는 정치적 움직임이 아니라 정치영역을 파괴하는 활동이다.

이런 의미에서 인공지능은 인식론적 거품을 만들어내거나 잘못된 정보를 노골적으로 공유하여 현실을 왜곡함으로써 고독을 심화시킬 수 있다.

인공지능은 반향실과 인식론적 거품을 토해서 '부족'에게서만 나오는 정보만 신뢰하도록 만든다. 불안은 고독과 분리를 심화시키고, 부족화는 정치의 양극화와 공론장의 분리를 초래할 뿐만 아니라 폭력으로 이어지게도 만든다.

인공지능과 전체주의의 연관성에서 한나아렌트의 우려를 살펴보면서 우리는 의도하지 않은 편향, 자신이 맡은 일에 복종함으로써 자연스럽게 '평범한 악'을 실행할 가능성을 찾을 수 있다. 악은 일상적인 기술적 관행과 관련된 위계 구조 안에서 자신의 의무를 묵묵히 수행하는 사람들의 평범함 속에 있다.

'예루살렘의 아이히만'에서 영감을 받은 맥퀼런(2019)은 인공지능은 사람들에게 '경험적인 위험 순위를 제공하는데 이 위험이 어디에서 왔는지' 사람들은 질문할 길이 없기 때문에 이 기술은 한나 아렌트가 서술했던 의미의 무사유를 조장한다. 지시를 비판할 수 없고, 결과에 대한 성찰이 없으며, 옳은 명령이 내러지고 있다는 믿음에 헌신한다는 것이다.

인공지능이 야기할 수 있는 전체주의를 피하기 위해서는 기술기업과 정부기관에 종사하는 사람들의 책임을 지적하고, 기술과 데이터 등의 설계를 개선해야 한다고 말하는 것으로 충분하지 않다. 사람들이 책임을 다할 수 있게 지원하고, 저항하는 일이 옿은 일일 때 더 쉽게 문제를 제기하고, 비판하고, 심지어 저항할 수 있는 사회적 환경을 어떻게 만들 수 있는가?를 질문하게 하는 것이다.

질문 : 민주주의를 숙의하는데 어떤 공간이 좋을까? 인공지능은 어떤 공간을 생기게 할까? 인공지능은 민주주의를 위한 좋은 구조를 만드는데 어떤 도움을 줄 수 있을까?

코겔버그 : 인공물의 정치와 관련하여 공적영역을 위해서 우리를 한데 모으는 곹통의 세계가 필요하다. 기술철학이 공헌할 수 있는 방법은 권력을 개념화하는 동시에 권력과 기술의 관계를 개념화하는 것이다. 인공지능 같은 기술의 도움으로 함께하는 일, 함께 할 수 있는 일을 더 잘 이해하고 싶다면, 어떻게 권력이 작동하는지, 지식 및 기술과는 어떤 관련성이 있는지 이해해야 한다.

0. 나오기

과학의 사회적기술이론을 배우고 기술철학을 고민한지도 벌써 몇년이 지났다. 앞으로 우리가 살아갈 날들은 비인간행위자, 신유물론, 포스트휴머니즘, 트랜스휴머니즘과 같은 주제들이 현실의 문제와 결합하여 해결하기 어려운 난제로 드러날 것이다. 어늘은 정치와 인공지능의 관계에 대해서 숙의민주주의의 가능성과 한계를 알아보았다. 책 내용을 요약하고 스터디에서 발제를 위해서 준비한 내용이라서 논리적인 흐름이 끊기기도 한다. 그렇지만 정치적으로는 충분히 고민해본 내용이고 기술적으로 다시 고민해야하는 내용이다. 계속해서 배우자. 비인간영역에 대한 발제도 있었으나 오늘은 내가 발제한 곳까지만 그림일기까지 그려보았다. 정치와 인공지능에 대한 지속적으로 연구하고 탐구해야겠다.