자본이 당신의 가족을 위협할 때
우리는 시스템을 어떻게 설계할 것인가?
8장. 기술의 윤리를 넘어서: 제도적 법제화가 왜 필요한가
기술은 더 이상 단순한 도구가 아니다. 오늘날의 기술은 인간의 삶, 사회의 구조, 민주주의의 방식까지 바꾸는 거대한 힘이 되었다. 그런데 그 기술이 윤리 없이, 규범 없이, 통제 없이 움직일 때 어떤 일이 일어나는가?
2013년, 전 미국 국가안보국(NSA) 요원이었던 에드워드 스노든은 충격적인 사실을 폭로했다. 미국 정부가 민간인의 이메일, 통화기록, 인터넷 검색기록을 무차별적으로 수집하고 감시하고 있었던 것이다. 이 정보는 모두 사물인터넷(IoT) 기기와 통신망을 통해 수집되었다. 국민은 사생활 침해를 당했지만, 해당 감시는 '합법적인 기술 활용'이라는 이름 아래 진행됐다. 이는 기술이 윤리가 결여될 때 얼마나 쉽게 권력의 도구가 될 수 있는지를 보여주는 대표 사례다.
기술의 윤리를 요구하게 만든 세계적 사례들
아마존 AI 채용 알고리즘 차별 사건 (2018년)
2018년, 로이터 통신은 아마존이 실험적으로 개발한 AI 채용 시스템이 여성 지원자에게 불리하게 작동했다는 사실을 보도했다. 이 시스템은 과거 10년간 아마존의 채용 데이터를 학습했는데, 남성 중심 산업 구조가 반영된 데이터를 그대로 학습하면서 여성 지원자의 이력서를 자동으로 낮게 평가하는 편향을 드러냈다. 아마존은 해당 프로젝트를 공식적으로 폐기했지만, 이 사건은 AI 시스템의 투명성과 검증 필요성을 일깨운 대표적 사례로 평가받았다.
MIT 조이 불라무니니의 안면 인식 기술 인종차별 연구
MIT 미디어랩 소속 연구자 조이 불라무니니는 주요 안면 인식 기술 기업들의 시스템이 백인 남성에 비해 흑인 여성에게서 인식 오류율이 현저히 높다는 사실을 밝혀냈다. 이 연구는 세계적 학술지 및 TED에서 발표되며, 기술 개발 단계에서 인종 및 성별 편향이 어떻게 내재될 수 있는지를 경고하는 계기가 되었다.
영국 이민청의 AI 기반 자동 추방 사건 – 윈드러시 스캔들
영국 내무부는 AI 기반 평가 시스템을 활용해 체류 이민자들을 자동 분류했는데, 이로 인해 합법적으로 체류하던 이민자들이 강제 추방당하는 사건이 발생했다. 윈드러시 세대로 불리는 카리브계 이민자들이 가장 큰 피해를 입었으며, BBC와 영국 옴부즈맨 보고서에서는 명백한 시스템적 책임이 드러났다.
중국의 감시사회 – 안면 인식 기술과 사회 신용 시스템
중국 정부는 안면 인식 기술과 시민 감시 시스템을 결합해 국가 차원의 통제 인프라를 구축했다. 사회 신용 점수를 통해 개인의 행동을 실시간 감시하고 평가했으며, 이를 근거로 교통 이용, 대출, 취업 등 기본권적 영역에 영향을 미쳤다. UN과 휴먼라이츠워치(HRW) 등 국제기구는 이 시스템이 인권을 침해한다고 지속적으로 비판했다.
최근에는 인공지능(AI)이 시민 채용, 금융 대출, 보험 심사 등에 쓰이면서 차별적 판단을 반복하거나 특정 집단을 불이익 대상으로 설정한 사례도 있었다. 알고리즘은 그 자체로 도덕성을 갖지 않는다. 그런데도 사람들은 기술이 공정하고 객관적일 것이라는 환상을 갖는다.
이렇듯 기술이 무기가 되지 않으려면 반드시 선한 목적과 선한 설계가 함께해야 한다. 기술을 통제하는 것은 기술의 진보를 막는 것이 아니라, 인간을 보호하는 최소한의 윤리적 울타리를 세우는 일이다.
그래서 우리는 [윤리]를 중심에 두어야 했다
기술이 법보다 빠르게 발전하는 시대에서, 단순한 규제에만 의존할 수 없었다. 기술을 설계하고 사용하는 모든 과정에서 '윤리'는 핵심 원칙이 되어야 했다. 법보다 빠르게, 제도보다 깊게 작동하는 감시와 책임의 구조를 만들어야 했고, 그 중심에는 시민이 있어야 했다. 기술의 감시자이자 윤리적 기준의 수호자로서 시민과 사회 모두가 기술의 방향을 설계하는 역할을 함께 나누어야 했다.
그렇다면 우리는 무엇을 해야 하는가? 시민이 실천할 수 있는 구체적인 방법은 다음과 같다.
1. 윤리적 기술 사용 요구 : 제품이나 서비스 이용 시 기업의 기술 윤리 기준을 따지는 문화를 만들어야 한다. 예를 들어 개인정보 활용에 대한 명확한 동의 절차가 있는지 살펴보자.
2. 공공 플랫폼에서의 감시 참여 : 기술윤리 위반 사례를 고발하고, 관련 입법과정에 시민 의견을 내는 공개토론회나 청원에 참여할 수 있다.
3. 디지털 주권 교육 강화 요구 : 학교와 시민교육 기관에서 AI, 데이터 윤리 등의 기본 교육이 이뤄질 수 있도록 제도화를 요구할 수 있다.
4. 기업 ESG 평가에 윤리 기준 포함 요구 : ESG 등급을 매길 때 기술 윤리 항목이 반영되도록 하는 제도 개선 청원이 필요하다.
우리는 기술의 희생자가 아닌, 기술의 설계자가 되어야 한다. 그리고 그 첫걸음은 [윤리를 제도화하는 일]이다.
