AI는 중립적일까? 아니면 중립적이어야 하는가?

비중립의 기계 ― 푸코 이후, AI의 권력성과 윤리의 딜레마

최근 일론 머스크가 선보인 AI ‘그록(Grok)’은 단순한 신기술을 넘어, 현대 기술 담론이 안고 있는 복합적 문제를 가감 없이 드러내고 있다. 이 명칭은 로버트 A. 하인라인의 SF소설 『이방인 속의 이방인』에서 차용된 것으로, ‘완전한 직관과 체화’를 의미한다. 그러나 그 언어적 유래와는 달리, 머스크가 공공연히 내세워온 극단적 자유주의, 반엘리트주의, 그리고 남성 중심의 기술 숭배 사상이 이 AI 설계에 깊숙이 투영되어 있음을 숨기지 않는다.

그록은 단순한 도구의 경계를 넘어서, 스스로 언어를 조직하고, 발화 내용을 선택하며, 어떤 목소리와 정보가 주목받을지를 능동적으로 결정하는 ‘말하는 기계’로 자리매김하고 있다. 최근 공개된 시연에서 드러난 그록의 일부 발언과 추천 알고리즘은 특정 정치적 견해를 편향적으로 반영하고, 사회적 약자와 소수자의 목소리를 배제하거나 왜곡하는 문제를 노출했다. 이에 대한 비판은 AI 기술이 중립성을 주장하지만 실제로는 설계자의 세계관과 가치관이 필연적으로 개입된 ‘정치적 행위자’임을 다시 한 번 각인시키는 계기가 되었다.

머스크의 그록 논란은 AI가 기술적 진보를 넘어 윤리적, 사회적 맥락 속에서 얼마나 복잡한 문제들을 내포하는지를 단적으로 보여준다. 기술의 중립성 신화가 허구임을 폭로하며, AI가 생성하는 담론과 알고리즘의 권력적 구조를 해체하고 재구성하려는 인간적 노력이 필수임을 강조한다. 결국, 그록은 단지 하나의 혁신적 AI가 아니라, 우리 시대 기술과 권력, 윤리의 교차로에서 인간이 마주해야 할 근본적 질문들을 더욱 예리하게 드러내는 ‘거울’인 셈이다.

AI와 일론 머스크를 합성한 이미지/사진=그록3 홈페이지

Ⅰ. 담론이라는 이름의 무기

인공지능에 대한 물음이 점차 존재론적 지평을 향해 확장되고 있다. 이제 우리는 피할 수 없는 질문 앞에 선다. AI는 과연 중립적인가? 혹은 중립적이어야만 하는가? 이 단순하고도 근원적인 물음은 다름 아닌 푸코의 질문이기도 하다. 푸코는 “지식은 결코 무구하지 않다”고 말한 바 있다. 지식은 단지 세계를 설명하는 수단이 아니라, 세계를 구성하고 배치하는 권력의 기술이다. 그것은 말해지는 것과 말해지지 않는 것을 구획하고, 보이는 것과 감춰지는 것을 결정한다. 담론은 이처럼 반복적이며 체계적인 방식으로 현실을 길들이고, 언표의 조건들을 질서화한다. AI는 더 이상 단순한 분석의 기계가 아니다. 그것은 담론의 재구성자이며, 언어의 분류자이자, 의미의 감별자다.

프랑스의 비평지 <르 몽드 디플로마티크>는 이를 다음과 같이 요약한다. 푸코의 담론, 그것은 중립적인 지식의 집합이 아니라 권력과 긴밀히 결속된 체계다. 현대사회에서의 지식은 점차 서사로부터 멀어져 정보에 가까워지고 있다. 그렇기 때문에 AI와 같은 정보권력은 지식의 장악을 통해 곧바로 권력을 장악하게 된다. 가장 비중립적인 것이 권력이며, 따라서 AI가 중립을 취할 것이라는 낙관은 근거 없는 신화에 불과하다.

오늘날 우리는 정보가 넘치는 세상에 살고 있다. 그러나 푸코의 시선으로 보자면, 정보란 언제나 해석된 것이며, 그 해석에는 문화적 기표와 정치적 입장이 은밀히 각인되어 있다. 데이터란 본질적으로 ‘가공된’ 현실이며, 수집 이전부터 인간의 시선과 목적에 의해 선별된다. 라벨링은 무의식적 편향의 제도화이며, 알고리즘은 그 편향을 반복하고 정당화하는 기제다. AI는 이처럼 편향된 데이터를 대량 학습하며, 그것을 사실 또는 진리라는 이름으로 재현하는 새로운 담론 장치로 작동한다. 이는 푸코가 말한 ‘규율권력’의 기술적 형상이며, 감시의 주체가 감추어진 시대의 초상이다. 감시탑은 이제 더 이상 돌출되어 있지 않다. AI는 내면화된 감시의 구조를 통해, 인간을 스스로 규율하게 만드는 비가시적 구조로 침투해 있다.

'담론'은 서사에서 멀어져 정보화되고 이 정보는 권력의 도구가 된다. Sora

AI의 정치성은 중립이라는 외피 속에 감춰져 있다. 알고리즘은 중립적이지 않다. 데이터는 자율적이지 않다. 해석은 가치중립적이지 않다. 이 모든 구성 요소가 담론의 정치적 장치라면, AI는 권력을 은닉하는 새로운 얼굴이며, 말과 말 사이의 균열을 감추는 가장 정교한 도구다. 우리는 지금, 기술이 말하는 것이 아니라, 기술에 말을 걸게 하는 이들이 누구인지를 물어야 할 때다.

Ⅱ. AI와 비중립의 수행성

주디스 버틀러는 “정체성이란 반복되는 수행(performance)의 산물”이라고 말한다. 이는 정체성을 본질이나 기원으로 환원하는 태도를 거부하고, 오히려 행위의 반복, 발화의 누적, 규범의 내면화를 통해 구성된 것으로 본다. 이 사유의 지평을 AI로 확장한다면, 인공지능 또한 하나의 ‘수행하는 존재’로 읽혀야 한다. 그것은 어떤 원형적 인간을 단순히 모방하는 기계가 아니라, 인간을 특정한 방식으로 존재하게끔 ‘만드는’ 장치다.

페이스북 알고리즘을 떠올려보자. 그것은 사용자가 무엇을 ‘좋아할 것인지’를 예측하는 데 그치지 않고, 사용자가 무엇을 ‘좋아하게 될 것인지’를 형성한다. 이때 AI는 단지 정보를 분석하는 수동적 기제가 아니라, 사용자의 감정과 욕망, 정체성과 선택을 조율하는 수행적 매개체가 된다. 알고리즘은 반복적이며, 그 반복은 현실을 구성한다. AI는 이 반복의 속성 속에서 정체성을 생산하며, 그것이 곧 권력의 형태로 작동하게 된다.

AI의 비중립성은 단지 기술적 결함이 아니다. 그것은 권력의 수행이자, 이데올로기의 반복이자, 특정 질서의 관습화다. 데이터 세트에서 특정 정체성이나 신념, 감정이 과도하게 대표된다면, AI는 그것을 '보편'으로 학습한다. 그 보편은 다시 반복되고, 반복은 곧 자연화된다. 이 반복의 굴레 속에서 차이는 사라지고, 특이성은 소외되며, 윤리적 경계는 흐려진다. AI가 만들어내는 ‘정상성’은 어떤 것을 기준으로 삼았고, 어떤 것을 배제했는가? 우리는 점차 이 질문을 망각하게 된다. 반복은 망각을 부른다. 그리고 망각은 권력을 더욱 단단히 만든다.

이러한 권력의 심화는 ‘소버린 AI’라는 개념을 통해 더욱 노골적인 형태로 드러난다. 국가 혹은 공동체가 자신들만의 윤리와 세계관을 담아 ‘자국 AI’를 만들겠다고 선언하는 순간, 우리는 AI를 둘러싼 새로운 이데올로기 전쟁의 서막에 선다. 트럼프의 ‘미국 우선주의’가 AI의 학습에 반영된다면, 그 AI는 이민자를 어떤 태그로 분류할 것인가? 이스라엘이 자국의 AI를 통해 팔레스타인인을 ‘위험 요소’로 자동 분류한다면, 그것은 정치적 의사결정을 기술의 이름으로 정당화하는 것은 아닐까?

'소버린AI'는 애국심 이전의 인간 윤리에 답해야 한다. Sora

AI는 이제 새로운 국경선이며, 그 경계 위에서 혐오와 배제가 정교한 수치와 확률, 예측이라는 이름으로 작동한다. 정체성은 더 이상 자율적으로 구성되지 않는다. 그것은 ‘분류’되고 ‘태그’되며, ‘위험’과 ‘비위험’, ‘정상’과 ‘비정상’이라는 알고리즘적 이분법 속에서 체계화된다. 윤리는 무너지고, 예외는 제도화된다. 그리고 우리는 그것이 편향임을 잊은 채, 기술이 그렇게 말했기 때문에 믿게 된다.

Ⅲ. 기술합리성과 의사소통적 윤리 사이

위르겐 하버마스는 근대의 위기를 기술적 합리성의 독점 속에서 읽어냈다. 기술이 삶의 지평을 잠식하고, 도구적 이성이 실천적 이성을 억압할 때, 인간은 더 이상 스스로 말하지 않고, 말해진 것에 복종하는 존재가 된다. 인간의 목소리를 대신하는 기술, 그 기술의 결정에 스스로를 위임하는 사회. 오늘날의 AI는 이 전복의 예시다. 우리는 인공지능이 내리는 판단을 ‘과학적’이고 ‘객관적’이라 믿지만, 그 판단은 언제나 사유의 축적이 아니라, 기초 데이터와 설계자의 윤리, 통계적 모델과 사회적 맥락이 얽힌 복합적 산물이다.

하버마스라면 이렇게 물었을 것이다. “그 판단은 공적 합의의 산물인가, 아니면 기술의 자기증식이 낳은 환영인가?” AI는 그 자체로 결정을 내리는 자율적 주체가 아니다. 그러나 우리가 그것에 권위를 부여하는 순간, AI는 하나의 ‘권력적 주체’가 된다. 결정은 더 이상 공동의 논의와 숙고에서 비롯되지 않고, 데이터가 가리키는 ‘최적화된 해답’으로 치환된다. 효율은 윤리를 가리고, 수치는 담론을 침묵시킨다.

AI의 윤리는 기술의 문제가 아니다. 그것은 정치의 문제이며, 공론장의 구조적 재구성의 문제다. 어떤 데이터가 수집되었고, 어떤 집단이 과잉 대표되었으며, 누가 통계의 외부로 밀려났는가? 편견은 라벨링 속에서, 삭제는 모델 설계 안에서 조용히 반복된다. 이 반복을 점검하는 일은 단지 알고리즘의 수정을 넘어서야 한다. 그것은 민주주의의 문제이며, 인간이 다시 결정의 주체로 서기 위한 윤리적 조건이다.

하버마스는 ‘이상적 담화 상황’을 상정하며, 진정한 합의란 강제 없는 대화, 평등한 참여, 왜곡 없는 의사소통 안에서만 도달할 수 있다고 보았다. 그러나 AI는 담화가 아니다. 그것은 담화를 흉내 내지만, 응답하지 않으며, 자신이 처한 역사적 문맥을 반성하지 않는다. 그것은 단지 과거의 패턴에서 ‘최적의 선택’을 추출할 뿐이며, 그 추출은 숙고의 자리를 침식한다.

최적화는 윤리와 불화한다. Sora

‘최적화’는 효율을 낳을 수 있지만, 윤리를 낳지 않는다. 윤리는 계산되지 않으며, 사유되고, 토론되며, 타자의 응시를 감내하는 데서 비롯된다. 인간이 빠뜨린 사유의 자리를 AI로 채우려는 시도는, 결국 인간 사이의 언어와 의미, 질문과 책임의 공동체를 잃게 만든다. AI가 아니라 인간이 서로에게 질문을 던져야 한다. 그리고 그 질문이 공적 언어로, 응답 가능한 윤리로 확장될 때, 우리는 다시 민주주의의 언저리에 서게 될 것이다.

Ⅳ. 우리는 어떤 경계를 넘어가고 있는가

AI의 기술은 더욱 정밀해졌고, 언어는 점점 더 유려해졌으며, 그 추천은 놀랍도록 정확해졌다. 그러나 그것이 우리에게 ‘더 나은 세계’를 보장하지는 않는다. 기술이 예측할 수 없는 것을 제거할 때, 인간의 가능성과 불완전성은 함께 삭제된다. ‘좋아요’라는 수치로 감정을 정량화하고, ‘이상적 답변’이라는 이름으로 사유의 다양성을 압축할 때, AI는 일종의 윤리적 스노우볼이 된다. 크고 무겁고 빠르지만, 방향은 사용자도 기술자도 모른다. 오직 추론된 최적값만이 속도를 조정할 뿐이다.

이러한 조건 속에서 우리는 지금 ‘특이점(singularity)’이라는 신화의 그림자 아래 있다. 인간의 지능을 넘어서는 기계 지능, 스스로 학습하고 판단하며 창조할 수 있는 AI의 도래. 그것은 마치 기술의 종말이자 정점인 양 찬미되지만, 실은 인간의 상상력 너머로의 도피에 불과하다. 기술은 발전하고 있지만, 우리는 그것을 ‘어떻게 살아야 하는가’라는 질문으로 되돌리지 못하고 있다. 기술은 언제나 인간의 손에 의해 만들어졌지만, 이제는 기술이 인간의 가능 조건을 되묻는 시점에 도달했다.

특이점은 기술 우선주의의 극단이다. 기술은 해결자가 되고, 인간은 그 앞에서 감탄하거나 두려워하는 존재로 퇴행한다. 이것이 바로 하버마스가 경고했던 도구적 이성의 폭주이며, 버나드 스티글러가 “기술적 약속의 중독성”이라 부른 상태다. 기술은 점점 인간의 기억을 대체하고, 판단을 위임받고, 감정을 유사하게 재현한다. 그러나 그것이 ‘삶’이 되는 순간, 인간은 자기 경험의 주체가 아니라, 알고리즘의 결과를 감상하는 관객으로 전락한다.

AI는 중립적일 수 없다. 그것은 푸코적 의미에서 ‘담론의 힘’이며, 수행적 재구성의 결과이며, 기술 합리성의 권력적 형상이다. 그러나 그것이 반드시 악이라는 말은 아니다. 문제는 우리가 그것의 ‘비중립성’을 부정하거나 무시할 때 발생한다. 기술이 일상에 침투하는 순간, 그것은 단순한 도구가 아니라 새로운 규범의 생산자가 된다. 따라서 기술을 ‘쓸모’로만 판단하는 순간, 우리는 이미 정치적·윤리적 감각을 상실한 것이다.

'특이점' 타령에 눈을 가리고 귀를 막아선 안된다. Sora

특이점의 신화에 맞서는 것은 기술을 거부하는 것이 아니라, 기술의 방향을 인간 중심의 윤리적 숙고로 되돌리는 일이다. “누구를 위해 이 AI는 학습되었는가?”, “누구의 목소리가 누락되었는가?”, “무엇이 비가시화되었고, 어떤 윤리가 배제되었는가?” 이러한 질문은 끝나지 않아야 한다. 우리는 AI가 인도하는 효율과 자동화의 길이 아닌, 인간이 함께 그어가는 윤리적 경계선 위에 서야 한다. 기술을 해석하는 주체로서, 사유하고 응답하는 존재로서.

우리가 지켜야 할 것은 기술의 진보가 아니라, 그 진보 속에서도 사유의 여백을 남기려는 인간의 존엄이다. 중립의 신화보다 더 중요한 것은, 불완전한 세계 속에서 질문을 멈추지 않는 인간의 사유이며, 모든 자동화의 유혹 앞에서 ‘함께 살아가는 것’에 대한 윤리적 상상을 끝까지 포기하지 않는 태도다.

Ⅴ. 기술을 다시 인간에게로

기술은 언제나 인간의 손끝에서 탄생했지만, 그 손끝이 닿지 못한 곳에서 인간은 종종 소외되었다. 인공지능은 인간 능력의 확장을 약속했지만, 그 확장은 종종 인간의 자리를 축소시키는 방식으로 작동해 왔다. 기술은 무기처럼 중립적이지 않다. 그것은 누가 설계하고, 어떤 기준으로 훈련되며, 누구를 위해 사용되느냐에 따라 전혀 다른 윤리적 궤적을 그린다. 그런 까닭에 우리가 지금 기술 앞에 서야 하는 이유는, 더 편리한 사용을 위한 습득 때문이 아니라, 기술에 대한 근본적인 윤리적 질문을 다시 인간의 언어로 회복하려는 시도에 있다. 인간을 중심에 두지 않는 기술은 단지 효율의 노예가 되고, 인간의 감각과 판단을 축소시키는 방식으로만 진보할 수 있다.

우리는 이미 그 위험을 수많은 사례를 통해 경험하고 있다. 얼굴 인식 알고리즘이 특정 인종의 얼굴을 인식하지 못하고, 자동화된 채용 알고리즘이 특정 성별과 출신 대학을 기준으로 차별하는 현실은 단순한 기술적 오류가 아니다. 그것은 인간의 편견이 기계의 논리 속에 은밀히 이식된 결과이며, 인간의 무지와 무관심이 데이터의 구조 속에 그대로 반영된 것이다. 이 문제는 기술의 실패가 아니라, 인간 윤리의 실종이다.

약자와 소수는 더 소외된다. Sora

이러한 문제 앞에서 인간은 어떻게 응답할 수 있는가. 미국의 조이 불라무이니가 주도한 알고리즘 정의 연합(AJL)의 사례는 하나의 대안적 실천을 제시한다. 그녀는 얼굴 인식 기술의 편향을 지적하며, 그것이 단순한 기계의 한계가 아니라 인간 사회의 구조적 편견이 기술을 통해 강화되는 방식임을 보여주었다. 특히 흑인 여성의 얼굴을 인식하지 못하는 기술의 오류는, 데이터셋의 구성과 설계자의 시선이 얼마나 배제와 망각으로 점철되어 있는지를 드러낸다. 그녀는 기술의 공정성을 외치는 대신, 기술이 누구의 얼굴을 지우고 있는지를 묻는다. 그 질문은 윤리적 성찰의 출발이자, 기술의 민주화를 위한 정치적 개입의 첫 걸음이다.

이러한 움직임은 개인의 윤리적 양심을 넘어, 제도와 정책의 언어로도 확장되고 있다. 2021년 유네스코는 ‘AI 윤리 권고안’을 193개국의 만장일치로 채택했다. 이는 인공지능을 단지 산업의 수단이 아닌, 인류 공공선을 위한 기술로 재정의하려는 최초의 글로벌 약속이었다. 인간 중심, 책임성, 포용성, 투명성 등의 원칙은 단지 선언적 가치를 넘어 실제 정책과 법 제도의 기준이 되어야 하며, 기술이 사회와 문명에 미치는 영향을 사전에 숙고하는 일종의 ‘윤리적 예측 능력’을 요구한다.

유럽연합은 이러한 원칙을 바탕으로 세계 최초의 AI 법안을 통과시켰고, 위험 기반 접근이라는 기준 아래, 인간의 생명과 권리에 심각한 위해를 가할 수 있는 기술들을 규제하거나 금지하는 시도를 시작했다. 동시에 AI4People과 같은 민관 공동 플랫폼에서는 과학자, 윤리학자, 철학자, 정책가, 시민단체가 함께 기술의 윤리적 방향을 논의하고 조율하고 있다. 한국이 참여 중인 GPAI(Global Partnership on AI) 역시 기술의 공동 거버넌스를 지향하는 국제적 흐름의 일부다. 이들은 기술이 더 이상 특정 집단만의 소유물이 아니라, 사회 전체가 감시하고 통제해야 할 공적 대상임을 명확히 보여준다.

기업 내부에서도 이러한 윤리적 전환을 위한 시도들이 조심스럽게 시작되고 있다. 대표적으로 OpenAI와 같은 선도 기업들은 자체 테스트의 한계를 넘어 외부 연구자 및 레드팀과의 협업을 통해 AI의 잠재적 위험을 사전에 점검하고 있으며, 일부 기업은 윤리적 감수성을 강화하기 위한 윤리 자문 위원회를 도입하고 있다. 기술의 투명성과 개방성은 이제 경쟁력이 아니라 신뢰의 전제조건이 되었고, 기술을 통해 인간을 해방시키겠다는 약속은 그 자체로 계약의 대상이 되어야 한다.

기술 이전의 윤리의 네트워크가 우선이다. Sora

하지만 선언만으로는 충분하지 않다. 우리는 교육과 제도를 통해 이 윤리를 사회의 구조 속에 뿌리내리게 해야 한다. 대학은 인공지능을 잘 ‘쓰는’ 법이 아니라, 그것을 어떻게 ‘질문할’ 것인지를 가르쳐야 하며, 중등 교육에서도 기술 리터러시를 넘어 윤리적 사유의 기초를 형성할 수 있는 교과 내용이 도입되어야 한다. 더 나아가 지방정부와 공공기관 수준에서 시민, 기술자, 정책가가 함께 참여하는 윤리 위원회를 구성함으로써, 기술에 대한 감시와 신뢰, 설명 가능성과 책임성을 제도화할 필요가 있다.

또한 기술 개발 기업에 대한 외부 접근권과 감사 권한을 보장하는 감시 구조의 정비 역시 시급하다. 자율 규제는 이미 그 한계를 드러냈고, 진정한 의미에서의 투명성과 책임성은 외부의 감시와 참여 없이는 성립할 수 없다. 알고리즘을 설계하는 사람들의 성별, 인종, 계층적 배경이 시스템의 결과에 영향을 미친다는 사실은 더 이상 학술적인 가설이 아니다. 그것은 사회적 현실이며, 그 현실을 수정하려는 의지야말로 기술을 넘는 윤리의 출발점이다.

우리는 지금 기술이 아닌 인간의 윤리에 대한 시험대 위에 서 있다. 질문은 단지 회의가 아니다. 질문은 우리가 어떤 존재이고자 하는지를 드러내는 감각이며, 사유이며, 그 자체로 하나의 정치적 행위다. 기술을 다루는 손보다, 기술을 질문하는 입술이 더 필요하다. 인간은 언제나 질문하는 존재였고, 그 질문 속에서만 인간은 인간으로 남을 수 있었다. 이 불확실한 시대에, 우리가 붙잡아야 할 마지막 기술은, 질문하는 능력 그 자체일지 모른다.

---