AI 위험요인 — '기술' or '사람'?
미, '프론티어 AI' 거버넌스를 통해 본 위협/위법 요소
'완전 자율 무기 시스템', '국내 대량 감시' 문을 연 미국의 AI 정책
— 엔스로픽 AI Claude 배제로 촉발된 AI 운용 이슈 살펴보기
2026년 2월 27일, 미국 국방부DoD는—당시 행정부 지침에 따라 ‘전쟁부’라는 명칭도 함께 사용되던 상황에서—인공지능 분야의 선도 기업인 엔스로픽Anthropic PBC을 국가 안보에 대한 ‘공급망 위험Supply Chain Risk’ 기업으로 공식 지정했습니다.
이 조치는 미국 역사에서 매우 이례적인 사건으로 평가됩니다. 왜냐하면 주요 프론티어 AI 랩이 외국의 적대 세력과 연계되지 않았음에도 불구하고, 자국 정부에 의해 안보 위협으로 규정된 첫 사례이기 때문입니다.
오늘의 주제는 이러한 결정 배경이 무엇인지를 살펴보고, 엔스로픽이 국방부의 ‘무제한적 기술 사용’ 요구를 거부한 이유를 분석하고자 합니다. 특히 이 회사가 끝까지 고수하고자 했던 두 가지 핵심 레드라인에 주목하고자 합니다.
첫째는 완전 자율 무기 시스템Fully Autonomous Weapons(FAW)에 인공지능을 통합하는 문제였고,
둘째는 국내 대량 감시Mass Domestic Surveillance 체계에 기술을 제공하는 문제였습니다.
이 두 사안과 관련하여, 엔스로픽이 어떤 기술적 판단과 윤리적 원칙, 그리고 전략적 고려를 바탕으로 이러한 입장을 유지해 왔는지를 살펴보려는 것입니다. 동시에 이 논의를 통해, 우리가 반드시 지켜야 할 원칙이 무엇인지를 다시 한 번 성찰하고 확인해 보려는 목적도 담겨 있습니다.
1.
미국이 처한 조치 — 공급망 위험 지정
법
—
엔스로픽을 ‘공급망 위험 기업’으로 지정한 사건은 단순한 계약 분쟁의 차원을 넘어섭니다.
이것은 민간 기술의 통제권을 둘러싼 국가 권력과 기술 기업 사이의 구조적 갈등이 표면으로 드러난 사례라고 볼 수 있겠습니다. 특히 국방부가 동원한 법적 근거와 행정 조치들은 앞으로 AI 거버넌스가 어떤 방향으로 전개될 것인지를 가늠하게 하는 중요한 선례가 될 것으로 보입니다.
먼저 법적 근거를 살펴보면, 미국 정부는 두 가지 핵심 법률을 활용했습니다.
하나는 연방 취득 공급망 보안법(FASCSA)이고, 다른 하나는 미국법전 제10권 제3252조(10 U.S.C. § 3252)입니다. 특히 10 U.S.C. § 3252는 국방부 장관에게 국가 안보 시스템을 보호하기 위해 특정 공급자를 조달 과정에서 배제할 수 있는 광범위한 권한을 부여합니다. 이 조항은 사법적 검토가 제한적이라는 점에서 매우 강력한 도구로 평가됩니다. 실제로 이 법은 엔스로픽의 AI 모델인 클로드Claude를 군사 네트워크와 정보 플랫폼에서 즉각적으로 배제하는 근거로 활용되었습니다.
여기에 더해 FASCSA는 공급망 위험이 확인될 경우 그 조치를 연방 정부 전반으로 확대할 수 있는 권한을 제공합니다. 그 결과 국방부뿐 아니라 재무부나 국무부 등 민간 행정 기관들까지 엔스로픽 제품 사용을 중단하도록 하는 근거가 마련되었습니다.
또 하나 언급된 법률이 국방물자생산법DPA입니다. 이 법은 국가 방위를 이유로 민간 기업의 자원과 생산을 강제로 동원할 수 있는 권한을 정부에 부여합니다. 이번 사안에서는 AI 모델에 적용된 안전 가드레일을 제거하도록 압박하는 잠재적 수단으로 거론된 것으로 보입니다.
이 법률들의 공통된 핵심 기준은 ‘적대 세력Adversary’이 시스템의 설계나 운영을 방해할 위험이 있는가라는 점입니다. 국방부의 해석에 따르면, 엔스로픽이 군의 요구를 거부하고 AI 모델에 윤리적 가드레일을 삽입한 행위 자체가 군의 지휘 체계와 작전 효율성을 제한하는 ‘내부적 방해’와 유사한 효과를 낳는다고 판단되었습니다.
결국 이 사건은 AI의 통제권과 윤리적 경계를 누가 설정할 것인가라는 근본적인 질문을 던지는 사례가 되었습니다.
맥락 — 정치적
—
전통적으로 공급망 위험 지정은 화웨이, ZTE(중), 카스퍼스키(러)와 같이 외국의 적대적 정보기관과 연계된 기업을 대상으로 적용되어 왔습니다.
그러나 이번 엔스로픽 사례는 그와는 성격이 다릅니다.
엔스로픽은 미국에 본사를 둔 기업이며, 2024년 이후에는 국방부의 기밀 네트워크에서 운용된 유일한 프론티어 AI 모델로서 일정한 신뢰를 받아 왔습니다.
그럼에도 불구하고 이러한 강도 높은 조치가 취해진 데에는 분명한 배경이 있습니다.
클로드는 베네수엘라의 마두로 대통령 체포 작전과 이란 공습 작전 과정에서 핵심적인 역할을 수행했습니다. 그럼에도 엔스로픽은 향후 ‘무제한적 기술 사용’ 계약—즉 군이 AI를 어떤 방식으로든 제한 없이 활용할 수 있도록 하는 계약—에 서명하기를 거부했습니다.
2.
위협 — 1) 완전 자율 무기 시스템(FAW)
엔스로픽이 국방부의 요구 가운데 가장 단호하게 거부한 부분은,
클로드를 인간의 개입이 완전히 배제된 자율 무기 시스템의 의사결정 엔진으로 사용하는 문제였습니다.
이 결정은 그저 그런 윤리적 선언만이 아니라, 현대 대규모 언어 모델LLM이 지닌 구조적 한계와 신뢰성 문제를 고려한 기술적 판단에 근거한 선택이라고 볼 수 있습니다.
본질적 불안정성
—
대규모 언어 모델은 본질적으로 확률적Probabilistic 시스템입니다. 특정 입력값 (x)가 주어졌을 때 출력값 (y)를 생성하는 과정에서, 모델은 다음과 같은 조건부 확률 분포를 추정합니다.
여기서 (Ɵ)는 모델의 파라미터를 의미합니다. 중요한 점은,
모델의 출력이 논리적으로 검증된 결론이라기보다 통계적으로 가장 가능성이 높은 토큰들의 연속이라는 사실입니다. 다시 말해, 언어 모델은 세계를 이해한 뒤 결정을 내리는 시스템이라기보다, 확률적으로 그럴듯한 다음 문장을 생성하는 시스템에 가깝습니다.
엔스로픽은 바로 이 점이 생사가 갈리는 전장 환경에서 치명적인 위험을 초래할 수 있다고 경고합니다. 특히 두 가지 문제가 핵심적으로 지적됩니다.
첫째는 환각Hallucination 현상입니다.
LLM은 문맥상 매우 그럴듯하지만 사실과 다른 정보를 생성하는 오류를 완전히 제거할 수 없습니다. 전장에서 이러한 오류가 발생한다면 상황은 매우 심각해집니다. 예를 들어 AI가 민간인 거주지를 무기 저장 시설로 오인하거나, 혹은 항복 의사를 공격 준비로 잘못 해석하여 자율적으로 타격 결정을 내리는 경우, 이는 곧바로 국제 인도법IHL 위반으로 이어질 수 있습니다.
둘째는 보정되지 않은 불확실성Uncalibrated Uncertainty의 문제입니다.
현재의 AI 모델은 자신이 확실히 알지 못하는 상황에서도 “모른다”라고 말하기보다는 확신에 찬 어조로 추정하는 경향을 보입니다. 엔스로픽의 연구에 따르면, 이러한 현상은 모델의 학습 목표 자체와 관련이 있습니다. LLM은 다음 토큰을 예측하는 방식으로 훈련되기 때문에, 정확한 답을 찾기보다는 통계적으로 가장 그럴듯한 표현을 만들어내도록 설계되어 있기 때문입니다. (혹, 이번 미-이 전쟁 첫날, 이란 여자초등학교 오폭이 이 원인?)
지난 3월 3일(현지시간) 이란 남부 도시 미나브에서 미·이스라엘의 초등학교 공습으로 사망한 182명의 어린이들의 무덤을 파고 있는 모습. UPI연합결국 이러한 구조적 특성 때문에, 엔스로픽은 인간의 통제 없이 AI가 무기 사용 결정을 내리는 체계는 기술적으로도, 윤리적으로도 수용할 수 없는 위험을 내포하고 있다고 판단한 것입니다.
검증 불가능성 및 맥락 무시 — Lethal Trifecta 1)
—
국방부가 자율 무기 체계에 인공지능을 도입하려는 가장 중요한 이유는, 전장에서의. OODA 루프Observe–Orient–Decide–Act를 인간이 따라갈 수 없는 속도로 가속화하기 위해서입니다. 즉, 관찰하고 판단하고 결정을 내리고 행동하는 전 과정을 극도로 빠른 속도로 자동화하려는 것입니다.
그러나 엔스로픽은 바로 이 ‘속도’ 자체가 새로운 위험의 근원이 될 수 있다고 경고합니다.
첫 번째 문제는 검증 불가능성입니다.
AI가 몇 초 안에 수백 개의 표적을 식별하고 타격 승인을 요청하는 상황이 되면, 인간 오퍼레이터는 사실상 그 판단을 제대로 검토할 수 없습니다. 결국 인간의 역할은 AI의 결정을 확인하는 것이 아니라 단순히 승인 도장을 찍는 ‘고무도장’ 절차로 전락하게 됩니다. 실제로 최근 분쟁 사례—예를 들어 가자 지구에서의 군사 작전—를 보면, AI 기반 표적 식별 시스템이 사용될 때 오퍼레이터가 표적을 검토하는 평균 시간이 약 20초에 불과했던 것으로 보고됩니다. 이런 환경에서는 필연적으로 오탐률이 상승하고 민간인 피해가 급증할 위험이 커집니다.
두 번째 문제는 맥락 이해의 부재입니다.
AI는 대규모 데이터에 기반한 패턴 인식에는 매우 강력한 능력을 보이지만, 전장의 복잡하고 유동적인 상황 속에서 형성되는 사회적·법적 맥락을 이해하는 능력은 갖고 있지 않습니다. 예를 들어 병원이나 학교 인근에서의 교전 규칙, 혹은 적군과 민간인이 뒤섞여 있는 도시전 환경에서는 단순한 확률 계산만으로 판단할 수 없는 요소들이 존재합니다. 그러나 AI는 통계적 최적화에 따라 행동할 뿐, 국제 인도법이 요구하는 ‘구별distinction’과 ‘비례성proportionality’의 원칙을 실제 상황 속에서 판단하고 내면화하는 능력을 갖고 있지 않습니다.
결국 엔스로픽의 주장은 명확합니다. 전쟁에서 AI가 문제인 이유는 단순히 기술이 강력하기 때문이 아니라, 그 기술이 너무 빠르게 작동하여 인간의 판단과 책임을 사실상 무력화시킬 수 있기 때문이라는 것입니다.
기술적 신뢰성 척도와 헌법적 AI
엔스로픽은 자사 AI 모델의 신뢰성과 위험성을 평가하기 위해. ‘시스템 카드’와. ‘책임 있는 확장 정책’이라는 내부 기준을 운영하고 있습니다. 이를 통해 모델의 능력과 한계를 투명하게 공개하고, 기술이 어느 수준까지 사용될 수 있는지를 단계적으로 관리하려는 것입니다.
예를 들어 클로드 4.1 오퍼스 모델은 고도로 숙련된 전문가가 수 시간에 걸쳐 수행하는 복잡한 작업을 처리할 수 있을 정도의 성능을 갖추고 있습니다. 그러나 엔스로픽의 공식 입장은 분명합니다.
이러한 능력에도 불구하고, 생명과 직결되는 실시간 자율 시스템을 운용하기에는 아직 “충분히 신뢰할 수 있는 수준이 아니다”라는 것입니다.
또 하나 주목할 점은, 엔스로픽이 독자적으로 개발한 ‘헌법적Constitutional AI’ 프레임워크입니다. 이 접근법은 모델이 따라야 할 명시적인 윤리 원칙들을 학습 과정에 직접 삽입하는 방식입니다. 다시 말해, AI가 단순히 데이터를 통해 행동을 학습하는 것이 아니라, 일종의 ‘헌법’에 해당하는 규범적 원칙을 기준으로 스스로의 응답을 조정하도록 설계된 것입니다.
이 헌법에는 예를 들어 “살상력을 지닌 자율 시스템에 대한 통제권을 AI에 맡기지 않는다”는 지침과 같은 원칙이 포함되어 있습니다.
그러나 국방부의 관점에서 보면, 이러한 설계는 위험하거나 불합리하다는 겁니다. 국방부는 이를 민간 기업이 국가의 주권적 군사 결정에 대해 사실상의 ‘거부권’을 행사하는 구조로 해석했고, 바로 그 점을 공급망의 ‘취약점’으로 규정한 것입니다.
결국 이 논쟁의 핵심에는 근본적인 질문이 제기됩니다.
AI의 사용 한계를 어디까지 설정할 것인가, 그리고 그 경계를 누가 결정할 것인가라는 문제입니다.
3.
위협 — 국내 대량 감시 허용의 위험성
두 번째 핵심 갈등은 AI를 활용한 감시 역량의 범위를 둘러싼 문제였습니다.
국방부와 정보기관은 엔스로픽에 대해 “모든 합법적 목적을 위해” 자사의 AI 기술을 제공해야 한다고 요구했습니다. 그러나 엔스로픽은 분명한 선을 그었습니다. 특히 미국 시민을 대상으로 하는 대량 감시 시스템에 자사 기술이 통합되는 것은 받아들일 수 없는 명확한 레드라인으로 설정한 것입니다.
결국 이 지점에서 갈등이 두드러집니다.
AI 기술이 어디까지 국가 권력의 감시 도구로 사용될 수 있는가라는 근본적인 질문, 그것입니다.
우려 — 멀티모달 AI를 통한 전방위적 프로파일링
—
엔스로픽이 특히 우려하는 지점은, 클로드와 같은 프론티어 AI 모델이 멀티모달 능력을 갖추고 있다는 사실입니다. 즉 텍스트뿐 아니라 음성, 이미지, 비디오 등 다양한 형태의 데이터를 동시에 처리하고 통합할 수 있는 기술적 역량을 지니고 있다는 점입니다.
이러한 능력은 기술적으로 매우 강력하지만, 동시에 감시 체계와 결합될 경우 심각한 위험을 낳을 수 있습니다.
예를 들어 AI는 서로 흩어져 있는 데이터를 결합해 개인의 행동 패턴을 자동으로 분석하고 예측할 수 있습니다. 또한 CCTV 영상, 소셜 미디어 정보, 금융 기록 등을 실시간으로 통합하면 공공 공간에서 사실상 상시 감시 체계가 구축될 가능성도 있습니다. 더 나아가 수백만 건에 이르는 통신 기록과 이동 데이터를 자동으로 요약하여 ‘관심 인물’을 선별하는 대규모 감시 시스템도 기술적으로 가능해집니다.
엔스로픽의 경고는 분명합니다.
현대 AI는 개별적으로는 무해해 보이는 수많은 데이터 조각들을 결합해 개인의 삶에 대한 포괄적이고 침해적인 프로파일을 자동으로 만들어낼 수 있다는 것입니다. 이러한 기술이 무분별하게 사용될 경우, 이는 결국 미국 헌법 제4조가 보장하는 ‘불합리한 수색과 압수로부터의 보호’라는 원칙 자체를 훼손할 위험을 내포하고 있습니다.
우려 — '합법적 목적'의 모호성과 기술적 오용
—
미국 정부는 행정명령 12333호나 FISA(외국인정보감시법) 702조에 따라 수집된 데이터에 AI 분석을 적용하는 것이 법적으로 정당한 행위라고 주장합니다. 그러나 엔스로픽과 여러 시민 자유 단체들은 이 문제를 훨씬 더 신중하게 바라봅니다. 실제로 정부가 ‘부수적 수집’이라는 명목 아래 미국 시민의 데이터를 영장 없이 대량으로 수집하고, 여기에 AI 분석을 결합하는 행위의 적법성은 여전히 논쟁의 대상이기 때문입니다.
엔스로픽의 입장은 비교적 분명합니다.
자신들이 정부의 감시 프로그램을 승인하거나 통제하려는 ‘최종 결정권자’가 되려는 것이 아니라, 최소한 자사의 기술이 민주주의적 가치에 반하는 방식으로 사용되지 않도록 하는 계약적 가드레일을 유지하려 했다는 것입니다.
특히 현재와 같이 AI 기술의 발전 속도가 법률과 제도를 앞질러 가는 상황에서, 기업이 스스로 이러한 안전 장치를 제거한다면 그것은 결국 권력에 의한 과도한 통제—일종의 ‘독재적 방식의 감시 체계’—에 협력하는 결과가 될 수 있다는 판단이 경영진 내부에서 작용한 것입니다.
4.
원칙을 지킨 결과는 매우 '아팠다'
엔스로픽이 ‘공급망 위험 기업’으로 지정된 사건은 AI 산업 전체에 매우 강력한 메시지를 던진 사건이라고 볼 수 있습니다. 핵심 신호는 분명합니다. “국가 안보 임무에 협조하지 않는 기업은 시장에서 배제될 수 있다”는 경고인 것입니다.
이 사건 이후 가장 빠르게 움직인 기업은 오픈AI였습니다.
엔스로픽과 국방부의 협상이 결렬된 지 불과 몇 시간 만에 오픈AI는 국방부와 기밀 업무 수행을 위한 대규모 계약을 체결했습니다. 이미 2024년 초 오픈AI는 기존의 ‘군사 및 전쟁 용도 금지’ 조항을 삭제하고, 대신 ‘인간 개입’ 방식의 군사 활용을 허용하는 정책으로 전환해 국방부의 요구 조건을 사실상 수용한 상태였습니다. 그 결과 오픈AI는 단기간에 국방부의 핵심 AI 파트너로 부상하게 됩니다.
반면 엔스로픽은 자율 무기 시스템과 국내 대량 감시에 대한 명확한 레드라인을 유지했고, 그 대가로 연방 정부 계약에서 단계적으로 배제되는 상황을 맞게 되었습니다. 동시에 구글과 마이크로소프트와 같은 기업들은 범용 클라우드 인프라를 통해 간접적으로 군사 AI 생태계에 참여하며, 엔스로픽이 남긴 시장 공간을 확대하려는 움직임을 보이고 있습니다.
또 하나 중요한 요소는 글로벌 규제 환경입니다.
엔스로픽은 자사 모델이 유럽연합의 AI 규제 등 국제 표준을 충족하는 방향으로 운영되기를 원했습니다. 만약 미국 국방부만을 위한 ‘가드레일 없는 특수 모델’을 만들었다면, 클로드는 글로벌 시장에서 정부 감시 도구로 인식될 위험이 있었고, 이는 대기업 고객 기반을 잃는 결과로 이어질 수 있었습니다.
결국 엔스로픽의 선택은 분명했습니다.
단기적인 정부 계약보다, 글로벌 시장에서 “중립적이고 신뢰할 수 있는 AI”라는 브랜드 정체성을 유지하는 길을 택한 것입니다. 그들의 정책과 행보를 지지하고 응원하는 바입니다.
5.
결론 및 향후 전망
엔스로픽이 ‘공급망 위험 기업’으로 지정된 사건은, 프론티어 AI 거버넌스에서 나타날 수 있는 가장 극단적인 형태의 민관 갈등을 보여주는 사례라고 할 수 있습니다.
엔스로픽이 자율 무기 시스템과 대량 감시 체계에 기술 제공을 거부한 배경에는 세 가지 요소가 복합적으로 작용했습니다.
첫째는 확률적 AI 시스템이 지닌 구조적 불안정성입니다. 대규모 언어 모델이 본질적으로 확률 기반으로 작동하는 만큼, 생사가 갈리는 상황에서 발생할 수 있는 오작동의 위험을 무시할 수 없다는 기술적 판단이 있었습니다.
둘째는 민주주의적 가치와 헌법적 권리에 대한 우려입니다. AI가 자율 무기나 대량 감시 체계에 결합될 경우, 시민의 기본권과 공적 자유가 심각하게 침해될 수 있다는 윤리적 판단이 작용했습니다.
셋째는 경영 전략적 고려입니다. 글로벌 규제 환경—특히 유럽연합의 AI 규제 체계—을 준수하고, 동시에 세계 최고의 AI 연구 인재들을 유지하기 위해서는 기업의 윤리적 기준을 분명히 유지할 필요가 있었던 것입니다.
이 갈등은 앞으로 사법부의 판단에 따라 새로운 국면을 맞이할 가능성이 큽니다.
엔스로픽은 국방부의 조치가 “보호된 표현에 대한 보복”이며, 적법한 절차 없이 특정 기업을 처벌하는 “사법권 찬탈”에 해당한다고 주장하며 소송을 제기했습니다.
이 소송의 결과는 결국 근본적인 질문에 대한 답이 될 것이기에 주목됩니다.
"인공지능이라는 강력한 이중용도 기술을 누가 통제할 것인가."
"기업이 설정한 윤리적 헌법이 우선하는가, 아니면 국가의 주권적 명령이 우선하는가."
단기적으로 보면, 국방부는 엔스로픽의 공백을 오픈AI나 구글과 같은 기업으로 대체하며 군사 작전의 연속성을 유지하려 할 것입니다. 그러나 장기적으로는 상황이 그렇게 단순하지 않을 수 있습니다. 안전 문제에 가장 민감하게 접근했던 기술 집단이 안보 생태계에서 배제될 경우, 그 결과로 나타날 수 있는 것은 안전 기준의 하향 평준화와 기술적 편향성의 확대일지도 모릅니다.
어쩌면 엔스로픽이 끝까지 지키려 했던 레드라인은, 기술이 통제할 수 없는 살상력을 갖게 되는 미래를 막기 위한 마지막 안전핀이었을지도 모릅니다.
그 안전핀을 유지하려는 엔스로픽의 정책을 지지하면서, 그들의 AI Claude의 사용을 늘릴 것입니다.
얍삽하게 고개 숙인 오픈AI의 행보를 주시할 것입니다.
언제까지 그리할 것인지 말입니다.