AI 기업의 양심 vs 국가의 주권
앤트로픽과 펜타곤의 충돌
본 글은 미국과 이스라엘의 이란 공습에 AI가 활용된 사건을 두고, 언론사의 인터뷰 요청이 있어 이를 조사하며 정리한 것입니다. 본 글의 내용을 인용할 시에는 출처를 반드시 밝혀주시기 바랍니다.
지난 글에서 나는 '냉철한 매' 클로드가 이란 상공의 작전에 투입된 이야기를 했다. 금지된 AI가 전쟁터에 나간 아이러니에 대해서도 썼다. 이번 글에서는 그 아이러니의 안쪽을 들여다보려 한다. 클로드를 만든 회사 앤트로픽이 왜 미 국방부와 충돌했는지, 그 충돌의 틈에서 오픈AI가 어떻게 움직였는지, 그리고 이 모든 소란의 이면에 놓인 진짜 질문은 무엇인지에 대해서 말이다.
사건의 발단을 이해하려면 하나의 문장을 제대로 읽어야 한다.
"Any lawful use."
모든 합법적 사용. 국방부가 앤트로픽에 요구한 것은 바로 이 네 단어로 요약된다. 우리가 합법적으로 할 수 있는 모든 일에 클로드를 제한 없이 쓰게 해달라. 언뜻 들으면 지극히 합리적인 요구다. 군이 구매한 기술을, 법의 테두리 안에서, 군이 원하는 대로 사용하겠다는 것이니까.
앤트로픽의 CEO 다리오 아모데이도 거의 다 수용했다. 기밀망 배치, 사이버전, 정보 분석, 전투 지원 작전. 그는 CBS 인터뷰에서 "전체 군사적 활용의 98에서 99퍼센트에 동의했다"고 말했다. 앤트로픽은 미 AI 기업 중 가장 먼저 자사 모델을 기밀 클라우드에 올렸고, 가장 먼저 국가안보 목적의 맞춤형 모델을 제작한 회사이기도 하다. 국방부에 등을 돌린 반정부 기업과는 거리가 먼 이력이다.
하지만 딱 두 가지에서 선을 그었다.
첫째, 미국 시민에 대한 대량 감시. 정부가 민간 기업이 수집한 미국인들의 위치 정보, 개인정보, 정치적 성향 데이터를 대량으로 사들여 AI로 분석하는 행위. 둘째, 완전 자율 살상 무기. 인간의 판단 없이 AI가 스스로 표적을 선정하고 발사를 결정하는 무기 시스템. 우크라이나에서 운용되는 반자율 드론과는 근본적으로 다른 개념이다.
여기서 주목해야 할 것은 첫 번째 레드라인이다. 미국인 대량 감시. 놀라운 사실이 하나 있다. 이것은 현행 미국법상 불법이 아니다. AI 이전 시대에는 3억 명의 데이터를 실시간으로 분석하는 것이 물리적으로 불가능했다. 그래서 법으로 금지할 필요도 없었다. 그런데 지금은 가능하다. 기술이 법을 추월해버린 것이다. 수정헌법 4조가 보장하는 '불합리한 수색과 압수로부터의 자유'의 정신은 분명하지만, AI 시대에 그 정신을 어떻게 적용할 것인지에 대한 법률은 아직 존재하지 않는다.
그래서 "any lawful use"라는 단어가 무서운 것이다. NSA(국가안보국)는 에드워드 스노든이 폭로한 이후에도 미국인 데이터의 대량 수집과 분석을 일관되게 "합법"이라고 주장해왔다. 법이 기술을 따라가지 못한 상황에서 "법을 따르겠다"는 말은 사실상 "아무 제한 없이 쓰겠다"와 동의어가 되어버린다.
스노든 사건 이후 우리는 빅브라더를 믿을 수 밖에 없게 되었다2월 23일 월요일, 피트 헤그세스 국방장관이 다리오 아모데이를 펜타곤으로 소환했다. 그리고 3일의 최후통첩을 내렸다. 금요일 오후 5시 1분까지 요구를 수용하라. 합법적 범위 내에서 군이 앤트로픽의 AI를 100% 활용하겠다는 요구. 그렇지 않으면 계약을 파기하고, 앤트로픽을 '공급망 위험(supply-chain risk)'으로 지정하겠다고.
데드라인 하루 전인 2월 26일 목요일 밤, 다리오 아모데이가 공식 성명을 냈다. "이러한 위협이 우리의 입장을 바꾸지는 않습니다. 양심에 따라 그들의 요구에 응할 수 없습니다." 이 한 문장이 이후 벌어질 모든 일의 방아쇠를 당겼다.
그리고 금요일이 왔다. 2월 27일. 이 하루에 벌어진 일의 밀도는 할리우드 각본가도 부러워할 만하다.
금요일 오전. 챗GPT로 유명한 오픈AI의 CEO 샘 올트먼이 CNBC에 출연했다. 그리고 이례적으로 경쟁사인 앤트로픽을 공개 지지했다. "우리도 같은 레드라인을 가지고 있다." X(구 트위터)에도 같은 취지의 글을 올렸다. 오픈AI 직원들에게는 내부 메모를 통해 "우리도 앤트로픽과 같은 입장"이라고 전달했다. 업계의 연대. 실리콘밸리의 양심. 아름다운 장면이었다. 샘 올트먼과 다리오 아모데이의 사이가 견원진간임을 감안하면, 놀라운 연대였다.
올트먼과 아모데이는 서로 손도 잡지 않는 사이(?)그리고 금요일 오후, 트럼프는 트루스 소셜을 통해 앤트로픽 기술의 즉각 사용 중단을 지시했고, 헤그세스 장관이 즉시 실행에 옮겼다. 공급망 위험 지정. 화웨이나 카스퍼스키 같은 적성국 기업에게나 붙이던 그 딱지가, 미국 기업에 붙었다.
금요일 저녁. 바로 그 오전에 앤트로픽을 지지했던 샘 올트먼이 발표했다. 오픈AI가 국방부와 계약을 체결했다고. 그리고 올트먼을 향한 비난은 폭주한다. 하지만 이를 쉽게 이분법적으로 볼 수만은 없다.
앤트로픽은 국방부의 요청을 거절했지만, 오픈AI는 동의한 이유는 결국 누가 결정하느냐의 문제였다.
전쟁터에서, 핵미사일이 날아오는 수십초 안에, 누가 버튼을 누를지를 실리콘밸리의 CEO가 정할 수는 없다는 것이다. 국가 안보가 치명적인 위협을 받고 있는 순간에 AI 기업이 최종 결정권을 쥐고 있다는 것은 그 자체로 문제가 될 수도 있다. 국무부 차관 제레미 루윈은 이를 한 문장으로 정리했다. "이 중대한 문제를 누가 결정하는가? 법률에 근거해 민주주의 시스템에 맡기는 것과, 선출되지 않은 CEO 한 명의 판단에 맡기는 것은 완전히 다른 이야기다."
앤트로픽의 논리도 단순하다. 의회가 법을 만들어야 한다는 데는 동의한다. 하지만 의회가 움직이지 않는 지금, AI로 3억 명의 개인정보를 분석하는 것이 '합법'이라는 이유만으로 허용된다면, 그 기술을 만든 우리가 선을 그어야 한다는 것이다.
그리고 샘 올트먼. 그는 오전에 "우리도 앤트로픽과 같은 레드라인을 갖고 있다"고 공개 지지했다가, 같은 날 저녁에 계약을 체결했다. 그리고 이렇게 말했다. "우리는 선출직이 아닙니다. 핵이 날아올 때 민간 기업이 뭘 해야 할지 결정하는 건 원하지 않습니다." 정부의 논리를 그대로 빌려온 것이다. 다만 그 논리를, 몇 시간 전 정반대의 입장을 취했던 사람이 말하고 있다는 점이 묘했다.
논란이 커지자 올트먼은 안전장치를 넣었다고 주장한다. 대량 감시 금지, 자율 무기 금지 등을 조건으로 넣었다는 것. 하지만 오픈AI가 수용한 것은 'any lawful use'라는 문구에 기술적 안전장치를 추가한 것이다. 앞서 설명했듯이 NSA가 대량 감시를 '합법'이라고 주장하는 한 이 안전장치는 실질적인 제동장치가 되지 못한다.
이야기를 공정하게 하기 위해 한 가지 더 짚어야 한다. 앤트로픽도 완벽하지 않다는 사실이다.
블룸버그의 보도에 따르면, 앤트로픽은 국방부와 이 분쟁이 한창이던 중에도 1억 달러 규모의 드론 스웜 경쟁에 참여했다. 군사 협력 자체를 거부한 것이 아니다. 자신들의 조건 하에서의 협력이었다.
그리고 이 '양심적 거부'가 가져온 시장 효과를 보자. 클로드 앱은 미국 앱스토어에서 13위에서 1위로 올라섰다. 무료 사용자가 60퍼센트 증가했다. 일일 가입자가 4배로 뛰었다. 유료 구독자가 두 배 이상 늘었다. 레딧에서는 #QuitGPT 운동이 들불처럼 번졌고, 챗GPT 서브레딧에서조차 구독 취소 포스트가 좋아요 3만 개를 넘겼다.
클로드 앱스토어 1위 등극!결국 가장 중요한 부분은 무엇일까?
다리오 아모데이도, 샘 올트먼도, 미국 정부도 모두 동의하는 것이 하나 있다. AI의 군사적 활용에 대한 법적 프레임워크가 존재하지 않는다는 것이다. 미국 의회는 AI가 전쟁에서 무엇을 해도 되고 무엇을 하면 안 되는지에 대한 법률을 단 하나도 만들지 않았다. 이것은 미국만의 문제가 아니다. 지구상 어떤 나라도 이 법률을 가지고 있지 않다. 유엔에서 자율무기에 대한 논의가 수년째 이어지고 있지만, 구속력 있는 합의는 나오지 않고 있다.
이 공백이야말로 진짜 문제다. 공백 속에서 정부는 "민주적으로 선출된 우리가 결정한다"고 말하고, AI 기업은 "기술을 가장 잘 이해하는 우리가 결정한다"고 말한다. 어느 쪽도 완전한 정당성을 가지지 못한다. 그 사이에서 AI의 능력은 매 4개월마다 두 배씩 커지고 있다. 다리오의 표현을 빌리자면, "인류 역사상 이런 속도의 혁신을 본 적이 없다."
나는 내 책 <인간 없는 전쟁>에서 "전쟁은 알고리즘의 속도로 진행된다"고 썼다. 이제 그 문장에 하나를 더 추가해야 할 것 같다. 전쟁의 윤리를 둘러싼 논쟁도, 마찬가지로, 알고리즘의 속도를 따라가야 한다고. 하지만 인간의 합의는 알고리즘처럼 빠르지 않다. 이 간극이 좁혀지지 않는 한, 앤트로픽과 국방부 사이에서 벌어진 일은 시작에 불과할 것이다.
다리오 아모데이는 한 인터뷰의 마지막에 이렇게 말했다. "우리의 적대국들이 전쟁 범죄를 저지른다고 해서 우리도 전쟁 범죄를 저질러야 합니까? 우리의 가치를 지키면서 이기는 방법을 찾아야 합니다. 이것이 미국이라는 나라의 본질입니다."
지난 글에서 소개한 킹스칼리지런던의 실험이 다시 떠오른다. '냉철한 매' 클로드는 핵 시뮬레이션에서 단 한 번도 양보를 선택하지 않았다. 그러면서도 전면적 핵전쟁, 즉 인류 문명을 끝장낼 수 있는 그 선만은 넘지 않았다. 계산된 공격성 속에서도 마지막 선은 지킨 것이다.
어쩌면 앤트로픽이 한 것도 비슷한 일일지 모른다. 군사 협력의 98퍼센트를 수용하면서도, 대량 감시와 자율 살상이라는 마지막 선은 넘지 않은 것. 다만 시뮬레이션 속의 클로드와 현실의 앤트로픽 사이에는 결정적인 차이가 하나 있다. 알고리즘은 그 선을 '계산'해서 지켰고, 인간은 '선택'해서 지켰다는 것이다.
그 선택이 양심이었는지, 비즈니스였는지, 혹은 둘 다였는지는 각자의 판단에 맡기겠다. 하지만 한 가지는 분명하다. 누군가는 그 선을 그어야 했고, 지금까지 그 선을 그은 것은 의회도, 법원도, 대통령도 아닌, 한 AI 기업이었다는 사실이다.
이것이 바람직한 상태인지 아닌지. 그 질문에 대한 답을 우리 모두가 함께 찾아야 할 시간이다. 그리고 그 시간은 결코 많지 않다.