2. '킬러 로봇'의 방아쇠는 누가 통제하는가?
AI 자율살상무기(LAWS)와 제네바 협약의 미래
"2020년 리비아의 피 튀기는 내전 속, 인류는 이전에 본 적 없는 새로운 종류의 학살을 목격했을지 모른다. 유엔(UN)의 공식 보고서에 따르면 튀르키예산 공격 드론 ‘카르구-2(Kargu-2)’가 인간의 개입 없이 자율적으로 목표물을 추적하고 공격했을 가능성이 제기되었기 때문이다. 만약 이것이 사실이라면, 기계가 스스로의 판단으로 인간을 살상한 최초의 공식 기록이 된다.¹ 이 사건은 자율살상무기, 이른바 ‘킬러 로봇’이 더는 공상과학 소설 속 이야기가 아니며, 인류가 오랫동안 지켜온 전쟁의 규칙과 인간성의 근간이 송두리째 흔들리고 있음을 알리는 서늘한 경고다."
우리는 지금 ‘기계에 살인을 허락할 것인가?’라는 인류 역사상 가장 무거운 질문 중 하나에 직면해 있다. 이 질문에 답하려면 먼저 ‘자율살상무기’의 개념을 명확히 정의하고, 그것이 인류가 쌓아 올린 국제법과 윤리의 성벽에 어떤 균열을 내고 있는지, 그리고 이 거대한 파도 앞에서 우리는 어떤 방패를 들어야 하는지를 냉철하게 성찰해야 한다. 안타깝지만 전망은 그리 밝지 않다. 강대국 국제정치의 비극이 AI 군비 경쟁을 폭주하게 할 가능성이 크기 때문이다. 아슬아슬한 줄다리기 속에서 인류의 미래가 결정될 중대한 시기다.
알고리즘의 십자선 - 기계의 눈으로 인간의 전장을 겨누다
1. 자율살상무기가 꺼림칙한 이유 - HAL 9000의 폭주는 우연이 아니다
자율무기체계(Autonomous Weapon System, AWS)는 일반적으로 인공지능(AI)이 탑재되어 인간의 추가 개입 없이 스스로 표적을 선택하고 교전하는 무기체계를 뜻한다.² 국제인권단체 휴먼라이츠워치(Human Rights Watch, HRW)는 자율성의 수준에 따라 이를 세 가지로 분류한다. 첫째, 인간의 직접 명령에 의해서만 군사목표물을 선택하고 무력을 행사하는 ‘인간 참여형(human-in-the-loop)’, 둘째, 인간이 감독하며 유사 시 개입할 수 있는 ‘인간 감독형(human-on-the-loop)’, 셋째, 인간의 개입이나 상호 작용 없이 목표물을 선택하고 무력을 행사할 수 있는 ‘인간 배제형(Human-out-of-the-loop)’이다.³ 자율살상무기(Lethal Autonomous Weapon Systems, LAWS)는 이러한 자율무기체계 중에서도 가장 높은 수준의 자율성을 바탕으로 인간의 통제를 벗어나 독자적으로 살상 능력을 행사하는 무기를 지칭한다.⁴
자율살상무기(LAWS)는 윤리적·국제법적으로 가장 격렬한 논란의 중심에 서 있다. 인간 조종사가 마지막 순간까지 방아쇠를 통제하는 기존 드론과 달리, 자율살상무기는 ‘킬체인(Kill Chain)’으로 불리는 표적 관측(Observe) - 상황 판단(Orient) - 공격 결심(Decide) - 실행(Act)의 전 과정에서 인간을 배제함으로써 전쟁의 패러다임을 근본적으로 바꾸기 때문이다. 인간의 판단과 윤리적 고뇌가 사라진 자리에 감정 없는 무색무취의 알고리즘 연산이 들어서는 것, 이것이 바로 자율살상무기의 본질이다.
이러한 자율살상무기는 인류가 최소한의 인간성을 지키기 위해 만들어온 국제인도법(國際人道法, International Humanitarian Law, IHL)의 정신을 정면으로 위협한다. 국제인도법은 무력 충돌 시 군사적 필요성과 인도적 고려 사이의 균형을 모색하는 국제 규범으로, 그 핵심은 전투원과 민간인을 구별하여 군사목표물만 공격하고(구별의 원칙), 예상되는 민간인 피해가 구체적⦁직접적인 군사상 이익보다 과도하여서는 안 된다는 데 있다(비례의 원칙).⁵ 19세기 후반부터 헤이그 협약과 제네바 협약 등을 통해 발전해 온 이 원칙들⁶에 대해, 자율살상무기는 ‘과연 기계가 이를 준수할 수 있는가’라는 근본적인 질문을 던진다.
스탠리 큐브릭 감독의 영화 《2001 스페이스 오디세이》에는 지성을 가진 외계인과 접촉할 기회를 독점하려는 미국 정부의 비밀지령을 받은 인공지능 컴퓨터 HAL 9000이 등장한다. HAL 9000은 자신의 진짜 목적을 숨긴 채 우주 탐사선 디스커버리에 승무원들을 태우고 목성을 향해 날아간다. 그렇게 목성을 향하다가 비밀 임무가 들통 날 위기에 처하자 주저 없이 인간 승무원들의 살해에 착수한다. HAL 9000은 어떻게 미국 정부로부터 직접 지시 받지 않은 살인 행동을 스스로 감행할 수 있었을까? 이유는 HAL 9000의 최우선 목표가 인간 승무원 보호가 아닌 ‘외계 문명과의 접촉 임무 완수’였기 때문이다.
영화 얘기를 꺼낸 이유는 우리가 경계할 지점을 명료하게 드러내기 위해서다. 자율살상무기는 아니지만, 영화 속 HAL 9000의 이야기는 인간이 자신의 윤리적 판단을 알고리즘에게 전적으로 위임했을 때 얼마나 큰 위험이 발생할 수 있는지를 단적으로 보여준다. HAL 9000이 인간 보호가 아닌 ‘임무 완수’를 최우선 목표로 움직였을 때 큰 위험이 발생한 것처럼, 자율살상무기가 야기할 진정한 위험은 인간이 국제인도법의 원칙 등 스스로 정립한 윤리적 가치를 배제하고 목표만을 냉혹하게 수행할 때 발생한다.
이러한 우려는 더 이상 영화나 이론에 머물지 않는다. 미국과 중국은 각각 ‘지휘통제 시스템의 지능화’와 ‘지능화 전쟁’을 기치로 내걸고 AI 군비 경쟁에 박차를 가하고 있으며,⁷ 이스라엘은 이미 가자지구에 적의 레이더를 자율적으로 공격하는 무기 시스템을 실전 배치한 경험이 있다.⁸ 그리고 리비아 상공을 배회한 ‘카르구-2’ 드론 사례는 영화에서만 보던 판도라의 상자가 이미 열리기 시작했음을 보여주는 명백한 징후다. 기술의 발전 속도가 법과 윤리의 통제 범위를 벗어나는 순간, 우리는 돌이킬 수 없는 현실과 마주하게 될 것이다.
2. 멈출 수 없는 경주, 강대국 국제정치의 비극
자율살상무기(LAWS)를 둘러싼 국제 논의의 한가운데에는 ‘의미 있는 인간의 통제(Meaningful Human Control, MHC)’라는 개념이 자리 잡고 있다. 2013년 영국의 한 민간단체에 의해 처음 사용된 이 용어는 컴퓨터나 알고리즘이 아닌 인간이 군사작전의 최종 결정권을 갖고 궁극적으로 통제하며 그에 대한 도덕적 책임을 져야 한다는 원칙을 뜻한다.⁹ 하지만 중요한 것은 ‘의미 있는 통제의 구체적인 수준’인데, 이에 대하여는 아직까지 국제적 합의가 부재한 상황이다.
이러한 논쟁이 합의에 이르지 못하는 근본적인 이유는 냉혹한 ‘안보 딜레마’에 있다. 주요 군사 강국들은 경쟁국이 자율살상무기를 먼저 개발해 군사적 우위를 점할 것이라는 공포에 사로잡혀 있다. 국가들이 협력과 협의를 통해 안보 딜레마를 평화롭게 해결하면 얼마나 좋을까? 하지만 역사는 냉전 시기 미국과 소련의 핵 군비 경쟁을 비롯하여, 국가들이 군사적 우위를 놓고 경쟁하는 것을 막는 일이 얼마나 어려운지를 생생하게 전한다.
이러한 딜레마와 관련하여, 존 J. 미어셰이머 교수는 국제정치가 왜 강대국들 간의 끊임없는 군비 경쟁과 갈등으로 이어질 수밖에 없는지를 공격적 현실주의(Offensive Realism) 이론을 통해 설명한다. 이론의 핵심은 “국제체제의 구조 자체”가 국가들을 그렇게 행동하도록 만든다는 것이다. 국가는 자국의 생존을 최우선 목표로 하는데, 무정부 상태의 국제체제에서 각 국가들은 상대 국가의 의도를 알 수 없기 때문에, 생존을 위해 가장 안전한 생존 전략인 ‘공격적인 힘의 극대화’를 추구하게 된다는 것이다.¹⁰ 한 국가가 자신의 안보를 위해 군사력을 증강하면 다른 국가는 이를 위협으로 인식하고 똑같이 군사력을 증강할 수밖에 없다. 예를 들어 중국이 남중국해를 넘어 작전 역량을 확장하는 데 주력할 경우, 대만 입장에서 중국의 군사적 위협에 대응하기 위해 군사력 증강을 추진하지 않을 수 없다. 마찬가지로 일본이 중국, 북한, 러시아의 안보 위협을 명분으로 자위대의 군사력 증강을 본격화한다면, 우리 입장에서 이를 좌시할 수만은 없을 것이다. 결국 모든 국가가 이전보다 더 많은 군비를 지출함에도 불구하고 이러한 안보 딜레마의 악순환 속에서 그 누구도 더 안전해지지 못하는 비극적인 결과가 초래된다.
이렇듯 내가 멈추면 상대가 나를 압도할 것이라는 불신은, 누구도 원치 않지만 누구도 멈출 수 없는 ‘AI 군비 경쟁’을 가속화한다. 실제로 유엔(UN) 산하 특정재래식무기금지협약(CCW)의 자율살상무기체계에 관한 정부전문가그룹(GGE on LAWS)¹¹은 2017년부터 이 문제를 논의해 왔지만, 기술 선도국과 후발국 간의 입장 차이로 인해 구속력 있는 규범 제정에 이르지 못하고 있다. 기술이 윤리를 한참 앞질러 달려 나가는, 브레이크 없는 질주와 같은 위험한 상황이 펼쳐지고 있는 것이다.
자율살상무기가 오작동하여 전쟁범죄를 저질렀을 때 그 법적 책임은 과연 누구에게 물어야 할까? 만약 AI 기반의 핵무기 지휘·통제·통신 시스템¹²의 치명적인 오판 ― 훈련 데이터에 내재된 편향을 그대로 학습하여 정보를 잘못 판단하거나, 훈련 데이터 부족 등으로 ‘환각(hallucination)’을 일으키거나, 적국의 사이버 공격 또는 기만 전술에 의해 오작동할 위험 등 ― 으로 핵전쟁이 발발한다면 그 법적 책임은 누구에게 물을 수 있는가?¹³ 대통령인가, 국방장관인가, 아니면 결함 있는 알고리즘을 설계한 개발자인가? 관련하여 댄 스미스 스톡홀름 국제 평화 연구소(SIPRI) 소장은 “핵무기 발사 결정권이 AI에게 완전히 넘어간다면 우리는 진정한 종말론적 시나리오에 접근하는 셈”이라고 경고한다.¹⁴
이 질주의 끝에서 우리가 마주할 가장 심각한 법적 재앙은 바로 ‘책임의 공백’이다. 시스템을 활성화했을 뿐인 지휘관, 수많은 코드 중 일부를 작성했을 뿐인 프로그래머, 군의 요구대로 납품했을 뿐인 제조사, 그리고 법인격이 없는 기계 그 자체까지, 그 누구에게도 온전한 책임을 묻기 어려운 역설적인 상황. 피해자는 존재하지만 가해자는 없는 이 법의 공백 상태는 전쟁범죄를 처벌하고 억제하는 국제 사법 체계의 근간을 무너뜨리는 심각한 위협이다.
3. 인간의 고삐 - 법과 윤리로 기술의 항로를 정하다
자율살상무기의 완전 자율화에 전적으로 의존하는 것은 인간의 맥락적 이해와 도덕적·윤리적 사유를 포기하는 것과 마찬가지다. 이에 이 거대한 도전에 맞서, 인류는 기술에 법과 윤리의 고삐를 채우려 노력하고 있다.
일각에서는 국제인도법의 원칙들을 AI에 기술적으로 코딩하여 문제를 해결할 수 있다고 주장한다. 예를 들어 ‘구별의 원칙’을 위해 특정 군복이나 무기 형태를 인식하는 알고리즘을 탑재할 수 있다고도 하고, ‘비례의 원칙’을 위해 예상 민간인 피해를 계산하여 공격을 중단시킬 수 있다고도 한다. 그러나 이는 기술의 한계를 간과한 순진한 생각일 수 있다. 예측 불가능한 변수로 가득한 전장의 복잡한 맥락과 인간 생명의 존엄성이라는 가치를 알고리즘으로 환원하려는 시도는 인간의 도덕적 판단을 기계에 위임하는 것으로 귀결되어 인간의 존엄을 훼손할 수 있기 때문이다.
따라서 우리 인류가 무엇보다 먼저 할 일은 제네바 협약으로 대표되는 국제법 체계를 자율무기체계에 맞게 개편하는 것이다. 현실적으로는 기존 조약을 보완하고 새로운 규범을 창출하는 방식이 적절해 보인다. 가령 특정재래식무기금지협약의 틀 안에서 자율살상무기의 개발과 사용을 구체적으로 규율하는 새로운 의정서(Protocol) 채택을 모색할 수 있다. 또한 제네바협약 제1추가의정서 제36조의 신무기 법적 검토 의무¹⁵를 확장하여, 무기의 물리적 성능뿐 아니라 그 작동을 제어하는 알고리즘 자체를 투명하게 검토하도록 의무화해야 한다. 책임의 공백 문제를 해결하기 위해 국가, 제조사, 운용자에게 ‘다층적인 책임’을 부과하는 새로운 법리를 발전시키는 것도 중요한 과제다.
결국 킬러 로봇의 방아쇠를 통제하는 문제는 기술이 아닌 인간 의지의 문제다. 기계에 살상을 위임하는 순간, 우리는 인간성의 가장 중요한 일부를 포기하는 것과 같게 된다. 기술의 효율성이라는 달콤한 유혹에 빠져 통제의 고삐를 놓아버린다면 인류는 스스로 만든 알고리즘의 노예가 되는 비극을 맞이할지도 모른다. 따라서 지금 우리에게 필요한 것은 더 발전된 기술이 아니라, 어떤 경우에도 인간의 존엄성과 생명의 가치를 기계의 판단 아래 둘 수 없다는 확고한 인류적 합의와 이를 관철하려는 국제 사회의 용기 있는 결단이다.
우리의 선택은?
그렇다면 대한민국과 같은 중간 규모의 국가는 이 거대한 체스게임에서 어떤 길을 가야 할까? 우리는 수동적인 추격자가 아닌, 능동적인 ‘규범 설계자’가 되어야 한다. 이런 측면에서 한국이 공동 주최국 자격으로 2024년 9월 서울에서 ‘제2차 인공지능의 책임 있는 군사적 이용에 관한 고위급회의(2024 REAIM 고위급회의¹⁶)’를 개최한 것은 고무적이다. 위 회의에 참가한 62개국은 책임 있는 AI의 군사적 이용을 위한 국제법 준수, 적절한 수준의 인간 통제, AI에 대한 신뢰도와 설명가능성 증진 방안들을 보다 구체적으로 명시한 20개 조항의 「REAIM 행동을 위한 청사진」에 서명하였다. 군수산업 분야의 강자인 우리나라가 경제적 이익을 넘어 국제사회에서 군사 분야 AI 규범에 관한 논의에서도 리더십을 발휘하기를 고대한다.
¹ 이원재⦁지효근, 「자율살상무기(LAWs)의 군사적 활용과 한계에 대한 연구: 자율화 수준과 윤리적․법적 수용성을 중심으로」, 한국군사학논집 제80집 제3권, 2024. 10., 16쪽.
² 유준구, 「자율살상무기체계의 논의 동향과 쟁점」, 국립외교원 외교안보연구소, 2019. 12., 5쪽; 김보연, 「인공지능을 통한 전쟁수행은 정당한가 - 자율무기체계를 통한 국제인도법 준수가능성을 중심으로 -」, 고려대학교 법학연구원, 고려법학 제107호, 2022. 12., 419쪽 각주 17.
³ 김보연, 앞의 논문, 420쪽; Human Rights Watch, “Losing Humanity: The Case against Killer Robots”, November 19, 2012., https://www.hrw.org/report/2012/11/19/losing-humanity/case-against-killer-robots (최종 방문일 : 2025. 7. 18.)
⁴ 조현석, 「인공지능, 자율무기체계와 미래 전쟁의 변환」, 21세기정치학회보 제28집 1호, 2018. 3., 118쪽.
⁵ 국제인도법상 구별의 원칙과 비례의 원칙에 대한 자세한 설명은 김보연, 앞의 논문, 430-436쪽 참조.
⁶ 이러한 원칙들은 1899년과 1907년의 헤이그 육전규칙과 1949년의 4개 제네바 협약 그리고 1977년 2개의 추가 의정서를 통해 성문화되었다.
⁷ 김현중, 「넥스트 오펜하이머 시대: 자율살상무기 발전에 따른 예상쟁점 및 대응방안」, 국가안보전략연구원, INSS 전략보고 No.284, 2024. 9., 1쪽.
⁸ 이상용, 「자율무기의 법과 윤리」, 건국대학교 법학연구소, 일감법학 제56호, 2023. 12., 355쪽.
⁹ 김보연, 앞의 논문, 426쪽.
¹⁰ 존 J. 미어셰이머, 『강대국 국제정치의 비극』, 이춘근 옮김, 김앤김북스, 2017, 74-75쪽.
¹¹ Group of Governmental Experts on emerging technologies in the area of lethal autonomous weapon systems.
¹² AI 기반의 핵무기 지휘·통제·통신(NC3, Nuclear Command, Control, and Communications) 시스템을 말한다.
¹³ Alice Saltini, “The risks of AI integration with NC3” , European Leadership Network, 2023. 4., https://committees.parliament.uk/writtenevidence/120293/pdf/ (최종 방문일 : 2025. 7. 18.)
¹⁴ 이재구, “AI와 핵전쟁···인간은 과연 AI를 제어할 수 있나”, 2025. 6. 23., 테크42, https://www.tech42.co.kr/ai%EC%99%80-%ED%95%B5%EC%A0%84%EC%9F%81%C2%B7%C2%B7%C2%B7%EC%9D%B8%EA%B0%84%EC%9D%80-%EA%B3%BC%EC%97%B0-ai%EB%A5%BC-%EC%A0%9C%EC%96%B4%ED%95%A0-%EC%88%98-%EC%9E%88%EB%82%98/ (최종 방문일 : 2025. 7. 18.)
¹⁵ “신무기, 전투수단 또는 방법의 연구·개발·획득 및 채택에 있어서 체약당사국은 동 무기 및 전투수단의 사용이 본 의정서 및 체약당사국에 적용 가능한 국제법의 다른 규칙에 의하여 금지되는지의 여부를 결정할 의무가 있다.”
¹⁶ REsponsible AI in the Military domain (REAIM) Summit 2024
