AI가 무기화될 때
판단을 기계에 맡겨도 될까?
유발 하라리 내한 강연 250413 : https://www.youtube.com/watch?v=9deB6qoCGaQ
타임스탬프: 00:33:39 ~ 00:36:33
전쟁의 판단이 인간에서 기계로 넘어간다는 것
유발 하라리는 강연 후반부에서 인공지능이 전쟁에 투입되는 방식에 대해 강한 우려를 표합니다.
그는 미래의 전쟁에서는 AI가 점점 더 많은 결정을 내리게 될 것이며, 그 중에는 생사와 관련된 결정도 포함될 것이라고 말합니다.
“What is clear is that as AI is being adopted by more and more armies in future wars, it is almost inevitable that more and more decisions — including life and death decisions — will be made by AI.”
“미래의 전쟁에서 AI가 더 많은 군대에 채택됨에 따라, 생사와 관련된 결정을 포함한 점점 더 많은 결정들이 AI에 의해 내려지게 되는 것은 거의 불가피합니다.”
그는 실제로 최근 이스라엘-가자 지구 전쟁에서 AI가 적대 목표를 선정하고, 인간은 단 몇 초 만에 이를 승인하는 시스템이 운용되었다는 사례를 언급합니다.
과거에는 정보 분석, 목표 식별, 작전 판단까지 모두 사람이 수행하던 영역이었지만, 이제는 수많은 데이터를 바탕으로 AI가 판단을 내리고, 인간은 이를 빠르게 ‘확인’만 하는 구조로 변화하고 있다는 것입니다.
그리고 하라리는 다음과 같이 덧붙입니다.
“The side that waits for humans to verify and vet the AI will lose.”
“AI의 판단을 검토하고 확인하길 기다리는 쪽은 지게 될 것입니다.”
전쟁의 속도는 인간의 도덕적 판단을 기다려주지 않습니다. 결국 ‘속도의 논리’가 ‘판단의 권한’을 기계에게 넘기게 되는 구조가 생겨나고 있다는 경고입니다.
생사 결정은 효율의 문제가 아니다
우리는 이미 드론 공격, 자율 방어 시스템, 탐지 및 추적 시스템 등에서 AI가 실전 무기 체계에 적용되고 있는 현실을 알고 있습니다.
이러한 기술은 인간보다 훨씬 빠른 판단을 가능하게 만들고, 위험을 줄이며, 군사 효율성을 높일 수 있습니다.
하지만 효율성은 판단의 전부일 수 없습니다.
생사 결정은 정확도보다 책임의 문제이며, 그것은 단지 기술적 성능으로 환원될 수 없습니다.
설령 AI가 ‘정확하게’ 목표를 타격하더라도, 그 결정에 책임을 지는 주체가 없다면 그것은 윤리적 공백입니다.
AI는 도덕적 맥락, 정서적 판단, 비정형적 상황 인식, 문화적 이해를 완전히 대체할 수 없습니다.
기계가 ‘사람을 죽여도 되는지’를 판단하고, 인간은 그것을 클릭 한 번으로 승인하게 되는 구조는, 결국 인간의 윤리 감각과 판단 권한을 기술에 외주화하는 일입니다.
우리는 어떻게 대응할 수 있을까?
개인 차원에서는, 시민으로서 AI 무기화에 대한 이해와 입장을 명확히 가져야 합니다.
과학자, 개발자, 병사, 시민 각자가 스스로의 역할에 윤리적 책임을 부여하고, 필요할 경우 거부권을 행사할 수 있는 기준을 고민해야 합니다.
기술을 설계하거나 사용하는 사람에게는, 법적 책임뿐 아니라 도덕적 책임이 함께 따라야 합니다.
정부 차원에서는, 군사 AI 기술의 개발과 사용에 있어 다음과 같은 원칙이 제도화되어야 합니다.
첫째, “의미 있는 인간의 통제(Meaningful Human Control)”가 반드시 보장되어야 하며,
둘째, 자율살상무기(AWS)에 대한 법적 정의와 규제를 명확히 해야 합니다.
셋째, 모든 결정 과정에 윤리위원회와 외부 감시 체계, 그리고 책임소재가 분명한 구조를 포함시켜야 합니다.
국제사회 차원에서는, 생명과 관련된 결정을 기계에게 위임하지 않는다는 공통된 윤리 기준을 정립해야 합니다.
UN이나 국제적십자위원회(ICRC)를 중심으로 LAWS(Lethal Autonomous Weapons Systems) 관련 국제 협약이 마련되어야 하며,
장기적으로는 군사 AI 감시 기구, 무기 체계 추적 시스템 등도 필요할 것입니다.
개발자의 시선에서
저는 AI 모델을 개발하고, 시스템을 설계하는 사람으로서 이 문제를 남 일처럼 느낄 수 없습니다.
우리는 흔히 “기술은 도구일 뿐”이라고 말하지만, 도구는 언제나 사람의 구조 안에서 판단을 대체하고 권한을 이동시켜 왔습니다.
그리고 그 끝이 생사 결정일 수 있다면, 더 이상 ‘도구’라는 말로 책임을 회피할 수는 없습니다.
군사용 AI를 직접 개발하지 않더라도, 기술을 만들고 있는 사람이라면, 어디까지 자동화할 것인가, 판단을 누가 하게 할 것인가, 책임은 누구에게 있는가에 대해 지속적으로 질문하고, 경계해야 한다고 생각합니다.
기술은 중립적이지 않습니다. 우리가 어떤 기준으로 설계하느냐에 따라, 세상은 전혀 다른 방향으로 나아갈 수 있기 때문입니다.
생각해볼 질문
우리는 지금, 생사를 기계에게 맡기고 있는가?
누군가의 생명을 앗아갈 수 있는 권한을 인간이 아닌 AI가 갖게 될 때, 우리는 과연 어떤 책임을 질 수 있을까?
그 질문을 회피하지 않는 태도에서부터, 윤리적 기술의 가능성은 시작될 수 있습니다.
