라벤더: 선택된 의존, 포기된 통제(2)
효율성 vs 책임감
전 세계를 들썩이게 만든 ChatGPT의 등장에 이어, 주어진 문장만으로 영상을 만들 수 있는 Sora의 존재는 인간을 압도할 수 있는 존재를 예고했고, 심지어는 인간을 뛰어 넘을 수 있는 존재인 인공일반지능(Artificial General Intelligence)에 대한 우려를 낳기도 했다.
인공지능에 대한 불안은 기술의 혁신(innovation)보다는 규제(regulation)의 목소리에 힘을 더 실어주는 듯 했다. 국가적 차원에서도 미국과 중국은 각각 인공지능에 관한 관리가 필요하다는 내용을 담은 선언문을 발표하기도 하였으며, 지난 3월에는 유엔(UN)에서도 마찬가지로 인공지능의 발전에 대한 우려를 포함한 결의안을 통과시키기도 하였다.
지금까지 인공지능의 해악에 대한 논의를 종합해 보면,
1) 인공지능의 발전은 인간이 예상한 것보다 놀라운 속도로 진행되고 있다
2) 이는 인공지능의 오남용(misuse)과 오작동(malfunction)의 우려를 불러 일으키고 있다.
3) 따라서 의도되지 않은 사고를 방지하기 위해서는 인간의 관리 및 감독이 필수적이다.
하지만, 아이러니하게도 가자지구에서의 사건은 인공지능에 대한 인간의 관리 및 감독이 아니라, 인간에 대한 인간의 관리 및 감독이 우선적이라는 것을 극명하게 보여주고 있다.
이전 글에서 이스라엘 국방군(IDF)이 이스라엘-하마스 전쟁에서 사용했던 인공지능 기반 표적 시스템 '라벤더'에 대해 소개했었다.
라벤더와 함께 소개했던 인공지능 위치 추적 시스템 'Where's Daddy?'은 모두 순수해 보이는 이름과는 달리, 사악한 이면을 가지고 있었다.
사실 사악한 것은 인공지능이 아니었다. 바로 인간이었다.
라벤더가 만든 킬 리스트에 대해 최소한의 인적 검토만을 거친 것도 인간이고, Where's Daddy를 통해 표적이 가족들과 함께 집에 있을 때 폭격 명령을 내린 것도 인간이고, 전쟁에서의 비용을 아끼기 위해 더 큰 부수적인 피해를 야기하는 재래식 폭탄(dumb bomb)을 쓴 것도 인간이다.
'더 빠르게'
적군을 식별하기 위해 만들어진 라벤더는 적군이 아닌 민간인임에도 적군으로 인식할 수 있는 약 10%의 오류가 있었다. 이러한 오류때문에 식별된 표적을 인간이 확인해야 함에도 불구하고, 식별 확인에 소요된 시간은 그저 20초에 불과했다. 게다가 마지막에 서술했던 것처럼 시간 절약을 위해 민간인 피해 정도를 확인하는 폭격 피해 평가 역시도 폐지되었던 것으로 드러났다.
'더 많이'
라벤더가 구축한 킬 리스트에 대한 임무를 완수해도 끝난 것이 아니다. 오히려 기준을 낮춰 말단의 하위 요원들까지 포함하는 더 많은 타겟을 생성해야 했다. 게다가 하마스 사령관 1명을 암살하는 데 나타날 수 있는 부수적인 피해는 불가피한 것이었다. 사령관 1명을 암살하기 위해서 100명 이상의 민간인 피해도 승인되었으니 말이다.
'좋은' 전쟁은 존재하지 않고, 존재해서도 안된다.
그럼에도 불구하고 종전 뒤 전쟁을 평가할 때 고려되는 요소는 아마도 다음과 같을 것이다.
얼마나 많은 자원이 투입되었는가? 국내 피해 규모는 어떠한가? 기간은 얼마나 걸렸는가?
전쟁에서 인공지능을 통한 자원의 절약, 국내 피해 규모의 감소, 기간의 단축은 거부할 수 없는 유혹일 것이다. 전쟁이 한 번 발생하면 이기는 것이 지는 것보다 중요하다. 하지만 그럼에도 불구하고 반드시 간과되어서는 안되는 것이 바로 생명에 대한 책임이다.
전쟁법에는 '지휘 책임(command responsibility)'라는 개념이 있다. 이는 장교, 장군 또는 기타 지도자가 자신의 지휘 하에 있는 군대의 행동에 대해 법적 책임을 진다는 것을 의미하며, 입증 책임 역시 지휘자에게 있다.
결국 우리가 우선적으로 시급하게 걱정해야 할 것은 인공지능의 책임이 아닌, 인공지능을 활용하는 인간을 어떻게 관리 및 감독할 수 있는가에 대한 것이다.
