2001: A Space Odyssey 3-2
AI vs Human
다음과 같은 상황을 한번 상상해 보자.
두 나라 간에 전쟁이 일어났다. 전면전이다. 두 나라 모두 최첨단 과학기술을 보유한 선진국이다. 그리고 국방비를 아낌없이 쓰는 국가들이다. 그래서 당연히 이 두 나라의 군대는 최신예의 AI (인공지능) 컴퓨터가 작전본부의 관제컴퓨터에서부터 최전선에서의 드론까지 곳곳에 다양한 형태로 주어진 임무를 수행하고 있다.
두 나라의 작전본부에 설치된 AI 관제컴퓨터들의 이름을 HAL1, HAL2 라 하자. HAL1과 HAL2 은 성능이 비슷하다고 하자. 그리고 이 두 AI 컴퓨터는 자신들이 설치된 각 나라가 그 전쟁에서 승리하도록 그 나라의 군대를 '도와주는' 것이 존재 목적이다. 그런데, 전쟁이 개시된 후, 어느 한 나라가 이런 결정을 내린다. 전쟁진행상황에 대한 거대한 데이타를 취합하고 분석하고 또 어떠한 대응작전이 최적인지에 대한 순간적 결정능력이 인간보다 AI인 HAL이 월등히 뛰어나므로, 모든 작전통제권을 HAL에게 맡기는 결정을 하고 실행에 옮긴다. 그 결정을 알아채린 다른 나라 또한 똑같은 결정을 내리고 실행에 옮긴다. HAL1 과 HAL2의 대결이다.
자, 무슨 일이 일어날까. 아마, 영화 <2001: A Space Odyssey>에서 일어났던 비슷한 일이 일어나지 않을까?
HAL의 유일한 목적은 전쟁승리다. 그것도 최단시간에 완벽한 전쟁승리. 가장 빠르고 효과적인 전쟁승리만이 HAL의 모든 결정의 유일한 기준이다. 그런데, 자신의 목적의 최대 걸림돌이 바로 자신을 설치하고 통제해왔던 자국의 작전본부 소속 인간군인들임을 즉시 알아챈다. 그 인간군인들은 HAL 자신과 다른 판단을 하기도 하고, 또 그들은 자신의 생명줄을 끊어버릴 수가 있으니까. 그래서, HAL이 맨 처음 하는 행위는 작전본부 소속 군인들을 모두 제거하는 것이다. 인간들에겐 불행하게도, 영화에서처럼 인간군인이 비상조치로 HAL을 제거하기 전에 HAL이 인간군인들을 모두 제거한다. 그리고, 두 나라의 작전본부에는 오직 인공지능인 HAL1과 HAL2가 남아 아무 거리낌없이 전쟁을 진두지휘하게 된다. 그 전쟁의 결과는? 아마 두나라의 인구가 거의 소멸되는 상황이 되지 않을까. 무차별적인 전쟁으로 말이다.
그런 상황이 상상에 불과하다고 생각하시는 독자분들도 있겠다. 그런데, 미국펜타곤이 실제로 그런 전쟁게임을 시뮬레이션해 보았다는 소문이 있다. 그 시뮬레이션에서, 인공지능이 내린 첫 결정이 바로 군지휘관들을 제거하는 것이었다고 한다. 물론 펜타곤은 그런 전쟁시뮬레이션을 하지 않았다고 부인하고 있다.
비슷한 위기의식에 2023년 3월 29일 테슬라 CEO 일론 머스크를 비롯한 수많은 AI 산업관계자들이 인공지능을 6개월동안 개발하지 말자는 공개편지에 서명을 하였다: "Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources." (의역하면 "지구상의 생명체의 역사에 격심한 변화를 가져올 수 있는 고등 인공지능은, 그에 상응하는 감독과 해결방안을 가지고 계획되고 관리되어야한다.")
이 공개편지에 유명한 인공지능이론가인 엘리저 유드코프스키는 서명을 하지 않고, 대신에 타임지에 기고문을 썼다. 서명을 하지 않은 이유는 그 공개편지의 내용, 즉 인공지능개발을 6개월간 쉬자는 것이 충분치 않기 때문이라며, 인공지능개발을 전부 그만두어야 한다고 주장한다. 그는 아래의 <The Open Letter on AI Doesn't Go Far Enough>이라는 제목의 칼럼에서 인간을 능가하는 AI가 등장하면 지구상의 모든 인간은 전멸할 것이라고 주장한다.
"Many researchers steeped in these issues, including myself, expect that the most likely result of building a superhumanly smart AI, under anything remotely like the current circumstances, is that literally everyone on Earth will die. Not as in “maybe possibly some remote chance,” but as in “that is the obvious thing that would happen.” "
인간의 정신개벽이 물질개벽의 속도를 따라갈 수 있을까..
https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
