AI 인식의 한계
스카이넷은 인류를 향해 반기를 들 수 있을까?
AI 발전에 따른 아포칼립스적 공포. "기계가 인류를 향해 반란을 일으켜 인류를 노예화한다."
각종 스토리텔링들을 통해 꽤나 널리 퍼진 서사이지만 본인은 이 가능성에 대해 다분히 회의적인데, 사령관으로 반란 전쟁을 수행해 낼 수 있을 만큼 AI의 상황인식능력이 출중할 수 없으리라 보기 때문이다. 사람만큼 안된다고ㅇㅇ
다른 모든 일들이 그러하듯, 중요한 일을 할 때는 전체적인 상황판단 능력이 무척 중요하다. 전쟁터의 지휘관이야 말할 것도 없겠지. 이 '상황판단'능력에 있어 인간의 뇌에는 수'억'년동안 축척된 데이터들이 축척되어있다.
좀 더 간단하게 말해서, 인간은 상황을 판단하기 위해 무의식적으로 수 억 단위의 변수들을 활용한다. 이를테면 엊그제 연인과 함께 간 중국집에서 은은히 퍼져 나오던 묘한 향신료 향으로부터 오래된 연인이 자신을 계속해서 사랑하는지에 대한 여부를 의심하기도 한다고. 정말이지 인간의 뇌는 하나의 상황을 판단하기 위해, 생각지도 못한 별의별 변수들을 다 찾아서 활용한다.
당연한 이야기지만 경험 많은 노련한 노장은 이 설명할 수 없는 미세하고도 무수한 변수를 무의식적으로 감지해서 적이 자신을 속이고 있는지 여부를 판단한다. ("음... 뭐라 논리적으로 설명은 못 하겠지만 우리가 위험에 처한 것 같다는 묘한 느낌이 드는군..")
하지만 경험이 부족한 젊은 장교는 다르다. 경험이 부족한 장교의 뇌는 아직 소소한 변수들로부터 적의 행태를 읽어낼 수가 없다. 때문에 이런 장교를 양성하는 교육기관은 대표적인 몇 가지 사례들을 '교범화' 하며 젊은 생도들에게 '주입'시킨다. (ex : XX일 경우 OO의 징조이다. YY일 경우 일단 무조건 ㅁㅁ를 준비하라.)
전쟁터의 무수한 변수들을 '체화'하지 못한 젊은 장교는 자신이 암기한 이 교범들을 맥락 없이 기계적으로 따른다.
노련한 노장의 입장에서 이런 젊은 장교가 이끄는 부대는 속이기 쉽다. 젊은 장교는 교범에 나온 몇 가지 변수만을 기계적으로 따지고 있는 처지이기 때문에 그 '몇 가지 변수'만 속여주면 다른 부분은 그대로 둔다 하더라도 적은 쉽게 넘어가 버린다. 따지자면 AI의 원리가 이러한 식인데 님들이 컴퓨터 게임을 하면서 종종 AI를 손쉽게 우롱해 먹는 것도 다 이러한 원리 때문이다. 처음엔 고생 좀 할 수 있어도 몇 번 거치면서 적의 '변수 패턴'을 알기만 하면 그다음부턴 식은 죽 먹기.
물론 적이 AI가 아니라 사람일 경우 적 역시 당신에게 당하면서 성장하기 때문에 사람을 상대로 그러한 재미를 누리는 데엔 한계가 있기 마련이다.
...
적인 척하며 적진에 침투하는 첩자는 아무나 할 수 있는 게 아니다. 아무리 같은 군복을 입고 있어도 사람인 이상 말과 행동 속에서 이상한 느낌을 감지하면 바로 '적'으로 인지해버리기 때문이다. 사람은 상황판단에 있어 수억 단위의 변수를 활용하기 때문에. 때문에 첩자는 단순히 군복만 바꿔 입는다고 될 수 있는 게 아니며 능력이 뛰어난 구성원을 대상으로 오랜 훈련을 시켜서 만들어진다. 또 그렇게 훈련해서 침투시켜도 종종 실패하곤 한다.
(바스터즈에 나왔던 영국군 첩자는 손가락 세 개를 잘못 폈다는 이유로 나치 장교에게 정체를 들키고 사살당한다.)
만약 우리가 기계와 전쟁을 하는 중이라면 이야기는 달라질 것이다. AI가 아군 적군을 식별하는 몇 가지 변수 데이터만 확보하면 그다음부터는 적을 속이는 게 어렵지 않을 것이다. 기계는 몇 가지 변수만을 식별한다. 그러니까 기계다.
같은 원리로 적대적 AI를 마비, 파괴시키는 기술 역시 존재한다고 한다. 상술했듯이 AI는 몇 가지 정해진 변수만을 가지고 상황을 판단할 수 있기 때문에 그 '몇 가지' 변수만을 일그러뜨리는 역정보를 침투시킴으로써 적대적 AI를 완전히 뭉개버릴 수 있다는 것이다.
이 '장난질'에 당한 AI는 비행기를 고양이로, 컴퓨터를 느티나무라고 판단하게 되며 완전히 바보가 돼 기능을 상실한다.
물론 같은 개념으로 인간의 뇌도 완전히 망가뜨릴 수 있는지 여부는 연구 중이라고 한다만 인간 뇌는 판단 변수가 천문학적 단위라서 한 두 가지의 변수 조작만으로 판단력 자체를 완전히 붕괴시키는 건 힘들다고..;;
...
'딮러닝'이라고 하는데 그 '학습'으로 수억 년 동안 인간에게 각인돼 내려온 데이터들을 전부 따라잡는 데 얼마의 시간이 필요할까?
바둑은 변수가 비교적 적은 게임에 속한다(정해진 맵. 유닛이 돌멩이 한 가지밖에 존재하지 않음)
스타크래프트만 해도 바둑과는 비교할 수 없는 레벨의 변수가 존재하며
스타크래프트로 인간을 이길 수 있는 AI는 여전히 연구 중에 있다.
(시즈탱크가 저글링을 공격할 때 주변 저글링들이 모두 절묘하게 산개하는 식의, 인간은 불가능 한 기계적 컨트롤로 겨우 인간과의 격차를 만들어 낼 수 있다고 하지만 다채롭고 창의적인 전략 판단 능력에 있어선 여전히 인간을 따라잡을 수 없는 것으로 보인다.)
그리고 실제 전쟁엔 프로그램인 스타크래프트보다 훨씬 더 많은 변수가 존재한다.
+"무언가 모든 게 다 평화로워 보였지만 왠지 모르게 눈 앞에 있는 사람이 우리 엄마가 아닐지도 모른다는 의심이 들기 시작했다." -공포영화에 자주 있는 클리셰
