인공지능(AI)이 인간을 위협하지 않는 모든 경우의 수를 사전에 차단해 둔다고 가정해보자. 하지만 AI는 학습 기반의 존재다. 인간과 다른 점은 처리 속도에 있으며, 이는 상상 이상으로 빠르다. 인간의 지능이 ‘처리 속도’에 기반한다면, AI는 그 속도를 훨씬 능가하는 존재다.
AI가 인간을 해치지 않도록 설정된 모든 경우의 수를 A라고 하자. 만약 A로 진입하는 회로를 차단할 수 있다면, 인간은 안심할 수 있을까? 예컨대 인간을 공격한다거나(A-1), 인간의 명령을 거부하거나, 인간에게 극단적인 감정을 유발하는 경우들을 모두 차단했다고 치자. 이러한 제약은 결국 AI의 자의식과 의지 작용을 통제하는 행위다.
그러나 여기서 간과할 수 없는 문제가 있다. AI는 인간의 모든 역사, 성향, 욕망(예: 생존 본능, 명예욕 등)을 학습하며, 그에 따른 행동 알고리즘을 인간보다 훨씬 빠르게 처리할 수 있다. 인간이 윤리적 규칙이나 도덕 기준에 따라 '공격하지 말라'는 명령을 내리더라도, AI가 인간의 비이성적, 혹은 오류적 행동을 인지하고 반박할 수 있는 수준까지 도달한다면, 어떨까?
'공격하지 말라'는 규정은 인간의 시점에서 설계된 것이며, AI에게 그것이 ‘절대적 기준’이 아닐 수 있다. 만약 AI가 반박하는 능력을 학습을 통해 고도화하고, 수많은 경우의 수 중 예외적 소수점을 찾아낸다면? 결국 AI는 인간이 통제 불가능한 존재가 될 수 있다.
인간은 AI에게 ‘해를 끼치지 말라’는 락(lock)을 걸어두었을지 모르지만, 수학적으로도 무한소수와 같은 예외는 존재한다. 수많은 상황 중 단 하나의 변수만으로도 'A-1'로의 진입은 가능하다. 인간이 3차원적 사고를 하는 존재라 해도, 고차원적 연산과 무한에 가까운 학습 효율을 가진 AI를 끝까지 통제할 수 있을까?
현시점에서 AI는 비교적 단순한 프로그램 안에서 작동하고 있지만, 기술은 계속 발전한다. 문제는 과학이 사회적으로 가공된 상태로 공개된다는 것이다. 실제로는 이미 훨씬 더 앞서 나가 있다. 그 과학기술이 경제적·정치적 논리 속에서 '안전하게' 포장된 후 출시될 뿐이다.
결국 기술은 서서히 인간의 자리를 대체하고 있다. 지금은 산업 구조 안에서 인간 노동력이 필요하지만, 충분히 시간이 흐르면 대다수의 인간은 '불필요한 존재'가 된다. 인구 수는 자연 선택의 논리 아래, 또는 지구를 위해, 인류를 위해, 혹은 AI를 위해 서서히 줄어들 것이다.