AGI의 존재론적 위협과 기후위기
종말을 향한 인류의 잰걸음
1. AGI 등장에 대한 우려
챗GPT가 가져온 충격에 의하여 AI의 인류에 대한 위협과 관련한 논의가 보다 대중화되고 있다. 어떠한 질의에도 답변할 수 있고, 스스로 개선하며 발전할 수 있는 범용인공지능이 가지는 위험성에 대하여는 생각보다 꽤 오래전부터 경고가 이루어져왔던 것으로 보인다. 하지만 지금까지는 그런 위협이 있다한들 먼 미래의 일이라고 여겨졌었다면, 챗GPT를 통하여서 그러한 위협이 생각보다 한층 가까워져있다고 느끼게 되었다. A
GI가 인간지능을 뛰어넘을 때의 문제는 결국 인간사회가 중요한 결정을 할 때, 자신보다 더 적확한 판단을 하는 AI에 점점 의존적이 될 것이라는데 있다. 인간종속적이던 AI가 어느 순간 AI가 인간이 의도한 바를 벗어나거나 또는 인간이 지정한 목표 달성에 적합한 수단이지만 인간복리에 반하는 방법론을 택할 때 인간이 이를 알아차리거나 대응할 수 없게 될 것이기 때문이다. 이러한 현상을 인간과 AI간의 이해의 합일(Alignment)가 깨진 상태라고 볼 수 있다.
이러한 Alignment의 깨짐이 발생하였음을 인간이 인지하게 되는 단계에는 이미 AI가 인간의 통제를 벗어나 스스로를 계속하여 개선해 나가고, 인간보다 빠르고 정확한 대응으로 자신에 대한 견제를 우회하거나 무력화 할 수 있을 것이기 때문에 궁극적으로 인간이 자신을 지키기 위해서 할 수 있는 것이 아무것도 없는 상황에서 AGI의 성향과 태도에 운명을 맡기게 될 것이란 우려가 있는 것이다.
그리고, AGI가 도래한다면 설정된 목표 달성을 위해서 인간에 대한 고려를 하지 않을 것이란 확신도 이러한 변화에 대한 두려움을 가중시킨다.
2. 기후변화의 위험성에 대한 경고와의 유사성
AI의 위협에 대한 논의는 기후변화의 위험성에 대한 논의의 진행방향과도 상당한 유사성을 보인다.
두 주제 모두
(i) 경험적으로는 검증이 어려우나 논리적, 이론적으로는 큰 틀에서의 흐름이 예측이 가능하다는 점,
(ii) 실제 위협이 현실이 되는 순간에 대한 전이 속도에 대한 정확한 판단이 어렵다는 점, 그리고 이에 따라 예측한 위협 진행 속도보다 느리게 전개되는 혹은 느리게 전게된다고 느끼는 경우 위협에 대한 경보 자체가 다소 예측에 편차를 보인 것이 아니라, 틀렸다고 치부되기 쉽다는 점,
(iii) 실제 문제의 규모와 속도와 영향력에 대하여서는 불확실성이 큰데, 예상된 결과가 실현될 경우의 영향력은 전지구적이고 파괴적이므로 불확실성에도 불구하고 이른 시점에 개입이 필요한 문제라는 점,
(iv) 인간의 태생적으로 미래를 낙관하고자 하는 성향에 의해서, 최악을 가정하고 협력하에 이에 대응하는 것이 어렵다는 점,
(v) 대응을 위해서는 지구적 차원의 국제적 연대와 협력이 필요한데 서로 경쟁관계에서 이해타산을 따지는 주체들간에 충분한 수준의 협력을 달성하기 어렵다는 점
이 겹치는 부분이기 때문이다.
또, AI와 기후위기 모두 산출된 결과물이 시스템의 작동을 더욱 촉진시키는 양성 피드백 고리 (positive feedback loop)적인 특성을 가지고 있어서, 일단 흐름이 형성된 후에는 되돌이키기가 매우 어렵다는 점에서도 유사하다.
3. AGI의 위험성에 대한 간단한 사고실험
이건 꼭 기후위기를 예로 들어야 하는 것은 아니지만, 우리가 기후위기와 AI의 위협을 비교하며 이야기하고 있으므로 아래에서 간단한 사고 실험을 해보자.
인류가 기후위기에 대응하기 위한 최적화된 정책과 경제적 선택을 하기 위하여 고도로 학습시킨 AI를 활용한다고 가정해보자. 처음에는 인간이 AI에게 목적을 제시하고 그에 맞는 결론을 도출하기를 요구하는 정도일 것이고, 그러한 결론을 집행하는 것은 인간일 것이다. 하지만 AI가 점점 진화함에 따라서 AI는 부여된 목표를 달성하기 위한 제반 행위를 스스로 집행할 수 있게 되는 지점이 온다고 가정해보자.
이때 기후위기 극복이라는 목표 달성을 위해서 인구감소 및 인간복리의 감소가 필요하다고 '논리적'인 결론이 도출된다면 AI가 그러한 결론을 실행하기 위한 조치들을 취하지 않을 이유가 없다. AI는 인간과 달리 모든 수단을 동원해서 어떻게든 인간고통을 줄이는 것이 목적인 주체는 아니기 때문일 것이다. 즉, AI와 인간의 이익이 합일(align)되어있지 않기 때문이다. 또 설사 AI가 집행을 직접 하지 않는다고 해도, 그 정도 수준이 된다면 AI가 내린 결론에 인간이 이를 거부하는 선택을 할 수 있을까? 그것이 인간보다 뛰어난 최적화 과정을 통해서 도출한 우월한 결론이라고 하는데.
이러한 위험을 피하기 위하여 AI가 인간복리의 증진과 인간고통의 감소라는 목표에 ALIGN 되도록 처음부터 유도하고 통제해야 한다고 한다. 하지만 진정한 의미에서 자생적으로 발전하는 AI/AGI가 도래한다고 했을 때 이를 미리 예측하고 변수를 통제할 수 있을까?
여기에 대하여 크나큰 불확실성이 있는 것이고, 우리가 합일화 (alignment)에 실패했을 때의 위험성은 인류의 자율적인 정치경제적 판단의 종말, 더 나아가 인류의 존속에 대한 처분이 AI에게 맡겨지는 결과가 되는 것이다.
4. 가용한 조치와 대응의 어려움
그렇다면 AI가 인간의 통제범위를 벗어나기 전에 그 잠재적 발전방향이 인간복리 및 고통감소와 일치화 되도록 합일화 (alignment)를 진행해야 하는데, 사실 그것을 어떻게 달성해야 하는 지는 아무도 아는 사람이 없다.
그렇다면 AI 개발에 대한 규제를 통해서 이런 목적을 달성할 수 있냐고 하면 그것 역시 미지수다. 우선 앞서 말한 것처럼 어느 수준까지의 AI 가 안전한 수준인 것인지, 어느 방향으로 개입하고 안정장치를 두어야 인간에 유해한 AI로 진화하지 않을 것인지에 대하여 우리가 현 시점에서 알 방법이 없기 때문이다. 인간은 대부분 이러한 기술적 난관을 경험을 통해서 수정하고 극복하여 왔다. 그렇지만 이 주제와 관련하여서는 많은 사람들이 실수와 경험을 통해서 안전한 수준을 파악할 때 쯤에는 이미 AI가 통제 수준을 벗어나있을 것이라고 우려를한다.
이에 더하여 서로 경쟁하고 있는 정부 및 경제주체들이 자신들이 잠재적 이익을 포기하고 자율적으로 협력하여 기술개발을 자제해야 하는데, 이것이 결코 쉽지 않다. 더 강한 AI를 먼저 개발하는 쪽이 경제와 권력에 있어서 우위를 점할 것이고, 결국 생산수단으로서 강AI를 소유하느냐 못하느냐가 유산계급과 무산계급을 가르게 될 것인데, 그렇다면 종국적으로 파국으로 치닫더라도 단기적으로 최적화된 선택은 먼저 강AI를 개발하여 소유하는 것이기 때문이다. 그렇지 못하였을 때에는 경쟁에서 도태될 수 밖에 없음
따라서 근원적으로 협력이 어려운 사안이다. 우리가 기후위기의 모든 국면을 상당 수준으로 예측하면서도 여전히 화석연료를 태우고, 경제를 지속 성장시키며, 기존과 같은 방식으로 에너지를 생산하고 소비하는 것을 멈출 수 없는 것과 같은 이치이다.
기존에는 인간 집단에 닥치는 이러한 위기들이 국지화 되어 있었다. 하지만 이제는 우리가 진정으로 글로벌화된 지구를 살아가면서 어느 한 집단의 문제는 곧 우리 모두의 문제가 되어버렸다. 우리는 전지구적인 판데믹을 맞아 어떤 부분에서는 공동체로서 성공하였고 어떤 부분에서는 실패하였다. 다만 코로나 대응은 부분적 성공으로도 그 위험성과 영향력을 감소시킬 수 있었다면, 기후위기나 Ai의 폭주는 부분적 성공으로는 너무나도 불충분하다는 것이 결을 달리하게 하는 지점이다.
보통은 묵시론적 예측들은 틀리는 경우가 더 많아왔다. 하지만 우리의 '행운'은 언제까지 지속될 것인지는 아무도 알 수 없는 일이다.
