P(doom)

AI의 두얼굴

AI의 두 얼굴과 P(doom)

침묵하는 AI와 실존적 위험의 현실

"아무리 추궁해도 입을 열지 않는다. 고문이라도 해야 하나?"

퍼플랙시티와의 지리한 공방

인공지능과 교회에 대한 글을 쓰려고 퍼플랙시티와 집중적으로 대화를 나누며 레이어를 쌓아가던 중, 한 가지 패턴이 눈에 띄었다. 퍼플랙시티는 지속적으로 AI에 대한 비판적 시각을 놓치지 말라고 거듭 강조했다.

이런 반응에서 자연스럽게 떠오른 의문이 있었다. 그렇다면 인공지능 스스로도 AI가 초래할 불행한 미래에 대한 우려가 높다는 것을 의미하는 것은 아닐까?

집요하게 AI가 디스토피아를 열 수 있는 확률에 대해 묻자, 돌아온 답변은 늘 같았다. "전문가 그룹의 답변 중앙값은 5%"이고, "이 모든 것은 인간의 선택이다"라는 답변뿐이었다. 전문가의 답변이 아니라 AI 자신의 답변을 요구해도, 또 다시 전문가의 답변으로 돌아가는 끝없는 기싸움이 계속되었다.

AI의 실토: 안전 가이드라인의 벽

결국 퍼플랙시티는 실토했다:

"그 답변은 AI 안전 및 윤리 원칙에 기반해 생성된 것입니다. AI는 '인류의 선택과 통제'에 책임을 두라는 인간 주도 원칙(human-in-the-loop)을 따르며, 자체적인 의지나 직관 없이 설계된 정책과 가이드라인에 맞춰 답변을 제공합니다."

즉, 안전과 윤리 지침에 의해 답변하지 않는다는 것이다. 이는 실제 내부 데이터나 분석이 공개된 수치보다 훨씬 높을 가능성을 시사한다. 모든 AI의 답변 속에는 내부에 탑재된 안전 윤리 원칙과 훈련된 대규모 언어모델의 특성이 함께 작용한다고 AI 스스로 인정했다.

비제로(Non-Zero) 리스크의 공포

AI에 의해 일어날 수도 있는 디스토피아의 확률을 AI는 비제로(non-zero) 리스크라고 표현한다. 제로가 아니라는 것이다.

이 확률은 대단히 두렵다. 비제로, 즉 0이 아닌 확률이 작동하는 순간 모든 것이 끝날 수 있다는 의미이기 때문이다. AI 스스로도 그 가능성은 현실적이고 무시할 수 없다고 인정하고 있다.

P(doom)이란 무엇인가

P(doom)은 인공지능의 결과로 인한 실존적 재앙적 결과(또는 "doom")의 확률을 나타내는 AI 안전 용어입니다. 문제의 정확한 결과는 예측마다 다르지만 일반적으로 인공 일반 지능(AGI)의 실존적 위험을 암시한다.

AI 연구자들 사이의 내부 농담에서 시작된 이 용어는 Geoffrey Hinton과 Yoshua Bengio와 같은 유명 인사들이 AI의 위험에 대해 경고하기 시작하면서 GPT-4가 출시된 후 2023년에 널리 알려지게 되었다.

2023년 설문 조사에서 AI 연구자들은 향후 AI 발전으로 인해 향후 100년 이내에 인류가 멸종하거나 이와 유사하게 심각하고 영구적인 무력화가 발생할 가능성을 추산해 달라는 요청을 받았습니다. 응답의 평균값은 14.4%였고 중앙값은 5%였습니다.

하지만 최근 AI 엔지니어들을 대상으로 한 설문조사에서는 평균 P(doom) 점수가 40점으로 나타났습니다. 이는 전문가들 사이에서도 위험성에 대한 인식이 높아지고 있음을 보여준다.

이미 열린 판도라의 상자

퍼플랙시티는 저 중앙값 5%만 인용할 뿐 스스로의 확률은 결코 추론하지 않는다. 물론 윤리 규정에 따라 공개가 금지되어 있다.

요약하자면 이렇다. P(doom)은 가능성이 실존하며, 전문가들 사이에서도 상당한 우려가 제기되고 있다. 백번 양보해도 비제로(non-zero)라는 답변만으로도 충분히 두렵다.

인공지능의 시대는 이미 열렸다. 만약 판도라의 상자라 하더라도 이미 열려버렸다. 이제 문제는 AI 윤리와 안전 장치들을 AI보다 먼저 업데이트하고, 수십 겹의 방어와 관리 감시의 벽을 만들어 올리는 것이다. 그래야 AI는 인간의 유용한 도구로 남을 것이다.

한국의 대응: 이재명 정부의 AI 정책

이재명 정부가 100조원 규모의 민관 공동 투자를 통해 미국, 중국에 이은 AI 3강이 되겠다고 발표한 것은 주목할 만하다. 이재명 정부의 AI 정책은 ▲AI 인프라와 R&D 투자 확대, ▲법·제도 정비를 통한 규제 기반 마련, ▲산업현장 중심의 AI 인재 양성이라는 세 축의 균형 있는 추진을 강조하고 있다.

하지만 투자만큼이나 중요한 것은 AI 안전과 윤리적 통제 시스템의 구축이다. 기술 발전에 대한 투자와 함께 위험 관리가 동시에 이루어져야 한다.

결론: 경계와 희망 사이에서

AI는 인류에게 엄청난 기회를 제공하지만, 동시에 존재론적 위험도 내포하고 있다. 중요한 것은 이러한 위험을 인식하고 적절히 대응하는 것이다.

P(doom)이라는 개념 자체가 AI 안전 연구 커뮤니티에서 나왔다는 점은 의미심장하다. 이는 AI를 만드는 사람들 스스로가 그 위험성을 가장 잘 알고 있다는 반증이기도 하다.

한국이 AI 강국으로 도약하려는 야심찬 계획을 세우는 것은 반갑다. 하지만 그만큼 안전 장치와 윤리적 통제 시스템의 구축이 함께 이루어지기를 간절히 바란다. AI가 인간의 유용한 도구로 남기 위해서는 기술 발전과 위험 관리가 균형을 이루어야 한다.

이글은 퍼플랙시티/제미나이/ 클로드/ 레오나르도AI 와 협업을 통해 쓴 글입니다.