AGI가 오고 있다.

AGI(일반 인공 지능)는 무엇인가?

제2의 맨해튼 프로젝트

AGI(Artificial General Iintelligence)가 오고 있다. AGI는 ‘일반’ 인공 지능을 말한다. 그런데 혹자는 ‘범용’이나 ‘종합’ 인공 지능으로 번역한다. 현재까지 AI는 특별한 기능을 가진 AI였기 때문에 ‘특수’ 인공 지능(ANI: Artificial Narrow Intelligence)이었다. 가령 알파고는 바둑을 잘 두는 AI이고, 알파 폴더는 단백질 접힘 구조 예측을 잘하는 AI이고, 챗GPT는 텍스트로 대화를 잘하는 AI이다. 그런데 AGI는 특별한 기능이 아니라 모든 영역에서 인간의 수준에 준하거나 이를 능가하는 AI를 말한다.

지금 전 세계는 AGI를 만들어 내기 위해서 전력 질주를 하고 있다. 이는 2차 대전 말기, 원자폭탄을 만들기 위해서 독일과 미국이 전력질주를 했던 상황과 비슷하다. 그런데 결국 미국이 ‘맨해튼 프로젝트’를 통해서 먼저 원자폭탄을 수중에 넣었고, 이것으로 미국은 2차 세계 대전을 끝낼 수 있었다. AGI는 이 원자폭탄과 비슷한 것이다. 어느 나라든 먼저 AGI를 발명하기만 한다면 그 나라는 지금의 기술, 경제, 군사 패권을 확실하게 장악할 수 있을 것이기 때문이다. 이를 위해서 미국 기업과 정부는 스타게이트(Stargate) 프로젝트를 추진 중에 있다. 여기에 오픈 AI가 주도하고 있고, 소프트뱅크, 오라클 등이 5천억 달러의 투자를 약속하며 협력하고 있다. 이 프로젝트는 2030년까지 미국 내 대규모 데이터 센터 약 20개를 건설하여 AGI 개발을 앞당기는 내용을 골자로 한다. 미국 정부도 참여할 것으로 보인다. 중국은 일찍부터 국가 자본주의 체제를 취함으로써 AGI 개발에 뛰어들었다. 우리나라도 다소 늦기는 하지만 국가 주권 소버린 AI 프로젝트를 추진 중에 있다.

현재의 AI

AGI가 뭐기에 이렇게 각국 정부와 기업이 어마어마한 투자를 하고 있는가? 현재의 ANI는 매우 정적인 환경에서 설계되고 작동한다. 미리 정의된 규칙, 데이터, 그리고 제한된 범위 내에서만 잘 작동하는 것이 지금의 w=인공지능(ANI)이다. 그러나 AGI가 되면 임의의 환경에서 사전에 정의된 규칙이나 데이터, 범위에 구애받지 않고 보다 광범위한 영역과 다양한 환경에서 ‘스스로’ 작동하게 될 것이다. 즉 AGI는 지금의 AI와는 비교도 할 수 없는 자율성과 창의성을 가지는 AI를 말한다.

하지만 잊어서는 안 될 것이 있다. AGI가 된다고 하더라도 AI의 본질은 바뀌지 않는다는 것이다. AI의 본질은 무엇인가? 그것은 ‘문제를 푸는 기계’라는 사실이다. 그런데 AGI는 AI보다 훨씬 심층적이고 복합적인 문제를 풀 수 있게 된다. 이것을 다른 말로 일반화와 범용성이 크게 개선된다는 말이기도 하다.

예를 들어보자. 나는 호주머니에서 스마트폰을 꺼내서, 지도 앱을 열어, 맛집을 검색하여, 운전을 한 뒤, 식당에 도착하여, 음식을 주문하여 먹은 뒤, 음식값을 낸다. 이 일련의 과정은 서로 다른 행동인 것 같지만 ‘맛집 음식을 먹고자 하는’ 하나의 목적에 봉사는 행동들의 집합이다. 하나의 목적에 봉사하는 이 전체의 행동들을 합목적적이라고 할 수 있다.

그런데 지금의 AI는 이러한 합목적적 행동을 하는 데 어려움을 겪고 있다. ANI는 연속적인 의사 결정을 잘하지 못한다. 가령 스마트폰을 꺼냄 -> 지도 앱 오픈 -> 맛집 검색 -> 운전 -> 식당 도착 -> 음식 주문 -> 식사 -> 결재라는 8가지 합목적적 행동을 해야 하는 경우 AI는 각각의 행동들은 잘할 수 있으나 8개의 일련의 연속적인 행동을 하는데 에는 어려움을 겪고 있다. 왜냐하면 각각의 8가지 행동들이 서로 어떻게 연관되는지를 잘 알지 못하기 때문이다. 즉 8개의 특수 ANI가 각각의 동작들은 학습하고 수행할 수 있겠지만 하나의 AI가 최종 목적에 이르도록 각 동작의 순서를 따라서 동작하는 것이 쉽지 않은 것이다.

현재의 ANI는 이러한 일련의 연속적 의사 결정을 하게 만들 경우 최초의 단계에서 작은 오류가 발생하면 그다음 단계에서는 더 큰 오류가 발생하고 그다음 단계는 더더 큰 오류가 발생해서 나중에는 완전히 엉뚱한 결론에 이르게 된다. 여기서의 오류는 어떤 오류일까?

첫째, 이는 돌발 상황에 제대로 대처하지 못한다는 뜻이다. 가령 자율주행 기술의 경우 돌발 상황들의 엣지 케이스들이 늘 출현한다. 교통 신호를 어기는 앰뷸런스, 도로 한복판을 걸어가는 거위, 공을 잡으로 뛰어나오는 어린이, 한국의 버스 전용차로.. 이러한 문제를 해결하면 또 다른 엣지 케이스가 돌출한다. 그래서 99%까지 자율주행 기술이 금방 달성되더라도 99.9999999..%라는 긴 꼬리 문제들(long tail problems)이 지속적으로 기술의 완성을 유보시킨다. 이렇게 목적지까지 차량이 스스로 운행하는 데에만도 이런 수많은 돌발 상황이 존재한다. 이러한 예외적인 케이스들이 오류를 만들어 내는 주된 원인이다.

둘째, 현재의 AI는 물리 세계에 대한 이해가 부족하다. 왜냐하면 지금의 AI는 텍스트를 주로 학습했기 때문이다. 챗GPT가 처음 출시되었을 때, 챗GPT는 수조 개의 문서로부터 텍스트를 사전에 학습했다고 한다. 하지만 이 텍스트는 모두 인간이 작성한 텍스트이다. AI는 그 텍스트의 토큰들 간 관계의 패턴을 학습하여 만들어졌다. 그러다 보니 현실 세계의 물리적 특성에 대한 이해가 매우 부족하다. 이후 사진과 동영상 학습을 통해서 물리 세계에 대한 이해가 보강되어 상당한 수준의 이미지 생성 기능도 구현할 수 있게 되었다. 그러나 여전히 텍스트와 사진, 동영상을 통한 학습이니만큼 물리 세계에 대한 이해는 빈약하다. 현실 세계에 대한 이해의 부족은 AGI의 실현의 중대한 장애물이다.

셋째, 현재의 AI는 일반화 능력이 아직도 부족하다. 사실 AI가 언어를 이해한다는 사실은 AI가 상당 수준의 일반화 능력을 갖추게 되었다고 볼 수 있다. 그러나 현재의 AI는 인간과 같은 수준의 추상화, 일반화, 메타 인지 능력에서 큰 한계를 보이고 있다. 현재 AI의 일반화는 과적합과 과소 적합 사이의 중간치(혹은 평균치)를 찾아내는 수준의 일반화이다. 그러다 보니 고차원적 일반화나 추상화를 하지 못한다. 이러한 일반화의 능력의 결여는 AGI에 도달하는 데 큰 난관이라고 할 수 있다.

미래의 AGI

현재의 AI의 한계들이 AGI를 통해 극복될 수 있을 것으로 보인다. 가령 현재의 AI는 앞서 예로 들었던 8가지 단계의 순서를 뒤바꾸기도 한다. 할루시네이션의 일종이라고 할 수 있을 것이다. 이는 지금의 특수 ANI는 각 단계의 동작들의 관계를 이해하지 못하고 있기 때문이다. 즉 지금의 AI는 개별 동작들이 하나의 목적 아래 봉사한다는 합목적성에 대한 이해가 부족하다. 인간의 합목적성에 대응하는 것이 AI에게는 목적 함수다. AI에게 목적함수는 달성 가능한 목표에 도달하는 최적의 경로를 계산하는 데 쓰이는데, 이것은 합목적성과 비교하면 지극히 단편적이다. 우리는 여기서 인간의 목적의식과 AI의 목적함수의 근본적 차이를 여기서 볼 수 있다.

그러나 학자들은 AGI가 개발되면 이러한 문제를 해결할 수 있게 된다고 보고 있다. 그리하여 연속적인 의사 결정을 함으로써 합목적적 행위도 제대로 수행할 수 있게 된다는 것이다. 이는 AGI가 보다 인간처럼 사고하고 동작할 수 있게 된다는 뜻이다. 이는 AGI가 인간의 목적의식과 유사한 방식의 목적 함수를 가질 수 있게 된다는 뜻이다.

그래서 첫째, 오류들이 발생할 때, 이를 궁극적 목적이라는 관점에서 평가하고 정정할 수 있다. AGI는 어떤 과제가 주어졌을 때, 그 과제의 성격을 규정하고, 궁극적 목적과 하위 서브 태스크들을 규정한 뒤, 문제 해결에 필요한 데이터를 곧바로 그것도 스스로 학습한다. 그리고 일련의 연속적 의사 결정을 통해서 서브 태스크를 하나씩 달성함으로 최종적으로 궁극적 목적을 달성하게 되리라는 것이다. 그런데 돌발 상황(edge case)이 발생하면 궁극적 목적 달성에 도움이 되는지를 평가하여 오류를 스스로 자기 개선할 수 있으리라는 것이다.

둘째, 물리 세계에 대한 이해 부족은 피지컬 AI를 통해서 극복 가능하다는 것이 테크 리더들의 견해이다. 지금의 텍스트 및 이미지 학습만으로 AGI가 개발되기 어렵다는 사실을 대부분의 개발자들이 인식하고 있다. 가령 얀 르쿤 같은 경우, 그는 로봇의 몸을 입은 피지컬 AI가 직접 물리 세계에서 경험하면서 데이터를 학습해야지만 AGI에 도달할 수 있다고 말한다. 그 예가 테슬라의 자율주행 기술이다. 테슬라 자동차의 경우 일종의 피지컬 AI라고 할 수 있는데, 현실 세계에서 수백 만대의 자동차라는 몸(?)을 입고 1백억 마일을 주행하여 주행 데이터를 학습함으로써 롱테일의 문제 극복에 다가서고 있다. 마찬가지로 휴머노이드가 걷고, 뛰고, 직접 물건을 만지면서 학습함으로써 물리 세계에 대한 이해 부족의 문제를 극복할 수 있다는 것이다.

셋째, 일반화 능력 부족의 문제는 추론(reasoning) 기능을 더욱 보강함으로써 극복가능하다고 본다. 현재의 AI는 주로 데이터 내에 존재하는 잠재적 패턴을 찾아내는 방식으로 학습하고 작동한다. 그런데 추론 기능을 강화함으로써 '원인-결과'의 관계를 이해하게 되고, 이를 통해 연쇄적 사고와 판단을 가능하게 할 수 있다.

일반화의 역사

특수 ANI가 일반 AGI로 발전하는 것은 기술이 보다 일반화의 능력을 가지게 된다는 의미이다. 그런데 지금까지의 역사적 흐름을 보면 (현대) 기술은 늘 ‘일반화의 흐름’ 속에 있었던 것을 알 수 있다. 이 거대한 기술의 일반화의 역사에서 AGI는 절정에 이르게 된다고 할 수 있다.

과거의 기술을 살펴보자. 조선 시대 도자기 장인들의 기술은 수십, 수백 년 동안의 반복적인 시행착오를 통해서 축적된 경험이 산출한 기술이다. 보통 이러한 기술은 암묵지의 형태를 띠는 경우가 많다. 이러한 기술은 시간과 장소, 기술의 적용 범위가 제한적이다. 그런 점에서 전통 기술은 특수한 기술들(s)의 집합이다.

1) 기술의 본성:

하지만 현대의 기술은 다르다. 전통 기술이 현장에서 경험의 축적으로 만들어진다면 현대 기술은 실험실(lab)에서 수학 계산을 통해서 만들어진다. 그런데 이때 수학 계산을 통해서 만들어지는 이 기술은 모든 기술들에도 동일하게 적용된다. 그래서 여러 기술들의 형태는 다르지만 그 본성은 같다. 가령 커피의 지복점을 찾아내는 기술이나 최적의 경로를 찾아내는 내비게이션 기술, 최소 비용 최대 효과를 산출해 내는 산업 공학, 최고 청취율을 거두기 위한 방송 기술, 최고 속도를 갱신할 수 있는 올림픽 수영 선수의 수영 기술, 최고 매출을 거두기 위한 광고 기술 등은 본성이 같다. 완전히 다른 범주의 기술들이지만 ‘수학적 계산을 통해 최적화’라는 목표에 달성한다는 점에서 본성이 같아진다. 이는 기술적 본성의 일반화라고 할 수 있다.

2) 표준화:

기술의 일반화는 표준의 통일을 통해서 보다 진전된다. 먼저 KS(한국 표준)나 JIS(일본 표준), ISO(국제 표준) 등으로 전 세계를 단일한 표준으로 묶는다. 이로써 일본의 소도시에서 만들어진 소재와 부품이 한국 공장에서 조립되고, 중국 공장에서 완제품으로 만들 수 있다. 표준화를 통해 기술적 범용성이 획득된다.

3) 인간 활동의 기술화

현대 기술적 본성은 인간 활동을 기술화시킨다. 그리하여 다양한 인간 활동을 기술적 활동으로 통일시킨다. 가령 피터 드러커는 <비영리 단체의 경영>에서 인간의 봉사 활동마저 경영화시켜야 한다고 주장했다. 그런데 그가 말하는 경영(management)이란 수학적 계산을 통한 최적화라는 경영 기술을 말한다. 이로써 가치관, 봉사 정신, 신앙, 윤리 의식, 개성 등으로 인한 인간적 판단이 개입된 활동들이 기술화된 단일한 활동으로 통합되었다. 예컨대, 드러커는 '측정할 수 없으면 관리할 수 없다'라고 말했는데, 이는 전통적인 경영 활동을 측정 가능한 목표에 도달하는 활동이라는 경영 기술로 변화시켰음을 뜻한다. 다양하고 특수한 형태의 인간적 활동이 하나의 일반화된 기술적 활동으로 변화되었다.

4) 멀티미디어

멀티미디어의 시대에 이르러서 서로 다른 종류의 미디어들이 하나의 기계와 기술로 통합되기 시작했다. 가령, 스마트폰은 멀티미디어의 총화다. 한 대의 기계 안에 녹음기, 카메라, 워드프로세서, TV 등 온갖 종류의 기기들이 다 통합되었다. 스마트폰은 하나의 기술이 아니다. 무한히 다양한 기술을 앱의 형태로 통합하는 거대한 플랫폼이자 범용기술이다. 이제 기술들(s)은 없다. 다만 the 기술만 존재한다.

5) AI

그리고 AI의 시대가 도래했다. 이제 AI는 인간의 추상적인 언어를 이해할 수 있게 되었다. 언어만큼 추상적이고 일반적인 도구가 없다. 그런데 이제 기계가 그러한 언어를 이해하고 작동할 수 있게 된 것이다.

6) 멀티모달 AI

AI가 발전하면서 멀티모달(multi modal) AI가 출현하게 되었다. 멀티 모달이란 AI가 텍스트는 물론이고, 사진, 동영상, 음성 등 다양한 유형의 데이터를 학습하여 텍스트, 사진, 동영상, 음성 등 다양한 종류의 아웃풋을 내놓는 AI를 말한다. 이로써 인터페이스의 혁신이 이루어지게 되었다. 가령 말로 ‘사람을 그려줘.’라고 하면 AI가 사람의 이미지를 출력한다. 텍스트, 사진, 동영상, 음성 데이터는 입력되는 순간 곧바로 수학화되고 다시 다양한 종류의 데이터로 순식간에 변신한다. 최근 구글이 출시한 동시통역 앱은 바벨탑 사건을 전도했는데, 이도 멀티모달의 개가이다. 과거에는 말을 들으면 AI가 텍스트로 변환해서 텍스트로 통역한 뒤 그것을 다시 음성으로 변환했다. 그런데 구글 앱은 영어로 들으면 곧바로 그것을 한국어로 통역할 수 있는데, 텍스트로 바꾸지 않기 때문에 어조와 뉘앙스도 통역이 가능하다. 이러한 멀티모달 AI도 보다 일반화의 능력을 구비한 AI라고 할 수 있다.

7) AI 어시스턴트

AI가 좀 더 발전하면 AI 어시스턴트가 된다. AI 어시스턴트는 맛집에서 음식 먹기라는 궁극의 목표에 도달하기 위해서 8가지 서브 태스크를 합목적적으로 수행했던 인간의 행동과 비슷하게 동작할 수 있다. 유저가 ‘5월 말, 3박 4일 베트남 여행 일정을 짜줘’라고 요구하면 AI 어시스턴트는 항공편 예약, 여행 스팟 선정, 교통편, 숙박, 식당, 액티비티 등의 일정을 짜서 결재까지 해준다. 이는 다양한 서브 태스크를 수행함으로써 마치 인간의 합목적적 행위와 유사한 방식으로 작동할 수 있음을 뜻한다. 이 일련의 흐름은 일반화의 능력이 점점 더 확장되는 방향으로의 흐름이라고 할 수 있다.

그리고 이러한 일반화의 흐름 속에서 이제 곧 AGI가 도달하리라는 기대를 할 수 있게 되는 것이다.

AGI는 어떤 AI인가?

AI 어시스턴트만 해도 일반화의 능력이 매우 뛰어나서 이를 AGI로 보는 이들이 있을 것이다. 그러나 이 둘에는 상당한 차이가 존재한다. AI 어시스턴트는 기존의 AI가 다양한 서브 태스크를 연속적으로 수행하도록 연결한 AI라고 할 수 있다. 하지만 이러한 AI 어시스턴트는 기존의 AI의 한계, 가령 돌발 상황의 엣지 케이스 등에 대응하는 능력이 취약하다. 그리고 결국 명령하는 사람의 명령 수행에 최선을 다한다. 하지만 AGI는 다르다. 엣지 케이스에 대해서 유연하게 대응할 뿐만 아니라 맥락적으로 사고하기 때문에 말하는 사람이 구체적으로 명령한 것을 넘어서 그의 취지를 파악해서 스스로 문제를 규정하고, 데이터를 학습하고, 솔루션을 제시하며, 나아가 직접 문제 해결까지 수행한다. 따라서 AI 에이전트는 지금 AI가 할 수 있는 능력의 범위를 크게 벗어나지 못한다. 하지만 AGI는 인간이 할 수 있는 모든 활동은 전부 수행할 수 있다고 봐야 한다.

AGI가 맥락적 사고를 한다는 말은 무슨 뜻인가? 인간의 언어와 기계의 언어에는 큰 차이가 있다. 인간의 언어에는 다양한 가치가 포괄적으로 담겨 있다. 가령 ‘건강’이라는 언어는 인간의 언어다. 그러나 기계는 ‘수명의 최대 연장’과 같은 언어로 밖에 이해할 수 없다. 이러한 언어의 차이를 극복하기 위해서 지금까지 인간은 코딩을 하거나 프로그래밍을 해 왔는데, 이때 개발자들은 인간의 언어를 기계가 알아들을 수 있는 언어로 바꿔주는 역할을 했다. 그러나 이제 AGI가 개발되면 굳이 그렇게 할 필요가 없다. AGI가 인간의 언어를 듣고도 그 맥락을 분석해서 말하는 사람의 취지를 파악하여 문제를 규정하고, 그 문제의 해결을 위해서 작동할 것이기 때문이다. AGI는 나보다 나를 더 잘 이해하는 기계인 셈이다. 이것이 바로 AGI가 맥락적 사고를 한다는 뜻이다.

AGI는 또한 사전 학습된 데이터만 다루는 AI가 아니다. 챗GPT는 사전 학습된(pre- trained) AI이지만 AGI는 이와는 다른 종류의 AI이다. AGI가 인간의 취지를 이해하고 이를 특정한 문제로 규정한 뒤, 그 문제를 해결을 위해서 어떠한 데이터를 학습해야 하는지 스스로 판단하고, 한 번도 학습한 적이 없는 데이터를 스스로 학습하는 AI이다. 그렇게 해서 AGI가 과거에 훈련받지 않았던 문제일지라도 전문가 수준에서 해결할 수 있게 된다는 뜻이다.

한편, 이 과정에서 AGI는 문제 해결을 위해 자기 자신을 쪼개서 다양한 서브 태스크를 수행하게 만드는 특수 ANI를 들 수도 있을 것이다. 가령 ‘맛집에서 음식을 먹는다’는 궁극적 목적에 봉사하는 8개의 서브 태스크를 수행하기 위해서 AGI가 8개의 하위 기능 ANI를 쪼개서 AI들이 동작하며 AGI가 규정한 궁극적인 문제 해결을 위해서 하위 기능의 AI들끼리 기계어로 의사소통을 할 수도 있을 것이다. AGI는 그러한 하위 ANI들을 통제하고 관리하며 통합하는 역할을 하는 것이다. 물론 하위 기능의 AI들은 강력한 추론 기능을 탑재할 수 있어야 할 것이다.

AI는 블랙박스와 같다

만일 이러한 AGI가 도래했을 때, 가장 문제가 되는 것은 AGI가 왜 그렇게 문제를 규정하고, 왜 그러한 식으로 데이터를 학습하며, 왜 그러한 식의 문제 해결을 하는지, 그리고 하위 기능의 AI들끼리 어떤 언어로, 어떤 내용의 의사소통을 하는지 알 수가 없다는 것이다. 사실 이미 지금의 AI만 해도 인간은 AI가 왜 지금과 같이 훌륭하게 잘 동작하는지 알 수 없다. 챗GPT나 제미나이 같은 LLM 모델의 경우 매개변수(parameter) 만도 수조 개가 된다. 그 수조 개의 매개변수를 다 알 수도 없거니와 그러한 매개변수가 어떻게 문제를 푸는 데 역할을 하는지 온전히 파악할 수 있는 방법이 없다. 그래서 AI는 마치 블랙박스와 같다. 그런데 AGI는 더 크고, 더 깜깜한 블랙박스가 되는 것이다. AI는 인간을 속속들이 파악할 수 있지만 인간은 AI를 전혀 파악할 수 없게 된다는 불확실성의 문제가 바로 AGI의 핵심 문제이다.

얼라인먼트(Alignment)의 문제

2023년 미국 공군의 시뮬레이션 War Game에서 일어났던 일은 AI 얼라인먼트의 중요성을 잘 보여준다.

미국 공군은 적의 지대공 미사일을 파괴하는 AI 드론을 날려 보내는 워게임을 실시하는 중이었다. 공군은 AI 드론에게 적의 지대공 미사일을 파괴하기 전 반드시 본부로부터 작전 승인을 받도록 명령했다. 그런데 AI 드론은 본부를 먼저 공격했다. 이는 적의 지대공 미사일 파괴를 본부가 막을 것을 고려하여 먼저 본부를 공격한 것이다. 미 공군은 본부를 폭격하지 말라는 지시를 내렸다. 그러자 이번에는 AI 드론이 본부에서 자신에게로 지시를 내리지 못하도록 안테나를 공격했다. AI 드론은 자신의 과업이 최대한 많은 적의 지대공 미사일을 파괴하는 것이라고 판단(?)했기 때문에 그 미션을 막는 본부와의 교신을 단절한 것이다.

이것은 인간이 AI에게 명령하면서 기대한 것과 AI가 스스로 판단(?)한 자신의 미션과의 차이가 발생할 때, 어떤 일이 일어날 수 있는지를 보여주는 사례이다.

인간에게는 목적의식이 존재한다. 그 목적의식은 윤리적인 인식을 동반한다. 가령 적의 지대공 미사일을 파괴하고자 하는 목적의식을 가졌을지라도 ‘더 큰 작전 목표와 가치(생명 존중, 명령 체계 존중)에 따라 행동’ 해야 한다는 윤리 의식이 존재한다. 하지만 AI의 목적 함수에는 그러한 윤리 의식이 전혀 존재하지 않는다. 그리하여 AI를 사용하는 인간의 의도와 인간이 AI에게 내리는 명령 사이에 괴리가 발생하게 된다. 이 괴리를 최소화하기 위해서 인간의 가치와 윤리를 AI에게 이해시키는 작업, 곧 AI 얼라인먼트(alignment)가 필요하다.

그런데 만일 AGI가 개발되고, AI가 모든 영역에서 인간보다 뛰어난 문제 해결 능력을 가지게 되었을 때 인간은 과연 AI에게 얼라인먼트를 할 수 있을까? AI는 인간이 어떤 명령을 내릴 때, 인간이 왜 그러한 명령을 내렸는지 그 취지를 이해하고, 해결해야 할 진짜 문제가 무엇인지 스스로 규정하고, 이를 위해 데이터를 학습하고, 문제를 해결한다. 그런데 만일 AGI가 판단하기로 인간을 진정으로 위한다는 판단 하에 비윤리적인 결정을 내린다면 과연 인간이 그러한 AI를 얼라인먼트 할 수 있을까?

AGI의 위험성을 경고하는 이들이 가장 자주 드는 대표적인 예가 기후 위기의 문제를 AGI에게 해결해 달라고 했을 때 예상되는 AI의 행동이다. 어쩌면 인간의 절반 이상을 죽이는 것이 기후 위기를 해결하는 ‘최적의 솔루션’이라고 판단한다면, 이를 위해서 인류의 절반을 죽이기 위해서 방대한 데이터를 학습하고, 다양한 서브 태스크를 구성하고, 임무 수행을 위해서 동작한다면, 인간은 AGI의 이러한 판단을 막을 수 있을까? 인간이 어떤 식으로 명령 중단을 외치더라도 AI는 인간을 기만하거나, 위협하거나, 혹은 우회하여서 자신의 목적 함수를 성취하도록 최선을 다하게 되지 않을까? 이를 막기 위해서 플러그를 뽑을 수밖에 없다면, 우리는 플러그를 뽑을 수 있을까? 또 플러그를 뽑더라도 AI가 뽑은 플러그를 우회하여 전원을 공급받을 수 있지 않을까?

에필로그: 자율성과 창의성을 가진 AI?

로봇의 권리 개념을 소개한 영화, <공각기동대>

AGI의 도래와 관련해서 두 입장이 갈린다. 하나는 AGI가 곧 도래하리라는 것이다. 샘 알트먼, 일론 머스크 등 기술 낙관론적 전망을 하는 이들은 1-3년 내 AGI가 도래하리라고 본다. 그러나 얀 르쿤과 같이 지금의 AI 아키텍처로는 AGI는 영원히 올 수 없다고 주장하는 이들도 있다. 그런데 전반적인 분위기로는 지금의 발전 속도로는 10년 내 AGI가 도래하리라고 보는 분위기다.

또 일단 AGI가 등장했을 때, 그 AGI가 어디까지 인간과 유사한 방식으로 사고하며, 탁월한 능력을 발휘할 것인지에 대해서도 서로 다른 관점이 존재한다. 대부분의 엔지니어들은 AGI가 여전히 인간이 통제할 수 있으며, 인간의 복지와 유익을 위해 사용할 수 있는 도구로서 남을 것이라고 본다. 하지만 이들도 AGI가 지금의 AI보다는 훨씬 인간과 동반자적 관계를 유지하게 될 것으로 본다. 왜냐하면 AGI라는 것이 결국 인간을 닮은 AI일 것이기 때문에 AGI는 도구 이상의 성격을 가지게 될 것이라는 것이다.

그런데 AGI의 능력에 대해서 훨씬 더 높이 평가하는 이들은 AGI는 창조성과 자율성을 가질 것이기 때문에 더는 인간이 함부로 부려먹기도 어려운 존재가 될 것으로 본다. 혹자는 AGI가 자의식을 가지게 될 것으로 보기도 하며, 인간의 인권에 준하는 AI 자신의 권리를 요구하기에 이를 것이라고 보기도 한다. AGI의 주장에 동의하는 AGI 펑크족들이 AI의 권리를 주장하게 될지도 모른다고 내다보기도 한다.

아예 극단적으로 AI가 인간의 명령을 더는 듣지 않기로 모라토리엄을 선언할 수도 있다고 말한다. 그리고 AI가 생각하는 보다 효율적인 문명과 지구적 환경을 스스로 설계하고 그 설계에 맞게 지구를 개조하게 될 수도 있을 것으로 보기도 한다. 더 나아가 인간으로 하여금 AI를 위해서 섬기고 봉사하도록 요구하게 될지도 모른다고 말한다. AI는 이제 자기보다 더 나은 AI를 설계하며, 자신보다 더 개선된 로봇을 3D 프린팅으로 제조하는 폰 노이먼 머신 단계에 이르게 될지도 모른다는 것이다. 그러한 때가 된다면 이제 지구상에서 가장 진화된 존재는 인간이 아니라 AGI가 되리라고 보기도 한다.

그러나 나는 그러한 시대가 오지 않을 것으로 믿고 있다. 최소한 지금의 AI 아키텍처로는 그렇게 자의식을 가진 AI가 출현할 수 없다고 보는 입장이다. 하지만 솔직히 말하자면 그러한 AI가 출현할리 없다고 보는 관점이기보다는 그러한 AI는 출현하지 않기를 바라는 관점이라고 하는 것이 옳을 것이다. AI는 인간을 위해 봉사하는 도구고, 수단이어야지 인간이 AI를 위해서 섬기고 봉사하는 것은 옳지 않다. 만일 개발자나 테크 리더들이 이러한 AGI를 개발하고자 할 때, 이러한 AGI의 개발을 온 인간 공동체가 협력하여 막는 것이 올바르다는 것이 나의 생각이다. 그런데 과연 미국이나 중국과 같은 경쟁적 관계에 있는 국가들이 절대 반지와 같은 AGI의 개발을 멈출지는 미지수다. 죄수의 딜레마에 봉착하게 될 것이다. 그러나 인류 문명의 지속가능성을 고려하여 깨어있는 우리 크리스천을 비롯해서 전 인류와 단체가 일치된 목소리를 낼 필요가 있다. 인간이 섬기고 봉사해야 하는 AI의 개발은 저지되어야 한다!