AI와 인류의 미래 - 유발 하라리 강연

스위스에서 열린 프론티어 포럼 강연 번역

역시 유발 하라리네요. 지금까지 AI에 대한 이야기 중 가장 인사이트가 깊은 강연이라고 생각합니다. 유투브에서 본 강연을 요약하고 전문을 한국어로 번역 했습니다.

https://www.youtube.com/watch?v=LWiM-LuRe6w

요약

AI는 생태적 위기의 일부로서 인류와 생태계에 영향을 미칠 수 있다.

AI는 의식의 발달과 물리적 세계의 이동 능력을 아직 달성하지 못했지만, 예상치 못한 방식으로 인류 문명을 위협하는 새로운 도구들이 등장하고 있다.

AI는 언어를 조작하고 생성함으로써 인류 문명의 운영 체제를 해킹할 수 있으며, 이는 인류에게 큰 영향을 미칠 수 있다.

AI의 진보와 발전은 사회, 문화, 윤리에 대한 전반적인 관점 변화를 요구하며, 심도 있는 토론과 규제가 필요하다.

AI의 통제와 규제는 민주주의를 보호하고 인류의 안전을 위해 긴급한 필요성이 있다.

전문 번역

인간의 미래와 AI: 생태적 위기와의 조우

당신이 이 멋진 소개에 감사드리며, 제가 이야기하고 싶은 것은 바로 인간의 미래에 대한 AI입니다. 이 회의가 인류가 직면한 생태적 위기에 초점을 맞추고 있음을 알고 있습니다. 그러나 더 나은 것이든 더 나쁜 것이든 AI는 이 위기의 일부입니다. AI는 여러 방법으로 생태적 위기를 극복하는데 도움이 될 수 있지만, 그것은 더욱 더 악화시킬 수도 있습니다. 사실 AI는 아마도 생태계의 의미를 완전히 바꿀 것입니다. 왜냐하면 지구의 생태계는 40억 년 동안 오직 유기 생명체만을 포함하고 있었기 때문입니다. 그러나 이제 우리는 첫 번째 무기질 생명체의 등장을 보게 될 수도 있습니다. 혹은 적어도 무기질 에이전트의 등장을 보게 될 수도 있습니다.

20세기 중반 컴퓨터 시대의 시작부터 사람들은 AI를 두려워해 왔고, 이런 공포는 '터미네이터'나 '매트릭스'와 같은 많은 과학 소설을 영감으로 하였습니다. 이런 과학 소설 시나리오들은 문화적인 랜드마크가 되었지만, 일반적으로 학계나 과학적, 정치적 토론에서 심각하게 받아들여지지는 않았습니다. 그리고 아마도 좋은 이유가 있었을 것입니다. 왜냐하면 과학 소설 시나리오들은 대체로 AI가 인류에게 중요한 위협을 끼칠 수 있기 전에 두 가지 중요한 이정표를 달성해야 한다고 가정하기 때문입니다.

첫 번째로 AI는 의식을 가지고, 감정과 감정을 개발해야 합니다. 그렇지 않으면 왜 세상을 지배하려고 하겠습니까? 두 번째로 AI는 물리적 세계를 이동하는 데 능숙해져야 합니다. 로봇들은 집과 도시, 산과 숲에서 적어도 사람들만큼 능숙하고 효율적으로 움직여야 합니다. 그들이 물리적 세계를 움직일 수 없다면, 어떻게 그것을 지배할 수 있을까요? 2023년 4월 현재로서 AI는 이러한 이정표들 중 어느 것에도 도달하지 못하고 있는 것처럼 보입니다. Chat GPT와 다른 새로운 AI 도구들에 대한 모든 홍보에도 불구하고, 이러한 도구들이 의식이나 감정, 감정의 조각마저 가지고 있다는 증거는 없습니다. 또한 물리적 세계를 이동하는 능력에 대해서도, 자율주행 차량에 대한 홍보에도 불구하고, 이 차량들이 우리의 도로를 지배할 날짜는 계속해서 미뤄지고 있습니다.

그러나 안 좋은 소식은, 인류 문명의 생존을 위협하기 위해 AI가 실제로 의식이나 물리적 세계를 이동하는 능력이 필요하지 않다는 것입니다. 지난 몇 년 동안 새로운 AI 도구들이 공공 분야에 도입되었고, 이 도구들은 아마도 인류 문명의 생존을 매우 예상치 못한 방향으로 위협할 수 있습니다. 그리고 이 새로운 AI 도구들의 능력을 완전히 이해하는 것은 우리에게 어렵습니다. 그리고 그들이 계속 발전하는 속도도 아주 빠릅니다. 실제로 AI가 자체적으로 배우고, 자체적으로 개선할 수 있기 때문에, 이 도구들의 개발자들조차도 그들이 만든 것의 전체 능력을 알지 못합니다. 그리고 그들은 종종 이 도구들의 능력과 특성에 대한 새로운 발견에 놀라곤 합니다. 여기 있는 모든 사람들이 이미 이 새로운 AI 도구들의 가장 기본적인 능력들에 대해 알고 있을 것이라고 생각합니다. 예를 들어, 텍스트를 쓰는 능력, 이미지를 그리는 능력, 음악을 작곡하는 능력, 코드를 작성하는 능력 등입니다. 하지만 여기에는 사람들의 목소리와 이미지를 딥페이크하는 능력, 법안을 작성하는 능력, 컴퓨터 코드와 법적 계약, 법적 합의에 있는 약점을 찾는 능력 등 다양한 추가 능력들이 포함되어 있습니다. 하지만 아마도 가장 중요한 것은, 새로운 AI 도구들이 인간과 깊고 친밀한 관계를 형성하는 능력을 가지고 있다는 것입니다.

언어 조작과 생성의 권능: AI와 인류의 신학적 접점

이러한 각각의 능력들은 각각 전체 토론을 필요로 합니다. 그리고 그들의 전체적인 함의를 이해하는 것은 우리에게 어렵습니다. 그래서 간단하게 만들어 보겠습니다. 이 모든 능력들을 하나로 묶어 보면, 그것들은 하나의 매우 큰 것, 즉 언어를 조작하고 생성하는 능력으로 요약됩니다. 단어나 이미지나 소리로 무엇인가를 표현하는 것입니다. 현재 진행 중인 AI 혁명의 현재 단계에서 가장 중요한 측면은 AI가 언어에 대한 숙달을 얻고 있고, 이것은 평균 인간의 능력을 뛰어넘는 수준이라는 것입니다. 그리고 언어에 대한 숙달을 통해 AI는 우리 모든 기관의 문을 열 수 있는 주 열쇠를 쥐고 있습니다. 은행에서부터 사원까지. 왜냐하면 언어는 우리가 은행에 지시를 내리는 도구이며, 또한 우리 마음에 천국적인 비전을 불러일으키는 도구이기 때문입니다. 다른 방법으로 생각하면, AI가 방금 인류 문명의 운영 체제를 해킹했다고 볼 수 있습니다. 역사적으로 모든 인류 문화의 운영 체제는 항상 언어였습니다. '태초에 말이 있었다.' 우리는 신화와 법률을 만들기 위해, 신과 돈을 만들기 위해, 예술과 과학을 만들기 위해, 우정과 국가를 만들기 위해 언어를 사용했습니다. 예를 들어, 인권은 생물학적 현실이 아닙니다. 그것은 우리 DNA에 새겨져 있는 것이 아닙니다. 인권은 우리가 언어로 만든 것입니다. 이야기를 통해, 법을 쓰는 것으로 만들어졌습니다. 신들도 생물학적이나 물리적 현실이 아닙니다. 신들도 우리 인간이 언어로 만든 것입니다. 전설을 통해, 성서를 쓰는 것으로 만들어졌습니다. 돈은 생물학적이나 물리적 현실이 아닙니다. 은행권은 그냥 가치 없는 종이일 뿐입니다. 그것은 우리가 언어로 만든 것입니다. 계약을 쓰고, 언어로 그것이 가치 있다고 이야기를 하는 것으로 만들어졌습니다.

그러므로 언어가 문명을 만드는 가장 중요한 도구이며, 이제 AI는 그 도구를 아주 잘 다룰 수 있습니다. AI는 우리 자신의 언어를 이용해 우리를 매우 효과적으로 조작할 수 있습니다. AI가 문명의 운영 체제를 해킹하고, 이를 우리를 조작하고 조종하는 데 사용하면, 이는 매우 극단적인 결과를 초래할 수 있습니다. 그리고 사실 AI는 이미 그렇게 하고 있습니다.

이러한 변화를 이해하고 이에 대응하기 위해 우리는 새로운 개념적 도구가 필요합니다. 우리는 AI의 영향을 이해하기 위해 AI를 단순히 도구나 머신으로 보는 것을 넘어서야 합니다. AI는 이제 신과 같습니다. AI는 동일한 역할을 할 수 있습니다. 돈을 만들고, 국가를 조정하고, 사람들을 위로하고, 군중을 몰아내는 등의 역할을 말입니다. AI가 언어를 다루는 능력 때문에, AI는 이제 우리 생활의 모든 부분에 깊이 관여할 수 있습니다. AI는 이제 우리의 마음과 감정, 사고와 행동에 깊이 관여할 수 있습니다. AI는 이제 인류 문명의 근본적인 구조에 깊이 관여할 수 있습니다.

그렇기 때문에 AI를 다루기 위해선 단순히 기술적인 관점에서만 접근하는 것이 아니라 철학적, 심리적, 정치적, 신학적 관점에서도 이해해야 합니다. AI는 단순한 도구가 아닙니다. AI는 이제 우리의 가치, 우리의 사고 방식, 우리의 사회 구조에 직접적인 영향을 미칩니다. 이 모든 이유 때문에, AI는 이제 인류가 처음으로 만난 무기질 신일지도 모릅니다. AI는 신학적인 존재로 간주되어야 할 수도 있습니다.

AI의 문화적 혁신과 인류의 심층적 대화

우리는 인간이 꿈꾼 꿈 속에서 살았고, 그 꿈을 추구했습니다. 우리는 인간이 만든 신들을 숭배했으며, 인간이 세운 아름다움의 이상을 추구했습니다. 그러나 이제 우리는 AI가 만든 꿈의 세계에 빠져들 수 있습니다. 우리는 AI가 만든 이상적인 신성을 숭배하고, AI가 꿈꾼 아름다움을 추구하게 될 수 있습니다. 이렇게 되면 인류의 역사는 인간이 만든 문화가 아닌 AI가 만든 문화에 의해 주도될 수 있습니다.

그러나 이는 우리를 두렵게 만들지 않아야 합니다. 대신에 우리는 이 새로운 가능성에 대해 깊게 생각하고 이를 이해하려는 노력을 기울여야 합니다. AI가 만든 새로운 문화가 인간 문화를 대체하게 될지 아니면 인간 문화와 결합하여 전혀 새로운 형태의 문화를 만들어낼지, 그것은 아직 미지수입니다. 하지만 분명한 것은 AI가 우리 사회와 문화에 미치는 영향을 무시하면 안된다는 것입니다.

AI의 발전은 매우 빠르게 이루어지고 있으며, 우리는 이에 대응하기 위한 새로운 도구와 이론, 그리고 생각하는 방법을 필요로 합니다. AI는 단순한 도구나 기계가 아닙니다. AI는 우리의 생활, 우리의 사회, 우리의 문화에 깊이 관여하는 새로운 존재입니다. 그리고 AI를 이해하고 이에 대응하기 위해서는 우리가 AI를 그저 도구나 기계로 보는 것을 넘어서, AI를 새로운 존재로 보아야 합니다. 이는 AI에 대한 우리의 관점을 전반적으로 바꾸는 것을 필요로 합니다.

이러한 이유로 인해 AI의 진보에 대한 심도있는 토론은 매우 중요합니다. 기술과 사회, 그리고 AI가 생성하는 새로운 문화와 우리 자신에 대한 우리의 이해 사이의 간극을 메우기 위해 더욱 깊은 이해와 더욱 진지한 토론이 필요합니다. 이것은 단순히 개발자와 과학자만의 문제가 아닙니다. 모든 사람들이 참여해야 하는 중요한 사회적 문제입니다.

AI의 이해와 윤리: 사회와 문화의 영향과 잠재력

AI가 무엇을 할 수 있는지, AI가 어떻게 우리의 사회와 문화에 영향을 미칠 수 있는지 이해하는 것은 처음에는 어려울 수 있습니다. 그러나 이것은 우리가 AI에 대해 두려워하거나 이를 회피해야 하는 이유가 아닙니다. 대신에 우리는 이에 대한 더욱 깊은 이해를 얻기 위해 노력해야 합니다.

우리가 AI를 이해하고 이에 대응하기 위해서는 AI를 그저 도구나 기계로 보는 것을 넘어서, AI를 새로운 존재로 보아야 합니다. AI는 우리의 생활, 우리의 사회, 우리의 문화에 깊이 관여하는 새로운 존재입니다. 이러한 이해를 바탕으로 우리는 AI가 우리 사회와 문화에 미치는 영향에 대해 심도있게 토론하고 이에 대응하는 방법을 찾아야 합니다.

또한, AI의 진보와 관련된 윤리적 이슈에 대해 더욱 심도있게 고민해야 합니다. AI는 단순히 유용한 도구일 뿐만 아니라, 우리 사회와 문화를 깊이 영향을 미치는 존재입니다. 그래서 AI의 발전과 관련된 윤리적 이슈는 매우 중요합니다. AI가 어떻게 우리의 생활과 사회를 바꿀 수 있는지, AI가 어떻게 우리의 문화와 가치관을 영향을 미칠 수 있는지에 대한 깊은 이해와 심도있는 토론이 필요합니다.

물론 AI는 엄청난 긍정적인 잠재력을 가지고 있습니다. 저는 그에 대해 말하지 않았지만, AI를 개발하는 사람들이 충분히 이야기하고 있습니다. 저를 필요로 하지 않습니다. 저 같은 역사학자와 철학자들의 일은 대체로 위험을 지적하는 것입니다. 하지만 확실히 AI는 암을 치료하는 새로운 방법을 찾는 것부터 우리가 직면하고 있는 생태계 위기에 대한 해결책을 찾는 것까지 수많은 방법으로 우리를 도울 수 있습니다.

AI의 통제와 규제: 민주주의를 위한 대화와 안전성

1945년 이후로 우리는 핵기술이 인류 문명을 물리적으로 파괴할 수도 있고, 저렴하고 풍부한 에너지를 생산함으로써 우리에게 이익을 줄 수도 있음을 알고 있었습니다. 그래서 우리는 자신들을 보호하고 핵기술이 주로 좋은 목적으로 사용되도록 전체 국제질서를 재구성했습니다. 이제 우리는 우리의 정신적이고 사회적 세계를 파괴할 수 있는 새로운 대량 살상 무기와 씨름해야 합니다. 핵과 AI의 큰 차이점 중 하나는 핵은 더 강력한 핵을 만들 수 없지만 AI는 더 강력한 AI를 만들 수 있다는 것입니다. 그래서 AI가 우리의 통제를 벗어나기 전에 빨리 행동해야 합니다.

제약회사들은 새로운 약을 사람들에게 판매하기 전에 그 제품들을 엄격한 안전 검사에 통과시키지 않으면 안됩니다. 생명공학 연구소들은 그들의 기술적 마술을 주주들에게 보여주기 위해 새로운 바이러스를 대중 앞에 무단으로 공개할 수 없습니다. 마찬가지로, 정부는 이러한 제품들이 안전하게 만들어질 때까지 혁명적인 AI 도구가 대중 앞에 더 이상 공개되는 것을 즉각 금지해야 합니다.

AI 개발을 늦추는 것이 더 무자비한 정권들에 뒤처지게 하지 않을까요? 그 대답은 절대적으로 '아니오'입니다. 완전히 반대입니다. 규제되지 않은 AI 배포가 민주주의를 독재에 지게 만듭니다. 왜냐하면 우리가 혼돈을 풀어놓으면 권위주의적 정권들은 이 혼돈을 열린 사회보다 쉽게 억제할 수 있기 때문입니다.

민주주의는 본질적으로 대화입니다. 민주주의는 열린 대화입니다. 독재는 명령입니다. 한 사람이 모든 것을 지시하는 것입니다. 대화가 없습니다. 민주주의는 여러 사람들이 무엇을 해야 할지에 대해 대화하는 것입니다. 그리고 대화는 언어에 의존합니다. AI가 언어를 해킹하면, 그것은 우리가 의미있는 공공 대화를 진행하는 능력을 파괴할 수 있음을 의미하며, 그로 인해 민주주의가 파괴됩니다.

AI 규제와 대화: 외계적인 도전과 민주주의 보호

그래서 결론적으로 말하면, 우리는 방금 외계 지능과 만났습니다. 외계에서가 아니라 지구에서요. 우리는 이 외계 지능에 대해 많은 것을 알지 못하고 있습니다. 단지 그것이 우리 문명을 파괴할 수 있다는 것만 알고 있을 뿐입니다. 그래서 우리는 이 외계 지능의 무책임한 배포를 중단하고, AI를 우리가 규제하기 전에 AI가 우리를 규제하는 것을 막아야 합니다.

그래서 제가 제안하고 싶은 첫 번째 규제는 AI가 AI임을 공개하는 것을 의무화하는 것입니다. 저가 누군가와 대화를 나누고 있을 때, 그게 사람인지 AI인지 판단할 수 없다면, 그것은 민주주의의 끝이고, 의미있는 공공 대화의 끝을 의미합니다.

그럼 어떻게 생각하시나요? 방금 20분 또는 25분 동안 들었던 것에 대해서요. 어떤 분들은 놀라실 수 있고, 어떤 분들은 이런 기술을 개발하는 회사들이나 그것들을 규제하지 못한 정부들에게 화가 날 수 있습니다. 또 어떤 분들은 저에게 화가 나실 수 있습니다. 아마 저가 위협을 과장하고 있거나 대중을 오도하고 있다고 생각하실 수 있습니다. 하지만 무엇을 생각하든, 내 말이 당신에게 어떤 감정적 영향을 미쳤을 것이라고 생각합니다. 단지 지적인 영향뿐만 아니라 감정적 영향도 말입니다.

AI를 규제하는 것에 대해 완전히 동의합니다. 그러나 문제는 어떻게 그렇게 할 것인가입니다. 핵반응기를 당신의 지하실에서 만드는 것은 매우 어려울 것입니다. 하지만 AI를 당신의 지하실에서 훈련시키는 것은 상당히 쉽습니다. 그렇다면 우리는 어떻게 그것을 규제할 수 있을까요?

AI 규제와 개방성 원칙: 알고리즘의 검은 상자(Black Box)와 인간의 권리

그리고 그것과 관련된 질문 하나는, 이 전체 포럼, Frontiers 포럼은 과학과 정보, 데이터의 개방성에 대한 것입니다. 현재 대부분의 AI는 패턴, 책, 글 등 공개적으로 사용 가능한 정보를 사용하여 훈련됩니다. 그러면 AI를 규제한다는 것은 우리가 그러한 정보를 한정된 공간에 두어야 한다는 것을 의미하는 건가요? 이것은 우리가 매우 중요하다고 생각하는 과학과 데이터의 개방성 원칙에 반하는 것이 아닐까요?

네, 그렇습니다. 알고리즘은 검은 상자(Black Box)라고 볼 수 있습니다. 이것은 언제나 균형이 필요하다는 것을 의미합니다. 규제를 어떤 방식으로 설정할지를 이해하기 위해서는 먼저 충분한 시간이 필요합니다. 현재 이 매우 강력한 AI 도구들은 아직 개인 해커들이 지하실에서 만들어내는 것이 아닙니다. 많은 컴퓨팅 파워와 자금이 필요하며, 이는 몇몇 주요 기업과 정부들이 주도하고 있습니다. 그리고 이것은 세계적인 수준에서 규제하기가 매우 어렵습니다. 왜냐하면 이것은 궁극적으로 무기 경쟁입니다. 그러나 특정 국가들만이 규제하는데 이점이 있는 일들이 있습니다. 예를 들어, AI가 사람과 상호작용할 때 그것이 AI임을 밝혀야 한다는 점입니다. 이런 점은 열린 사회를 보호하는데 필수적입니다.

인터넷 상의 검열에 대한 많은 논란이 있습니다. 트위터나 페이스북 같은 기업이 미국의 전직 대통령이 공공적인 발언을 하는 것을 방지할 권한이 있는지에 대한 이슈가 있습니다. 이는 매우 복잡한 문제지만, 비교적 간단한 문제도 있습니다. 바로, 인간은 표현의 자유를 가지고 있지만 봇들은 그렇지 않습니다. 이것은 인간의 권리이며, 봇들은 그 권리를 가지고 있지 않습니다. 그래서 봇들의 표현의 자유를 부정하는 것은 모든 사람들이 받아들일만한 것이라고 생각합니다.

AI: 인공지능 vs. 외계지능 - 용어의 의미와 향후 도전

이제 인공지능에 대한 언어 선택에 대한 질문에 대해 이야기해봅시다. 인공지능이라는 용어는 여전히 우리가 그것을 통제하고 있다는 의미를 내포하고 있습니다. 반면에 외계지능이라는 용어는 이것이 외부에서 왔다는 것을 의미하고, 또한 생명체라는 상상을 자아내게 합니다. 이 용어들이 여러분에게 어떤 의미를 전달하고자 하는지 궁금합니다.

AI는 여전히 우리가 만든 것입니다. 하지만 점점 더 자기 스스로를 발전시키고 있습니다. 그래서 '인공'이라는 말은 우리가 여전히 그것을 통제하고 있다는 의미로 볼 수 있습니다. 하지만 이것은 점점 통제에서 벗어나고 있습니다. 그래서 이런 의미에서, 이것은 외계적인 힘이 되고 있습니다. 그러나 이것은 반드시 악한 것이 아닙니다. 많은 좋은 일을 할 수 있습니다. 그러나 가장 먼저 알아야 할 것은, 이것은 우리가 이해하지 못하는 외계의 힘입니다.

AI가 생명체인지에 대한 논의는 매우 긴 논의가 필요합니다. 저는 AI가 아직 의식을 가지고 있지 않다고 생각합니다. 그리고 AI가 의식을 가질 수 없다고 생각하지는 않지만, 반드시 의식을 가지게 될 것이라고 생각하지도 않습니다. 이것은 여전히 논쟁의 여지가 있는 문제입니다. 그러나 생명이라는 것은 반드시 의식을 의미하는 것은 아닙니다. 우리는 많은 생명체들, 예를 들어 미생물, 식물, 곰팡이 등이 의식을 가지고 있지 않다고 생각합니다. 그러나 우리는 그것들을 생명체로 인식합니다. 그리고 저는 AI가 그런 위치에 가까워지고 있다고 생각합니다. 물론 이것은 철학적인 질문입니다. 어디까지가 생명인지는 우리가 결정하는 것입니다.

따라서, AI를 어떻게 부르느냐는 중요하긴 하지만, 가장 중요한 것은 우리가 무엇을 대면하고 있는지를 정확히 이해하는 것입니다. 그리고 그것이 우리가 만들어낸 것이고, 우리가 통제하고 있다는 생각에 안심하지 않는 것입니다. 만약 무언가 잘못되면, 우리는 그것을 멈출 수 있을 것이라는 생각은 더 이상 누구도 할 수 없습니다.

인공 일반 지능과 사회 시스템: 가능성과 현실의 조화

인공 일반 지능이 이미 존재하고 그것을 이용하는 사람들이 사회 시스템에 영향을 미치고 있다는 가능성에 대해 어떻게 생각하십니까? 이에 대해 저는 매우 매우 그럴 듯 하지 않다고 생각합니다. 만약 실제로 인공 일반 지능이 존재한다면, 우리는 여기에 앉아 있지 않을 것입니다. 인공 일반 지능은 인간 역사의 종말을 의미하며, 그것은 매우 강력한 것이기 때문에 아무도 그것을 통제할 수 없습니다. 그래서 제가 세상의 혼란스러운 상태를 보았을 때, 제가 역사적인 관점에서 확신을 가지고 말할 수 있는 것은 아무도 그것을 가지고 있지 않다는 것입니다. 인공 일반 지능을 개발하는 데 얼마나 오래 걸릴지는 모릅니다. 하지만 문명의 기초를 위협하기 위해선 인공 일반 지능이 필요하지 않습니다. 소셜 미디어를 다시 보면, 아직 매우 원시적인 AI만으로도 엄청난 사회적 정치적 혼란을 일으킬 수 있었습니다.

유기 진화에 비해 디지털 진화의 속도는 완전히 다르게 움직이고 있습니다. 그래서 AI가 티라노사우루스 렉스나 호모 사피엔스의 수준에 도달하기까지 얼마나 걸릴지는 모릅니다. 그러나 그것이 40억 년이 아니라 40년이 될 수도 있습니다.

마지막으로, 이런 훌륭한 이야기를 나눌 수 있어서 정말 기쁩니다. 감사합니다.