초강력인공지능 (ASI)이 인간에게 영생을??
Al Extinction vs. immortality Ⅲ
멸종이냐 영생이냐??
The Lecture Series in the Humanities delivered by Y. J. Eom at IDEA FACTORY on July 29, 2016
What AI Could Do For Us
인공지능이 인류를 위해 어디까지 해 줄 수 있을까?
Armed with super-intelligence and all the technology super-intelligence would know how to create, ASI would likely be able to solve every problem in humanity. Global warming? ASI could first halt CO2 emissions by coming up with much better ways to generate energy that had nothing to do with fossil fuels. Then it could create some innovative way to begin to remove excess CO2 from the atmosphere. Cancer and other diseases? No problem for ASI—health and medicine would be revolutionized beyond imagination. World hunger? ASI could use things like nano-tech to build meat from scratch that would be molecularly identical to real meat—in other words, it would be real meat.
초강력 인공지능과 이 인공지능이 만들어 낼 수 있는 모든 기술로 인류가 직면한 모든 문제는 다 해결될 수 있을 것이다 지구 온난화? 초강력 인공지능은 일단 화석 연료와 전혀 관계가 없는 훨씬 향상된 방법을 생각해냄으로써 이산화탄소 배출을 멈출 수 있을 것 같다. 이후에 대기 중에 있는 이산화탄소를 제거할 수 있는 몇몇 혁신적인 방법을 만들어 낼 것이다. 암이나 다른 질병은? 초강력 인공지능에게 불치병으로 여겨지던 암이나 질병들은 큰 문제가 되지 않는다. 인간의 건강이나 약은 상상을 초월할 정도로 혁명적인 수준에 이르게 될 것이다. 인류의 기아 즉, 배고픔은 어떤가? 초강력 인공지능은 실제 고기를 이루는 분자와 동일한 것으로부터 즉석에서 고기를 만들 수 있는 것과 같은 나노 기술과 같은 것들을 이용할 수 있을 것이다. 말 그대로, 나노 기술을 이용한 실제 고기와 같은 분자로 구성된 실제 고기를 만들어 낼 수 있을 것이다.
Nanotech could turn a pile of garbage into a huge vat of fresh meat or other food (which wouldn’t have to have its normal shape—picture a giant cube of apple)—and distribute all this food around the world using ultra-advanced transportation. Of course, this would also be great for animals, who wouldn’t have to get killed by humans much anymore, and ASI could do lots of other things to save endangered species or even bring back extinct species through work with preserved DNA. ASI could even solve our most complex macro issues—our debates over how economies should be run and how world trade is best facilitated, even our haziest grapplings in philosophy or ethics—would all be painfully obvious to ASI.
나노기술은 쓰레기 더미를 많은 양의 신선한 고기나 다른 음식으로 만들어 낼 수 있을 것이다. 물론 이렇게 만들어진 음식이 우리가 먹는 음식과 모양이 같지 않을 수도 있다. 예를 들면 거대한 정육면체의 사과를 보게 될 수도 있다. 그리고 이렇게 만들어진 모든 음식들은 전 세계에 엄청 진화된 방식의 운송수단을 이용해 공급될 것이다. 물론, 이러한 기술은 동물들에게 큰 도움이 될 것이다. 왜냐하면 인간들에 의해 더 이상 먹이 감으로 사냥될 필요가 없기 때문이다. 초강력 인공지능은 멸종 위기에 처한 동물들에게도 많은 역할을 하게 될 것이다. 심지어는 보존된 DNA를 이용해 멸종된 종들을 다시 부활시킬 수도 있을 것이다. 초강력 인공지능은 우리 인류가 가장 복잡하고 어렵게 생각하는 거대 담론들을 해결할 수 도 있을 것이다. 지구촌 경제는 어떻게 작동해야 하는가? 그리고 세계 무역은 어떻게 하면 가장 효율적으로 이루어질 수 있는가? 심지어는 철학과 윤리학에 있어서 가장 모호하고 어려운 문제들까지도 초강력 인공지능에게는 너무나 쉬운 문제들이 될 것이다.
But there’s one thing ASI could do for us that is so tantalizing, reading about it has altered everything I thought I knew about everything: ASI could allow us to conquer our mortality.
하지만 초강력 인공지능이 인류를 위해 할 수 있는, 동시에 가장 인류가 애타게 기다려왔던 한 가지 일이 있다. 이 부분은 필자가 모든 것에 대해 알고 있다고 생각했던 모든 것들을 수정했다: 초강력 인공지능은 우리로 하여금 죽음을 극복할 수 있게 만들 수 있다.
A few months ago, I mentioned my envy of more advanced potential civilizations who had conquered their own mortality, never considering that I might later write a post that genuinely made me believe that this is something humans could do within my lifetime. But reading about AI will make you reconsider everything you thought you were sure about—including your notion of death.
몇 달 전에, 나는 더 잠재적으로 진화된 문명에 대한 부러움을 언급한 적이 있었다. 이 진화된 문명은 자신들의 죽음을 극복한 문명이었다. 물론 이렇게 진보된 문명에 대한 부러움을 언급하면서 필자가 그 이후에 인류가 필자가 죽기 전에 죽음을 극복할 수 있을 것을 주장하는 글을 쓸 것이라고는 상상도 못했다. 하지만 인공지능에 관해 읽는 것은 여러분을 여러분이 그동안 확신하던 모든 것을 다시 생각하게 만들 것이다. 물론 죽음에 관한 여러분의 관념까지 다시 생각해야 할 것이다.
Evolution had no good reason to extend our lifespans any longer than they are now. If we live long enough to reproduce and raise our children to an age that they can fend for themselves, that’s enough for evolution—from an evolutionary point of view, the species can thrive with a 30+ year lifespan, so there’s no reason mutations toward unusually long life would have been favored in the natural selection process. As a result, we’re what W.B. Yeats describes as “a soul fastened to a dying animal.” Not that fun.
진화는 우리의 수명을 현재의 수준보다 조금이라고 길게 연장해 줄 아무런 이유가 없다. 만약 우리가 아이들을 낳고 아이들을 자립할 수 있을 정도의 나이까지 양육할 나이까지 오래 산다면, 딱 이정도가 진화를 위해서는 충분하기 때문이다. 물론 진화적인 관점에서만 충분하면 된다. 인류는 30세 이상 정도면 번식하는 일에 그리고 다음 세대를 만드는 임무에 성공할 수 있다. 그래서 자연선택에 있어 너무 과도하게 긴 수명을 만들기 위한 돌연변이가 선호될 만한 아무런 이유가 없다. 결과적으로 우리 인류는 죽는 동물로 확정된 것으로 묘사되는 종이었다. 그리 유쾌하지 않은 표현이다.
And because everyone has always died, we live under the “death and taxes” assumption that death is inevitable. We think of aging like time—both keep moving and there’s nothing you can do to stop them. But that assumption is wrong. Richard Feynman writes:
그리고 모든 사람은 항상 죽기 때문에 우리는 죽음은 피할 수 없다는 ‘죽음과 세금 ; 인생에서 죽음과 세금은 피할 수 없다는 명제’ 이라는 전제 아래 살고 있다. 우리는 노화를 시간처럼 여긴다. 노화와 시간은 계속해서 진행되고 이 둘을 멈출 수 있는 방법은 없다. 하지만 죽음은 피할 수 없다는 그 전제는 틀렸다. 리차드 페이만은 다음과 같이 주장 한다:
It is one of the most remarkable things that in all of the biological sciences there is no clue as to the necessity of death. If you say we want to make perpetual motion, we have discovered enough laws as we studied physics to see that it is either absolutely impossible or else the laws are wrong. But there is nothing in biology yet found that indicates the inevitability of death. This suggests to me that it is not at all inevitable and that it is only a matter of time before the biologists discover what it is that is causing us the trouble and that this terrible universal disease or temporariness of the human’s body will be cured.
모든 생명과학에서 가장 놀라운 발견들 중에 하나는 꼭 죽어야 한다는 명제를 뒷받침하는 증거가 없다는 점이다. 만약 여러분이 계속되는 움직임을 원한다고 말한다면, 우리는 충분한 법칙을 발견했다. 이러한 법칙의 발견은 우리가 물리학을 연구하면서 영원한 움직임이 전적으로 불가능하다거나 아니면 그 외의 법칙들은 틀렸다는 사실을 이해하게 만들었다. 하지만 생물학 어디에서도 죽음을 반드시 겪어야 한다는 사실을 나타내는 발견은 존재하지 않는다. 필자에게 이것은 죽음이란 것이 피할 수 없는 것이 전혀 아니며 죽음은 단지 생물학자들이 죽음의 원인이 무엇이며 그리고 인간의 몸의 유한성이 치료될 수 있을 것이라는 사실을 발견하는 것은 시간문제일 뿐이라는 사실을 의미한다.
The fact is, aging isn’t stuck to time. Time will continue moving, but aging doesn’t have to. If you think about it, it makes sense. All aging is is the physical materials of the body wearing down. A car wears down over time too—but is its aging inevitable? If you perfectly repaired or replaced a car’s parts whenever one of them began to wear down, the car would run forever. The human body isn’t any different—just far more complex.
노화란 것이 시간과 꼭 연결될 필요가 없다는 의미이다. 시간은 계속해서 움직이겠지만, 노화는 시간과 함께 꼭 진행될 필요가 없다는 말이다. 만약 여러분이 이 사실에 관해 생각한다면 이 점을 곧 이해하게 될 것이다. 모든 노화는 닳아 없어지는 몸의 물리적인 물질들이다. 자동차도 시간이 지남에 따라 닳는다. 하지만 자동차의 노화가 피할 수 없는 것인가? 만약 여러분이 자동차의 부품 중에 하나가 닳기 시작할 때마다 완벽히 수리하고 그 부품들을 교체한다면 그 차는 영원히 달릴 수 있을 것이다. 인간의 몸은 자동차와 전혀 다르지 않다. 단지 사람의 몸은 훨씬 더 복잡할 뿐이다.
Kurzweil talks about intelligent wifi-connected nanobots in the bloodstream who could perform countless tasks for human health, including routinely repairing or replacing worn down cells in any part of the body. If perfected, this process (or a far smarter one ASI would come up with) wouldn’t just keep the body healthy, it could reverse aging. The difference between a 60-year-old’s body and a 30-year-old’s body is just a bunch of physical things that could be altered if we had the technology. ASI could build an “age refresher” that a 60-year-old could walk into, and they’d walk out with the body and skin of a 30-year-old.10
레이 커즈와일은 무선 지능으로 연결된 나노 크기의 로봇들이 혈관을 타고 이동하며 인간의 건강을 위해 수많은 임무를 수행하는 일들에 대해 얘기한다. 물론 이 나노 로봇들은 우리 몸의 구석구석에 있는 닳아진 세포를 수선하고 교체한다. 비록 이러한 과정이 완벽해져도 이러한 과정이 인간의 몸을 계속해서 건강하게 만들지 못한다면 이 기술은 노화를 되돌릴 수 있는 방법을 찾을 수 있을 것이다. 60세의 몸과 30세의 몸의 차이는 단지 만약 우리가 노화의 과정을 되돌릴 수 있는 기술을 가진다면 수정될 수 있는 수많은 물리적인 차이들일 뿐이다. 초강력 인공지능은 ‘젊어지는 기계’를 만들 수 있을 것이다. 이 기계 속으로 60세 이상의 노인이 들어가면 30세의 피부와 몸을 가진 사람으로 바뀐 채 걸어 나올 수 있을 것이다.
Even the ever-befuddling brain could be refreshed by something as smart as ASI, which would figure out how to do so without affecting the brain’s data (personality, memories, etc.). A 90-year-old suffering from dementia could head into the age refresher and come out sharp as a tack and ready to start a whole new career. This seems absurd—but the body is just a bunch of atoms and ASI would presumably be able to easily manipulate all kinds of atomic structures—so it’s not absurd.
심지어 정신을 잃어버린 뇌도 초강력 인공지능만큼 똑똑한 상태로 다시 돌아올 수 있을 것이다. 이것은 뇌의 이전의 기억이나 인격 같은 정보를 손상시키지 않은 채로 뇌의 기능을 잃어버린 상태를 초강력 인공지능정도의 똑똑함으로 돌릴 수 있다는 사실을 의미한다. 치매를 앓은 90세 노인도 ‘젊음의 기계’를 경험하면 이전과는 전혀 새로운 직업을 가질 준비가 된 예리한 의식을 가지고 나오게 될 것이다. 이러한 모든 예측은 말이 안 되는 것처럼 보일 수 있다. 하지만 몸은 수많은 원자들의 모음이고, 초강력 인공지능은 추정 건데 쉽게 모든 종류의 원자 구조를 조작할 수 있을 것이다. 그래서 초강력 인공지능에게 그 ‘젊음의 기계’이론은 충분히 말이 된다.
Kurzweil then takes things a huge leap further. He believes that artificial materials will be integrated into the body more and more as time goes on. First, organs could be replaced by super-advanced machine versions that would run forever and never fail. Then he believes we could begin to redesign the body—things like replacing red blood cells with perfected red blood cell nanobots who could power their own movement, eliminating the need for a heart at all. He even gets to the brain and believes we’ll enhance our brain activities to the point where humans will be able to think billions of times faster than they do now and access outside information because the artificial additions to the brain will be able to communicate with all the info in the cloud.
커즈와일은 모든 상황을 한 층 더 끌어 올린다. 커즈와일은 인공적인 물질들이 인간의 몸과 점점 더 통합될 것이라고 생각한다. 첫 번째로, 인간의 몸의 가진 장기들은 완전 진화된 기계들에 의해 대체될 수 있고 이렇게 장기를 대신하는 기계들은 영원히 작동하고 결코 자신의 임무를 멈추지 않을 것이라고 예측한다. 이후에 인간은 자신의 몸을 다시 설계하기 시작할 것이라고 커즈와일은 생각한다. 예를 들면 적혈구 세포를 완전해진 적혈구 역할을 하는 나노 로봇이 대신할 것이라고 그는 예측한다. 적혈구 세포를 대체하는 나노봇들은 자신의 움직임에 스스로 동력을 주고 심장 자체를 불필요하게 만들 것이다. 심지어 커즈와일은 인간의 뇌에 관해서도 언급한다. 우리는 우리 뇌의 활동을 현재 인간의 뇌가 할 수 있는 것보다 수 십 억 배 빠르게 생각할 수 있는 정도까지 강화시킬 수 있을 것이라고 커즈와일은 믿고 있다. 그리고 이렇게 진화된 뇌는 기계적인 장치를 가지게 되는데 이러한 뇌는 클라우드에 있는 모든 정보를 이용할 수 있기 때문에 모든 정보에 대한 접근권을 가지게 될 것이다.
The possibilities for new human experience would be endless. Humans have separated sex from its purpose, allowing people to have sex for fun, not just for reproduction. Kurzweil believes we’ll be able to do the same with food. Nanobots will be in charge of delivering perfect nutrition to the cells of the body, intelligently directing anything unhealthy to pass through the body without affecting anything. An eating condom. Nanotech theorist Robert A. Freitas has already designed blood cell replacements that, if one day implemented in the body, would allow a human to sprint for 15 minutes without taking a breath—so you can only imagine what ASI could do for our physical capabilities. Virtual reality would take on a new meaning—nanobots in the body could suppress the inputs coming from our senses and replace them with new signals that would put us entirely in a new environment, one that we’d see, hear, feel, and smell.
인간이 겪게 될 새로운 경험의 가능성은 무한할 것이다...............커즈와일은 음식도 같은 식으로 인간이 즐길 수 있을 것이라고 주장한다. 나노봇들이 인간 몸의 모든 세포에 완벽한 영양소를 전달하는 책임을 지게 될 것이라고 커즈와일은 주장하면서 매우 똑똑하게 이 나노봇들은 건강하지 않은 어떤 것이든 인간의 몸에 영향을 주지 않는 채로 몸을 빠져나가게 만들 것이라고 예측한다. 나노 기술 이론가인 로버트 프레이타스는 이미 혈액세포 대체를 설계했다. 만약 어느 날 이러한 기술이 우리 몸에 실행된다면 인간으로 하여금 15 분 동안 숨도 한 번 안 쉬고 달릴 수 있게 만들 수도 있다. 여러분은 그저 초강력 인공지능이 인간의 몸의 능력을 위해 할 수 있는 것을 상상정도만 할 수밖에 없게 만든다. 가상현실도 전적으로 새로운 의미를 갖게 될 것이다. 왜냐하면, 인간의 몸속에 있는 나노봇들이 우리 인간의 감각기관을 통해 얻어지는 정보들을 제어하면서 그 감각기관을 통해 얻어진 정보들을 새로운 신호들도 바꿀 것이다. 이러한 새로운 신호들은 인간으로 하여금 전적으로 새로운 환경을 경험하게 만들 것이다. 이렇게 나노봇이 만드는 가상 환경에서 우리 인간은 보고, 듣고, 느끼고 심지어는 냄새까지 맡을 수 있게 될 것이다.
Eventually, Kurzweil believes humans will reach a point when they’re entirely artificial;11 a time when we’ll look at biological material and think how unbelievably primitive it was that humans were ever made of that; a time when we’ll read about early stages of human history, when microbes or accidents or diseases or wear and tear could just kill humans against their own will; a time the AI Revolution could bring to an end with the merging of humans and AI.12 This is how Kurzweil believes humans will ultimately conquer our biology and become indestructible and eternal—this is his vision for the other side of the balance beam. And he’s convinced we’re gonna get there. Soon.
결국 커즈와일은 인간이 완전히 인공적인 물질로 구성된 정도에 까지 이르게 될 것이라고 생각한다. 그때에 인간은 생물학적인 물질들을 보면서 인간의 몸이 얼마나 원시적인 물질들로 만들어졌는가를 생각하는 시대를 커즈와일은 예견한다. 동시에 이 미래시대의 인간은 인간이 미생물이나 사고 혹은 질병이나 노화로 인간의 의지에 반해서 죽음을 겪는 현재의 상황을 역사로 읽게 될 날들을 그는 상상한다. 인공지능 혁명은 인간과 인공지능이 완전히 결합하는 순간에 끝나게 될 것이다. 이것이 커즈와일이 인간이 궁극적으로 우리 인간의 생명작용을 정복하고 더 이상 죽지 않을 것이라고 믿는 이유다. 위에 언급한 점들이 초강력 인공지능이 인류에게 선물할 미래에 대한 커즈와일의 희망적인 그림이다. 그는 우리가 곧 그 시대에 이르게 될 것이라고 확신하다. 정말 머지 않았다라고.
You will not be surprised to learn that Kurzweil’s ideas have attracted significant criticism. His prediction of 2045 for the singularity and the subsequent eternal life possibilities for humans has been mocked as “the rapture of the nerds,” or “intelligent design for 140 IQ people.” Others have questioned his optimistic timeline, or his level of understanding of the brain and body, or his application of the patterns of Moore’s law, which are normally applied to advances in hardware, to a broad range of things, including software. For every expert who fervently believes Kurzweil is right on, there are probably three who think he’s way off.
여러분은 커즈와일의 생각이 상당한 비판을 받을 것이라는 사실을 이미 느꼈을 것이다. 2045년에 초강력 인공지능이 출현하고 그 이후에 인간에게 영생의 가능성이 열린다는 그의 예측은 머저리 혹은 아이큐가 140인 똑똑한 사람의 꿈같은 환상으로 조롱당해왔다. 커즈와일의 다른 비평가들은 그의 너무 낙관적인 시대 전망을 의심한다. 동시에 커즈와일이 가지고 있는 인간의 뇌와 몸에 대한 이해 혹은 지식수준을 의심하기도 한다. 물론 커즈와일이 계산하고 있는 무어의 법칙 (컴퓨터의 기능이 대략 2년마다 두 배씩 향상된다는 법칙)의 적용도 비평가들은 문제 삼는다. 이 무어의 법칙은 보통 컴퓨터의 하드웨어에 적용된다. 물론 소프트웨어를 포함해서 더 넓은 범위까지 적용되기도 한다. 커즈와일이 옳다고 믿는 모든 전문가들에게 있어 커즈와일이 틀렸다고 믿는 사람이 아마 3명 정도가 될 수 있다.
But what surprised me is that most of the experts who disagree with him don’t really disagree that everything he’s saying is possible. Reading such an outlandish vision for the future, I expected his critics to be saying, “Obviously that stuff can’t happen,” but instead they were saying things like, “Yes, all of that can happen if we safely transition to ASI, but that’s the hard part.” Bostrom, one of the most prominent voices warning us about the dangers of AI, still acknowledges:
하지만 커즈와일에게 동의하지 않은 대부분의 전문가들이 그가 말한 모든 것이 가능하다는 사실을 부정하지 않고 있다는 사실이 필자를 놀라게 만들었다. 미래에 대한 커즈와일의 이상한 전망을 읽으면서 필자는 그의 비평가들이 다음과 같이 비판할 것이라고 기대했다: 분명히 커즈와일이 예언한 시대는 오지 않을 것이다. 하지만 이 커즈와일의 비평가들은 다음과 같이 말하고 있었다: 맞아! 커즈와일이 말한 것들이 다 일어날 수 있어 하지만 우리가 안전하게 초강력 인공지능을 발명하고 그 환경에 완벽하게 적응했을 때 이 모든 일들이 일어날 수 있어. 하지만 초강력 인공지능 시대가 오는 것 그리고 이 환경에 인간이 안전하게 적응하는 일은 어려운 일이야. 초강력 인공지능에 관해 경고하는 목소리 중에 가장 가치가 있는 평가는 보스트롬의 입에서 나온다. 그는 다음과 같은 사실을 인정 한다:
It is hard to think of any problem that a superintelligence could not either solve or at least help us solve. Disease, poverty, environmental destruction, unnecessary suffering of all kinds: these are things that a superintelligence equipped with advanced nanotechnology would be capable of eliminating. Additionally, a superintelligence could give us indefinite lifespan, either by stopping and reversing the aging process through the use of nanomedicine, or by offering us the option to upload ourselves. A superintelligence could also create opportunities for us to vastly increase our own intellectual and emotional capabilities, and it could assist us in creating a highly appealing experiential world in which we could live lives devoted to joyful game-playing, relating to each other, experiencing, personal growth, and to living closer to our ideals.
초강력 인공지능이 풀 수 없는 혹은 우리가 풀 수 있도록 도와 줄 수 없는 문제들을 상상하는 일은 어렵다. 질병, 빈곤, 환경파괴, 모든 종류의 불필요한 고통은 다 해결될 것이다: 위에 언급된 인류가 직면한 현재의 문제들은 진화된 나노기술을 탑재한 초강력 인공지능이 다 해결할 수 있는 것들이다. 게다가 초강력 인공지능은 인간에게 무한한 수명을 제공할 수 있을 것이다. 나노 의학의 사용을 통해 노화과정을 멈추거나 되돌림으로써 영생이 가능할 수 도 있을 것이다. 우리 자신을 업로드함으로써 인간의 영생이 가능하게 될 수 도 있다. 초강력 인공지능은 우리가 엄청나게 우리의 지능을 그리고 감정적인 능력을 향상시킬 수 있는 기회를 만들어 낼 수 도 있을 것이다. 초강력 인공지능은 매우 매력적이면서 실험적인 세계를 만들어 낼 수 있고 이 세계에서 인간은 즐거운 게임, 사교활동 그리고 자아의 실현과 인격의 성숙을 경험할 수 있는 그리고 인간이 가진 이상적인 가치에 맞게 사는 일에만 인간이 전념할 수 있게 될 것이다. 유토피아를 초강력 인공지능이 만들어 낼 수 있다는 말이다.
This is a quote from someone very much not on Confident Corner, but that’s what I kept coming across—experts who scoff at Kurzweil for a bunch of reasons but who don’t think what he’s saying is impossible if we can make it safely to ASI. That’s why I found Kurzweil’s ideas so infectious—because they articulate the bright side of this story and because they’re actually possible. If it’s a good god.
이러한 미래에 대한 예측은 초강력 인공지능이 곧 출현하며 그리고 긍정적인 결과를 가져올 것이라고 하는 전문가 그룹에서 나온 분석이 아니다. 하지만 위와 같은 분석은 커즈와일을 수많은 이유로 비웃는 전문가들에게서 나온 것이다. 하지만 이 커즈와일을 비평하는 전문가들은 커즈와일이 말한 것이 불가능하다고 생각하지 않는다. 만약 우리가 안전하게 초강력 인공지능 환경에 적응한다면 커즈와일이 예측한 세계가 올 것이라고 이 커즈와일 비평가들도 생각한다. 이런 이유 때문에 필자는 커즈와일의 예측이 설득력이 있다고 생각한다. 왜냐하면 커즈와일의 예측들은 이 전망에 대한 긍정적인 부분들을 명확하게 설명하고 있고 동시에 실제로 이러한 예측들이 일어날 가능성이 있기 때문이다. 초강력 인공지능이 그저 착한 신이 되기만 한다면.....
The most prominent criticism I heard of the thinkers on Confident Corner is that they may be dangerously wrong in their assessment of the downside when it comes to ASI. Kurzweil’s famous book is over 700 pages long and he dedicates around 20 of those pages to potential dangers. I suggested earlier that our fate when this colossal new power is born rides on who will control that power and what their motivation will be. Kurzweil neatly answers both parts of this question with the sentence, “[ASI] is emerging from many diverse efforts and will be deeply integrated into our civilization’s infrastructure. Indeed, it will be intimately embedded in our bodies and brains. As such, it will reflect our values because it will be us.”
초강력 인공지능이 곧 그리고 좋은 결과를 가져 올 것이라고 예측하는 사상가들에게 가해지는 비평 중에 하나는 이 이론가 그룹들이 너무 초강력 인공지능 환경에 대한 위험하게 느껴질 정도의 낙관적인 평가를 내리고 있다는 지적이다. 커즈와일의 유명한 저서는 700 쪽이 넘는다. 커즈와일은 이 두꺼운 책에서 대략 20 쪽 정도를 초강력 인공지능의 위험성에 대한 분석에 할애했다. 필자는 이 새로운 거대한 인공지능이 출현하면 인간의 운명은 누가 이 초강력 인공지능을 제어할 것인지 그리고 이 인공지능을 통제하는 사람들의 의도에 달려 있다고 이 글의 시작부분부터 주장했다. 커즈와일은 한 문장으로 이 두 문제에 대해 깔끔하게 대답 한다: 초강력 인공지능은 여러 다양한 노력 때문에 발생할 것이고 우리 문명의 기반에 통합될 것이다. 진짜로 초강력 인공지능은 아주 친밀하게 우리 몸과 뇌에 자리 잡을 것이다. 이렇기 때문에 초강력 인공지능은 인간이 가지고 있는 여러 가치를 공유할 것이고 그 모습을 우리에게 보여 줄 것이다. 왜냐하면 초강력 인공지능이 우리가 될 것이기 때문이다.
But if that’s the answer, why are so many of the world’s smartest people so worried right now? Why does Stephen Hawking say the development of ASI “could spell the end of the human race” and Bill Gates say he doesn’t “understand why some people are not concerned” and Elon Musk fear that we’re “summoning the demon”? And why do so many experts on the topic call ASI the biggest threat to humanity? These people, and the other thinkers on Anxious Avenue, don’t buy Kurzweil’s brush-off of the dangers of AI. They’re very, very worried about the AI Revolution, and they’re not focusing on the fun side of the balance beam. They’re too busy staring at the other side, where they see a terrifying future, one they’re not sure we’ll be able to escape
하지만 만약 커즈와일의 그 대답이 정답이라면, 왜 그토록 많은 수많은 지구의 천재들이 초강력 인공지능에 관해 걱정하고 있을까? 스티븐 호킹은 초강력 인공지능의 개발은 인류의 종말을 가져올 수 있다고 경고한다. 빌 게이츠는 왜 사람들이 이 인공지능에 관해 걱정하지 않는지 이해할 수 없다고 말한다. 엘론 머스크는 인류가 악마를 만들고 있다고 두려워 한다. 왜 이렇게 많은 인공지능 관련 전문가들이 초강력 인공지능을 인류에 가장 큰 위협이라고 부를까? 이 전문가들과 초강력 인공지능이 곧 올 수 있다고 생각하면서 그 결과가 긍정적일지 부정적일지 확신하지 못하는 전문가 그룹은 이 인공지능이 초래할 미래에 대한 지나치게 낙관적인 커즈와일의 전망에 동의하지 않는다. 이 그룹의 전문가들은 초강력 인공지능의 혁명의 시대에 대해 대단히 걱정하고 있다. 이 전문가 그룹은 이 인공지능이 가져 올 낙관적인 미래에 집중하지 않는다. 이들은 이 인공지능이 가져 올 나머지 한 쪽의 가능성에 대해 생각하느라 바쁘다. 이 전문가 그룹은 끔찍한 미래를 예측한다. 그리고 이들은 인류가 이 끔찍한 미래로부터 탈출할 수 있을지에 대해 확신하지 못하고 있다.
* 약간의 오역이 있을 수 있어 원문과 같이 올립니다. 참고하시기 바랍니다.
* 인공지능 4부에서는 인공지능이 가져 올 인류의 멸종 시나리오가 공개됩니다.
Bibliography
Tim Urban, 'The AI Revolution: The Road to Super-intelligence' WAIT BUT WHY [website], (updated 22 Jan. 2015) <http://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html>, accessed 24 Jan. 2016.