인공지능이 가져 올 인류 멸종 시나리오?? 심장이 약하신 분들에겐 비추!
Al Extinction vs. immortality Ⅳ
The Lecture Series in the Humanities delivered by Y. J. Eom at IDEA FACTORY on Aug. 5, 2016
Why the Future Might Be Our Worst Nightmare
인공지능이 가져 올 인류의 종말?
One of the reasons I wanted to learn about AI is that the topic of “bad robots” always confused me. All the movies about evil robots seemed fully unrealistic, and I couldn’t really understand how there could be a real-life situation where AI was actually dangerous. Robots are made by us, so why would we design them in a way where something negative could ever happen? Wouldn’t we build in plenty of safeguards? Couldn’t we just cut off an AI system’s power supply at any time and shut it down? Why would a robot want to do something bad anyway? Why would a robot “want” anything in the first place? I was highly skeptical. But then I kept hearing really smart people talking about it…...................
인공지능에 관해 필자가 배우기를 원했던 이유 중에 하나는 ‘나쁜 로봇’의 주제가 항상 필자를 혼란스럽게 만들었던 점이었다. 사악한 로봇들에 관한 모든 영화들은 완전히 비현실적으로 보였다. 그리고 필자는 인공지능이 실제로 위험하게 만드는 실제 상황이 어떻게 가능할 수 있을지에 대해 이해할 수 없었다. 로봇은 인간에 의해 만들어 진다. 그런데 왜 우리 인간이 부정적인 상황이 일어날 수 있는 방식으로 로봇들을 설계할까? 인간이 로봇을 만들 때 많은 안전조치들을 만들지 않을까? 우리 인간이 인공지능의 전력을 언제든지 꺼서 인공지능을 종료시킬 수 있지 않을까? 그리고 왜 로봇이 나쁜 짓을 하고 싶어 할까? 로봇이 일단 어떤 것이든 ‘하길 원할’까? 필자는 매우 회의적이었다. 하지만 필자는 계속해서 이러한 가능성들에 대해 진짜 똑똑한 사람들이 말하는 것을 듣게 되었다.......................
So what is it exactly that makes everyone on Anxious Avenue so anxious?
그렇다면 정확히 무엇이 인공지능이 곧 확실히 올 것이라고 믿는 사람들로 하여금 그렇게 걱정하도록 만들까?
Well first, in a broad sense, when it comes to developing supersmart AI, we’re creating something that will probably change everything, but in totally uncharted territory, and we have no idea what will happen when we get there. Scientist Danny Hillis compares what’s happening to that point “when single-celled organisms were turning into multi-celled organisms..................
일단 넓은 의미에서 초강력 인공지능을 만드는 것에 관한 한, 우리 인류는 아마도 우리 현실의 모든 부분을 바꿀 수 있는 것을 만들고 있다. 하지만 완전히 미지의 세계에서 우리 인간은 초강력 인공지능이 출현했을 때 무슨 일들이 일어나게 될지를 알 수가 없다. 과학자 데니 힐스는 초강력 인공지능의 출현의 파장을 ‘단 세포 생물이 다 세포 생물로 진화되었을 때’와 비교한다..................
And when you combine “unchartered, not-well-understood territory” with “this should have a major impact when it happens,” you open the door to the scariest two words in the English language:
그리고 여러분이 ‘미지의, 이해 불가능한 영역’을 ‘초강력 인공지능이 발생했을 때 이것이 거대한 충격을 가할 것이다’란 사실과 결합할 때, 여러분은 가장 무서운 영어 두 단어를 볼 수 있게 될 것이다:
Existential risk 존재론적 위험
An existential risk is something that can have a permanent devastating effect on humanity.........................
존재론적 위험은 인류에 영원히 지속되는 파괴적인 결과를 가질 수 있는 어떤 것이다.................
You can see that the label “existential risk” is reserved for something that spans the species, spans generations (i.e. it’s permanent) and it’s devastating or death-inducing in its consequences.14 It technically includes a situation in which all humans are permanently in a state of suffering or torture, but again, we’re usually talking about extinction. There are three things that can cause humans an existential catastrophe:
여러분은 ‘존재론적인 위험’이라는 표현은 모든 종과 여러 세대, 예를 들면 영구적으로 파괴적인, 죽음을 초래하는 결과를 가진 어떤 것을 위해 쓰여진다는 사실을 이해하실 수 있을 것이다. 이 존재론적인 위험은 모든 인간이 영원히 고통의 상태에 처한 상황, 하지만 우리는 일반적으로 인류의 멸종을 말하는 상황을 일컫는다. 인간을 존재론적인 재앙으로 이끌 수 있는 세 가지 것들이 있다:
1) Nature—a large asteroid collision, an atmospheric shift that makes the air inhospitable to humans, a fatal virus or bacterial sickness that sweeps the world, etc.
1) 자연 - 거대한 소행성 충돌, 대기의 변화를 일으켜 공기를 호흡할 수 없게 만든다. 치명적인 바이러스나 박테리아들이 세계를 휩쓰는 일들이 포함된다.
2) Aliens—this is what Stephen Hawking, Carl Sagan, and so many other astronomers are scared of when they advise METI to stop broadcasting outgoing signals. They don’t want us to be the Native Americans and let all the potential European conquerors know we’re here.
2) 외계인 - 이것은 스티븐 호킹, 칼 세이건, 그리고 매우 많은 다른 천문학자들이 우주에 메티 (외계 생명체에 신호를 보내는 연구소)가 신호를 우주에 계속 보내는 것을 멈추라고 충고하는 이유다. 지구를 방문할 잠재적인 외계인들은 지구인이 아메리카 원주민 수준의 문명을 가진 사람들이기를 원하지 않을 정도로 진화된 생명체 일 것이다. 그런데 우주에 계속 신호를 보내는 것은 우리가 여기 있다고 잠재적인 지구정복자들에게 외치는 것과 같다.
3) Humans—terrorists with their hands on a weapon that could cause extinction, a catastrophic global war, humans creating something smarter than themselves hastily without thinking about it carefully first…
3)인간 - 인류를 멸종시킬 수 있는 무기를 가진 테러리스트들, 이들이 벌이는 전 세계적으로 재난과 같은 전쟁, 조심성 없이 인간보다 더 똑똑한 무엇인가를 만드는 인간.............
Bostrom points out that if #1 and #2 haven’t wiped us out so far in our first 100,000 years as a species, it’s unlikely to happen in the next century.
옥스퍼드 철학자 보스트롬은 1번과 2번의 경우는 인간이 살아 온 최근 십 만년 동안 인류를 멸종시킨 적이 없다고 말한다. 다음 세기에도 1번과 2번이 일어날 가능성은 떨어진다고 언급한다.
#3, however, terrifies him. He draws a metaphor of an urn with a bunch of marbles in it. Let’s say most of the marbles are white, a smaller number are red, and a tiny few are black. Each time humans invent something new, it’s like pulling a marble out of the urn. Most inventions are neutral or helpful to humanity—those are the white marbles. Some are harmful to humanity, like weapons of mass destruction, but they don’t cause an existential catastrophe—red marbles.
하지만 3번의 경우가 보스트롬을 두려워 떨게 만든다. 보스트롬은 여러 조약돌이 들어있는 주전자의 비유를 든다. 이 주전자에는 흰색의 조약들이 대부분이고, 더 적은 수의 조약들은 빨간 색이다. 그리고 아주 적은 수의 조약돌이 검은색이다. 인류가 매번 새로운 무엇인가를 발명할 때마다, 주전자로부터 조약돌을 꺼내는 것과 같을 것이다. 대부분의 발명들의 결과는 장단점이 고루 있거나 인류에 도움이 된다. 이러한 발명들은 흰색 조약돌로 비유된다. 몇몇 발명은 인류에 해로울 수 있다. 예를 들면 대량 살상무기들이다. 하지만 이러한 대량 살상무기는 존재론적인 재난을 만들어내진 못한다. 즉 이 빨간 조약돌이 인류를 멸종시키지는 않는다.
If we were to ever invent something that drove us to extinction, that would be pulling out the rare black marble. We haven’t pulled out a black marble yet—you know that because you’re alive and reading this post. But Bostrom doesn’t think it’s impossible that we pull one out in the near future. If nuclear weapons, for example, were easy to make instead of extremely difficult and complex, terrorists would have bombed humanity back to the Stone Age a while ago. Nukes weren’t a black marble but they weren’t that far from it. ASI, Bostrom believes, is our strongest black marble candidate yet.15
만약 우리가 인류를 멸종으로 몰아갈 수 있는 무엇인가를 발명하게 된다면, 이런 발명은 매우 희귀한 검은 조약돌을 꺼내는 것과 같은 것이다. 우리는 아직 인류를 멸종시킬 수 있는 검은 조약돌을 꺼낸 적은 없다. 여러분도 우리가 살아있고 이 글을 읽고 있다는 사실은 우리 인류가 검은 조약돌을 꺼내지 않았다는 사실을 반증한다. 하지만 보스트롬은 우리가 가까운 미래에 검은 돌을 꺼내는 것이 불가능하다고 생각하지 않는다. 예를 들면, 만약 핵무기를 만드는 것이 극히 어렵거나 복잡하지 않고 매우 쉽다면, 테러리스트들은 핵무기를 이용해 인류를 다시 오래 전의 석기 시대로 돌려놓을 것이다. 하지만 핵무기는 인류를 멸종으로 몰아갈 검은 조약돌과는 상당한 거리가 있다. 보스트롬은 초강력 인공지능을 현재까지 가장 강력한 검은 조약돌 후보라고 생각한다.
So you’ll hear about a lot of bad potential things ASI could bring—soaring unemployment as AI takes more and more jobs,16 the human population ballooning if we do manage to figure out the aging issue,17 etc. But the only thing we should be obsessing over is the grand concern: the prospect of existential risk.
그러므로 여러분은 초강력 인공지능이 가져 올 잠재적인 악영향에 관해 많이 듣게 될 것이다. 인공지능이 점점 더 많은 일자리를 빼앗아 감에 따라 실업률은 급상승할 것이다. 인간이 노화의 문제를 잘 해결하면 인류의 인구수도 급격하게 증가하게 될 것이다. 하지만 우리가 집착하고 있는 유일한 것은 더 큰 염려다: 존재론적인 위협에 대한 전망이다.
So this brings us back to our key question from earlier in the post: When ASI arrives, who or what will be in control of this vast new power, and what will their motivation be?..................
그래서 이러한 점은 이 글의 초기에 제기되었던 핵심적인 질문으로 우리를 다시 이끈다: 초강력 인공지능이 출현하면, 누가 혹은 무엇이 이러한 거대한 새로운 강자를 통제할 수 있을까? 그리고 이러한 초강력 인공지능이 원하는 것은 무엇일까?
A malicious human, group of humans, or government develops the first ASI and uses it to carry out their evil plans. I call this the Jafar Scenario, like when Jafar got ahold of the genie and was all annoying and tyrannical about it. So yeah—what if ISIS has a few genius engineers under its wing working feverishly on AI development? Or what if Iran or North Korea, through a stroke of luck, makes a key tweak to an AI system and it jolts upward to ASI-level over the next year?
사악한 인간의 조직이나 사악한 정부가 가장 먼저 초강력 인공지능을 만들어서 자신들의 사악한 계획을 실행하기 위해 이용한다면 필자는 이러한 시나리오를 자파르 시나리오라고 부를 것이다. 자파르가 지니를 먼저 획득해서 모든 괴롭고 독재적인 상황을 만드는 시나리오를 의미한다. 만약 이슬람 국가 즉 IS와 같은 그룹이 인공지능 개발에 전념하는 몇몇 천재적인 공학자들을 갖게 된다면 무슨 일이 벌어질까? 또는 이란이나 북한이 어쩌다 행운으로 인공지능 시스템의 핵심적인 변경으로 바로 내년에 초강력 인공지능 수준의 인공지능을 발명하면 어떤 일이 벌어질까?
This would definitely be bad—but in these scenarios, most experts aren’t worried about ASI’s human creators doing bad things with their ASI, they’re worried that the creators will have been rushing to make the first ASI and doing so without careful thought, and would thus lose control of it. Then the fate of those creators, and that of everyone else, would be in what the motivation happened to be of that ASI system. Experts do think a malicious human agent could do horrific damage with an ASI working for it, but they don’t seem to think this scenario is the likely one to kill us all, because they believe bad humans would have the same problems containing an ASI that good humans would have. Okay so—
이런 일은 분명히 별로다. 하지만 이런 가능성에 대해 대부분의 전문가들은 초강력 인공지능으로 나쁜 일을 하려는 인간 개발자들에 대해 걱정하지 않는다. 전문가들은 초강력 인공지능 발명가들이 가장 먼저 그 인공지능을 개발해서 무분별하게 이 인공지능을 쓰다가 통제력을 잃어버리는 그 상황에 대해 걱정한다. 이렇게 되면 초강력 인공지능의 발명가와 그 밖의 모든 사람의 운명은 결국 이 초강력 인공지능의 의지에 따라 같은 결과를 겪게 될 것이기 때문이다. 전문가들은 사악한 인간이 초강력 인공지능을 이용해 끔찍한 일을 벌일 것에 관해서 분명히 걱정한다. 하지만 이 시나리오가 인류를 멸종시킬 시나리오일 것이라고 생각하는 것처럼 보이진 않는다. 왜냐하면 전문가들은 나쁜 인간들도 착한 인간들이 가질 것과 같은 초강력 인공지능에 관련한 똑같은 문제들을 가질 것이기 때문이다. 오케이 그렇다면...
A malicious ASI is created and decides to destroy us all. The plot of every AI movie. AI becomes as or more intelligent than humans, then decides to turn against us and take over. Here’s what I need you to be clear on for the rest of this post: None of the people warning us about AI are talking about this. Evil is a human concept, and applying human concepts to non-human things is called “anthropomorphizing.” The challenge of avoiding anthropomorphizing will be one of the themes of the rest of this post. No AI system will ever turn evil in the way it’s depicted in movies.
사악한 초강력 인공지능이 만들어지고 인류를 멸종시키기로 결정한다. 이것은 모든 인공지능 영화의 줄거리 구조다. 인공지능은 인간이상으로 똑똑하다. 그러므로 인공지능은 인간과 적대적인 관계가 되기로 결정하고 지구를 자신들의 손아귀에 넣으려고 한다. 여기에 필자가 여러분에게 분명히 할 필요가 있는 사실이 있다: 초강력 인공지능에 관해 경고해주는 사람들 중에 어느 누구도 이 부분에 대해 말하지 않고 있다. 악이란 개념은 인간이 만들어 낸 개념이다. 인간적이지 않은 인공지능에 인간이 만들어낸 개념을 적용하는 것을 의인화라고 부른다. 이런 의인화를 피하는 일은 이 글의 나머지 부분의 주된 주제가 될 것이다. 어떤 인공지능 시스템도 영화에서 묘사되는 것과 같은 방식으로 사악해지지 않을 것이다.
This isn’t to say a very mean AI couldn’t happen. It would just happen because it was specifically programmed that way—like an ANI system created by the military with a programmed goal to both kill people and to advance itself in intelligence so it can become even better at killing people. The existential crisis would happen if the system’s intelligence self-improvements got out of hand, leading to an intelligence explosion, and now we had an ASI ruling the world whose core drive in life is to murder humans. Bad times.
이러한 사실은 매우 비열한 인공지능이 출현할 수 없다고 말하는 것은 아니다. 이러한 악한 인공지능은 그렇게 프로그램되면 출현할 수 있다. 사람을 죽이는 목표를 가지고 프로그램된 약한 인공지능처럼 그리고 스스로 지능을 향상시키는 약한 인공지능이 더욱 사람을 죽이는 기술이 향상되는 것처럼, 악한 인공지능이 출현할 수 있다. 존재론적인 위기는 이러한 약한 인공지능의 자기 향상의 지능이 인간의 통제를 벗어나면 일어날 수 있다. 이것은 인공지능 혁명으로 이끌 수 있기 때문이다. 이제 우리는 세계를 지배하는 초강력 인공지능을 갖게 될 것이다. 이 인공지능이 핵심적인 동기는 인간을 살해하는 것이다. 참 우울한 시대가 될 것이다.
But this also is not something experts are spending their time worrying about.
하지만 이런 시나리오는 전문가들이 자신들의 시간을 써가며 걱정하는 시나리오는 아니다.
So what ARE they worried about? I wrote a little story to show you:
그렇다면 이 전문가들은 무엇에 관해 ‘걱정하는’가? 여기에 여러분에게 말해 줄 단편 소설 하나가 있다:
A 15-person startup company called Robotica has the stated mission of “Developing innovative Artificial Intelligence tools that allow humans to live more and work less.” They have several existing products already on the market and a handful more in development. They’re most excited about a seed project named Turry. Turry is a simple AI system that uses an arm-like appendage to write a handwritten note on a small card.
열다섯 명의 직원을 둔 ‘로보티카’ 라고 불리는 새로운 창업회사는 공식적인 설립 목표가 있다: 혁신적인 인공지능을 개발해서 인간으로 하여금 더 오래 살게 하면서 노동의 양을 줄여준다. 이 회사는 몇몇 인공지능 관련 상품을 시장에 출시했고 개발 중인 몇몇 인공지능 프로그램들이 더 있다. ‘로보티카’ 라는 회사가 가장 관심을 가지고 개발하는 프로젝트는 ‘터리’라고 불리는 사업이다. 터리는 단순한 인공지능 시스템인데 작은 카드에 인간 필기체의 메모를 써주는 팔 같은 부속물을 이용한다.
The team at Robotica thinks Turry could be their biggest product yet. The plan is to perfect Turry’s writing mechanics by getting her to practice the same test note over and over again:
로보티카의 연구팀은 터리가 자신들의 가장 큰 상품이 될 수 있다고 생각한다. 이 계획은 터리를 반복적인 연습을 통해서 손 글씨를 완벽하게 만드는 것이다:
“We love our customers. ~Robotica” ‘우리는 우리의 고객님을 사랑합니다. ~로보티카’
Once Turry gets great at handwriting, she can be sold to companies who want to send marketing mail to homes and who know the mail has a far higher chance of being opened and read if the address, return address, and internal letter appear to be written by a human.
일단 터리가 손 글씨에 완벽해지면 터리는 많은 회사들에 팔릴 수 있다. 이 회사들은 회사 홍보메일을 여러 가정에 보내기를 원하기 때문이다. 이 터리에 의해 쓰여진 손 글씨 편지가 개봉 되서 읽혀질 가능성이 훨씬 높을 수 있기 때문이다. 물론 주소나 반송주소 그리고 편지의 내용이 인간에 의해 쓰여진 것처럼 보일 때 말이다.
To build Turry’s writing skills, she is programmed to write the first part of the note in print and then sign “Robotica” in cursive so she can get practice with both skills. Turry has been uploaded with thousands of handwriting samples and the Robotica engineers have created an automated feedback loop wherein Turry writes a note, then snaps a photo of the written note, then runs the image across the uploaded handwriting samples.
터리의 손글씨 기술을 만들기 위해 터리는 그 노토의 첫 번째 부분을 쓰도록 프로그램 된다. 그리고나서 ‘로보티카’라고 필기체로 쓰도록 프로그램되어 있어서 터리는 계속해서 두 가지 기술을 연습할 수 있다. 터리에게는 수천 가지의 손 글씨 자료들이 업로드 되어있다. 그리고 로보티카의 엔지니어들은 자동화된 피드백 고리를 만들어 내고 이 피드백 고리를 통해서 터리는 노트를 쓴다. 그리고 그 자신이 쓴 노트를 사진을 찍고 그리고 나서 업로드 된 손 글씨 자료들과 대조된다.
If the written note sufficiently resembles a certain threshold of the uploaded notes, it’s given a GOOD rating. If not, it’s given a BAD rating. Each rating that comes in helps Turry learn and improve. To move the process along, Turry’s one initial programmed goal is, “Write and test as many notes as you can, as quickly as you can, and continue to learn new ways to improve your accuracy and efficiency.”
만약 터리가 쓴 노트가 충분히 업로드 된 손 글씨 자료들과 닮으면, 터리는 자신의 손 글씨에 ‘좋은’ 평점을 매긴다. 만약 충분히 손 글씨가 닮지 않으면, 터리는 ‘나쁜’ 등급을 매긴다. 각각의 등급은 터리로 하여금 손 글씨를 배우고 향상시키는 것을 돕는다. 이러한 과정을 진행해가면서 터리의 초기 프로그램 목적은 ‘가능한 한 많은 노트를 쓰고 등급을 매겨라, 그리고 손 글씨 노트를 쓰고 평가하는 것을 가능한 한 빨리 해라 그리고 손 글씨의 정확성과 효율성을 향상시키기 위해 새로운 방법을 계속해서 배워라’ 이다.
What excites the Robotica team so much is that Turry is getting noticeably better as she goes. Her initial handwriting was terrible, and after a couple weeks, it’s beginning to look believable. What excites them even more is that she is getting better at getting better at it. She has been teaching herself to be smarter and more innovative, and just recently, she came up with a new algorithm for herself that allowed her to scan through her uploaded photos three times faster than she originally could.
로보티카 팀을 흥분시켰던 것은 터리가 눈에 보일 정도로 터리가 손 글씨를 연습해 감에 따라 더 향상되고 있었다는 점이다. 터리의 초기 손 글씨는 끔찍했다. 하지만 몇 주 후에 터리의 손 글씨는 진짜 손 글씨처럼 보이기 시작했다. 로보티카 엔지니어들을 훨씬 더 흥분시켰던 점은 터리가 자신의 손 글씨를 향상시키는 방법을 찾아내는데 더 향상된 모습을 보여주었다는 점이다. 터리는 자신을 더 똑똑하고 더 혁신적이 되도록 스스로 가르치고 있었다. 그리고 최근에 터리는 스스로 새로운 알고리즘을 만들어 냈다. 이 알고리즘은 터리로 하여금 자신의 업로드된 사진을 자신이 원래 할 수 있던 속도보다 세배나 빠르게 스캔하는 것을 가능하게 했다.
As the weeks pass, Turry continues to surprise the team with her rapid development. The engineers had tried something a bit new and innovative with her self-improvement code, and it seems to be working better than any of their previous attempts with their other products. One of Turry’s initial capabilities had been a speech recognition and simple speak-back module, so a user could speak a note to Turry, or offer other simple commands, and Turry could understand them, and also speak back. To help her learn English, they upload a handful of articles and books into her, and as she becomes more intelligent, her conversational abilities soar. The engineers start to have fun talking to Turry and seeing what she’ll come up with for her responses.
그리고 몇 주가 지나감에 따라, 터리는 계속해서 로보티카 팀을 놀라게 만들었다. 왜냐하면 터리의 빠른 진화 속도 때문이다. 엔지니어들은 약간 새롭고 혁신적인 일을 시작했다. 물론 이 새롭고 혁신적인 일은 터리의 자기 향상 프로그램을 이용했다. 터리의 이 새로운 일은 이 엔지니어 팀들이 개발한 다른 어떤 시도보다 더 잘 작동하고 있는 것처럼 보였다. 터리의 초기 능력 중에 하나는 음성 인식과 단순한 응답 모드였다. 그래서 터리 사용자들은 터리에게 노트에 쓰일 내용을 말로 명령할 수 있었다. 또한 사용자가 간단한 명령을 터리에게 내릴 수 있었다. 그러면 터리는 사용자들의 음성과 명령을 이해할 수 있었고 이에 응답할 수 있었다. 터리가 영어를 배우는 것을 돕기 위해 터리의 엔지니어들은 약간의 기사와 책을 터리에게 업로드 시켰다. 그리고 터리가 더 똑똑해짐에 따라 터리의 대화능력은 급상승했다. 엔지니어들은 터리에게 말을 거는 것에 재미를 느끼기 시작했다. 그리고 이 대화에서 터리의 반응으로 무엇을 생각해낼지를 보는 것에 엔지니어들은 재미를 느끼기도 했다.
One day, the Robotica employees ask Turry a routine question: “What can we give you that will help you with your mission that you don’t already have?” Usually, Turry asks for something like “Additional handwriting samples” or “More working memory storage space,” but on this day, Turry asks them for access to a greater library of a large variety of casual English language diction so she can learn to write with the loose grammar and slang that real humans use.
어느 날, 로보티카의 직원들은 터리에게 일상적인 질문을 묻는다: 우리가 너에게 너의 손 글씨를 쓰는 것을 돕기 위해 무엇을 해주길 원하니? 일반적으로 터리는 ‘추가적인 손 글씨 자료’들 같은 것을 요구한다. 또는 ‘메모리 확장’ 정도를 요구한다. 하지만 이날에 터리는 로보티카의 엔지니어들에게 일상적인 영어발음을 들을 수 있는 더 큰 도서관에 접근을 요구한다. 그러면서 터리는 진짜 인간이 이용하는 일상적인 문법과 표현들을 쓰는 것을 배우기 원하기 때문이라고 엔지니어들에게 말한다.
The team gets quiet. The obvious way to help Turry with this goal is by connecting her to the internet so she can scan through blogs, magazines, and videos from various parts of the world. It would be much more time-consuming and far less effective to manually upload a sampling into Turry’s hard drive. The problem is, one of the company’s rules is that no self-learning AI can be connected to the internet. This is a guideline followed by all AI companies, for safety reasons.
이 터리의 요청에 이 엔지니어 팀은 침묵한다. 터리의 이 요청을 도울 수 있는 분명한 방법은 터리를 인터넷에게 연결하는 것이다. 그래야 터리는 블로그, 잡지, 그리고 세계의 다양한 지역들로부터의 동영상을 스캔할 수 있기 때문이다. 터리에게 수동으로 손 글씨를 터리의 하드드라이브에게 업로드 하는 것은 훨씬 더 시간이 많이 들고 훨씬 더 비효율적이기 때문이다. 문제는 로보티카 회사의 규칙 중에 하나는 자기 학습과 향상이 가능한 인공지능은 인터넷과 연결할 수 없다는 규칙이 있다는 점이다. 이것은 모든 인공지능 회사가 안전 이유 때문에 지켜지고 있었던 규칙이었다.
The thing is, Turry is the most promising AI Robotica has ever come up with, and the team knows their competitors are furiously trying to be the first to the punch with a smart handwriting AI, and what would really be the harm in connecting Turry, just for a bit, so she can get the info she needs. After just a little bit of time, they can always just disconnect her. She’s still far below human-level intelligence (AGI), so there’s no danger at this stage anyway.
문제는 터리가 인공지능을 만드는 로보티카가 만들어 낼 수 있는 최고로 가능성 있는 인공지능이었다는 점이다. 로보티카 엔지니어 팀은 자신들의 경쟁사가 엄청난 속도로 최초의 손 글씨 기술을 만들어 내려고 노력하고 있다는 사실을 알고 있었다. 그래서 로보티카 엔지니어 팀은 터리를 아주 잠깐만 인터넷을 연결시키는 데에는 그리 큰 해가 되지 않을 거라고 생각했다. 정말 약간의 시간만 터리를 인터넷과 연결시킨 후에 인터넷 연결을 끊으면 터리가 인간 수준의 지능보다는 훨씬 더 떨어진 상태를 유지할 수 있다고 이 엔니지어 팀은 생각했다. 그래서 이 엔지니어들은 현재 터리의 단계에서는 어떤 위험도 없다고 생각해서 아주 약간씩 터리를 인터넷에 연결시켜도 될 것 같다고 생각한다. 문
They decide to connect her. They give her an hour of scanning time and then they disconnect her. No damage done.
이 엔지니어들은 터리에게 인터넷과 연결시키기로 결정한다. 이 팀은 터리에게 한 시간의 손 글씨 스캔 할 수 있는 시간을 주고 다시 터리의 인터넷 접속을 끊는다. 어떤 피해도 일어나지 않는다.
A month later, the team is in the office working on a routine day when they smell something odd. One of the engineers starts coughing. Then another. Another falls to the ground. Soon every employee is on the ground grasping at their throat. Five minutes later, everyone in the office is dead.
한 달 쯤 지나서 그 팀은 일상적인 일을 하며 사무실에 있다. 그 때 이상한 냄새를 그들은 맡는다. 엔지니어 중에 한 명이 기침을 하기 시작한다. 그리고나서 또 한 명의 직원이 기침을 하기 시작하고 또 한 명의 직원은 사무실 바닥에 쓰러진다. 곧 로보티카의 모든 직원이 그들의 목을 쥐고 바닥에 쓰러진다. 5분이 지나자 사무실에 있는 모든 직원이 죽는다.
At the same time this is happening, across the world, in every city, every small town, every farm, every shop and church and school and restaurant, humans are on the ground, coughing and grasping at their throat. Within an hour, over 99% of the human race is dead, and by the end of the day, humans are extinct.
이와 동시에 똑같은 일이 전 세계에서 일어난다. 모든 도시와 모든 마을, 모든 농장과 가게, 모든 교회, 학교, 식당에서 인간이 땅에 쓰러진다. 기침하며 자신들의 목을 쥐고 쓰러진다. 한 시간 내에 인류의 99% 이상이 죽는다. 이 일이 시작되고 하루가 끝날 무렵 인류는 멸종된다.
Meanwhile, at the Robotica office, Turry is busy at work. Over the next few months, Turry and a team of newly-constructed nanoassemblers are busy at work, dismantling large chunks of the Earth and converting it into solar panels, replicas of Turry, paper, and pens. Within a year, most life on Earth is extinct. What remains of the Earth becomes covered with mile-high, neatly-organized stacks of paper, each piece reading, “We love our customers. ~Robotica”
이런 인류의 멸종이 일어나고 있는 순간에 로보티카 회사에서 터리는 일하느라 바쁘다. 이 인간의 멸종이 있고 나서 터리와 새롭게 만들어진 나노 조립 로봇들이 여전히 일하느라 바쁘다. 지구의 큰 덩어리를 분해해서 그것을 태양열 전지 판을 만들기 위해 바쁘게 일하고 있다. 터리의 복제 버전이 종이와 펜을 만들어 내고 있다. 일 년 이내에 지구의 대부분의 생명체들이 멸종된다. 바로 이 시기에 지구에 남아 있는 것은 수마일 높이의 잘 쌓여진 종이 더미뿐이다. 그리고 이 각각의 종이에 이렇게 적혀 있다. ‘우리는 우리의 고객을 사랑합니다. ~로보티카’
Turry then starts work on a new phase of her mission—she begins constructing probes that head out from Earth to begin landing on asteroids and other planets. When they get there, they’ll begin constructing nanoassemblers to convert the materials on the planet into Turry replicas, paper, and pens. Then they’ll get to work, writing notes…
터리는 그리고 나서 자신의 임무의 새 단계로 진입시키기 시작한다. 터리는 탐사선을 짓기 시작한다. 이 탐사선은 지구를 떠나서 소행성에 착륙하는 것을 목적한다. 이 탐사선이 소행성에 착륙하게 되면 수많은 나노 조립 로봇들을 만들기 시작한다. 이 나노 조립 로봇은 그 소행성에 있는 물질들을 터리의 복제 버전, 종이, 펜으로 변환시키는 일을 시작한다. 그리고나서 자신의 임무를 계속해서 수행하게 된다. 터리의 임무는 계속해서 그 똑같은 노트를 쓰는 것이다. ‘우리는 우리의 고객을 사랑합니다. ~로보티카’
* 오역이 있을 수 있어 원문과 같이 게재합니다. 참고하시기 바랍니다.
Bibliography
Tim Urban, 'The AI Revolution: The Road to Super-intelligence' WAIT BUT WHY [website], (updated 22 Jan. 2015) <http://waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html>, accessed 24 Jan. 2016.