(독서) 마침내 특이점이 시작된다
독서와 생각 11
3~4년전쯤에 레이 커즈와일의 '특이점이 온다'를 읽었다. chat gpt가 출시되었거나 아마 그 이전일 것이다. 그 때의 메모는 단순했다.
EXPONENTIAL GROWTH
이제까지 지수적 증가를 이뤄왔던 정보산업은 현재도 지수적으로 그 범위와 양이 증가하고 있으며,
그 추세는 특정시기를 지나면 자가발전을 이뤄내게 될 것이라는 것.
이젠 특이점이 멀지 않았다.
충분한 에너지와 인프라만 갖춰진다면 우리는 이제껏 살던 세계와는 다른 세계에 살지도 모른다.
특이점이 온다는 내게 나름 중요한 전환점이 된 책이었다.
앞으로 모든 것이 이해하지 못하는 속도로 발전하고, 모든 것의 가격이 떨어진다면
나의 안정적 노후생활을 위해서는 세가지가 필요하다는 것을 깨달았기 때문이다.
1. 사회적으로 합의된 직장 : 법에 의해 보호되는 라이센스, 공무원 혹은 강력한 노조소속 직원
2. 나만의 것 : 내가 라이센스를 갖고 있는 창작물 혹은 그러한 것을 만들어낼 능력
3. 알 수 없는 발전을 해내게 될 기업 : 구글, 마이크로소프트, 테슬라와 같은 AI 테크 기업주식
지금도 이 생각에는 변함이 없다.
그래서 더욱 서점에서 레이 커즈와일의 신작을 만났을 때 집어들지 않을 수 없었다.
이번 책에서는 일전에 읽었던 팩트풀니스와 비슷한 견지의 주장이 담겨있었다.
"세상을 긍정적으로 바라보자, 기술은 더욱 세상을 풍요롭게 할 것이다."
"실제는 걱정보다 더 나아지고 있다" 와 같은 것들 말이다.
책은 전작보다 훨씬 읽기 쉽게 풀어져 있다.
오늘도 인상적인 구절만 남겨둔다.
(특이점이 온다를 처음 읽었을 때만해도 AI 로 글을 쓰고, 글을 읽는 것은 아직 상상하기 어려웠다. 그런데 요즘에는 글을 읽을 때는 AI로 요약해서 읽고, 글을 쓸 때는 AI로 장황하게 풀어쓰는 게 대세다. 점점 오리지널리티가 없어지고 있다. 그럴 때일수록 나만의 생각을 계속해서 남기는 작업이 중요하다고 생각한다)
1. (감수의 글)그에게 있어 중요한 것은 인간의 감정적 충격이 아니라 변화에 대한 적응 속도이다. 인간이라는 정체성은 본질적으로 가변적이고 설계 가능한 것이기 때문이다.
- 계속해서 반복될 내용이지만 '인간이라는 정체성은 본질적으로 가변적이고 설계 가능한 것'이라는 말이 레이 커즈와일이 사고를 전개하는 근간이다. 하지만 호모 사피엔스라는 종이 분화되고 현재까지 발전하는 과정에서 손에 쥐고 있는 것은 꾸준히 발전시켰지만 우리 내부의 무엇인가를 건든적이 없다는 것은 짚고 넘어가야겠다.
2. (감수의 글) 그는 인간을 하나의 임시단계로 본다. 진화를 위한 다리. 스스로를 넘어서는 기계적 존재로 이어지는 징검다리 말이다. 우리는 '호모 사피엔스'라는 이름을 버리고, '호모 테크놀로지쿠스'로 이행할 것이다. 우리는 스스로를 창조할 것이다. 그리고 스스로를 버릴 것이다.
- 호모 에릭투스에서 호모 사피엔스로 진화(?) 혹은 변화(?)하는 과정이 의식적이지는 않았을 것이다. 아직 우리는 진화의 과정을 맞이한 적이 없다. 그렇다면 과거의 사례에 비춰봤을 때 '의지'를 갖고 변하기 보단 '불가피하게' 변할 가능성이 더 높을 것이다. 우리는 아마도 '스스로를 창조'하기 보다는 '새롭게 창조될 수 밖에 없을' 것이다.
3. 소뇌의 이러한 능력은 아주 복잡한 구조가 낳은 결과가 아니다. 어른인간의 뇌에 존재하는 신경세포 중 대다수가 소뇌에 있긴 하지만, 유전체에는 소뇌의 전반적인 설계에 대한 정보가 그렇게 많지 않다. ~ 소뇌가 수천개의 소형 처리 모듈로 이루어져 있으며...
- 소뇌는 인간을 포함한 포유동물의 생존에 필요한 패턴들이 저장된 곳이다. 오랜기간 동안 생존의 본능이 축적된 결과라고 할 수 있는 것이다. 그런데 그것이 복잡한 패턴으로 이뤄져 있지 않다는 것이 어떤 의미일까. 오류를 줄일 수 있는 방법이기 때문인지, 최적화의 결과인지, 아니면 그냥 진화를 덜 한건지... 문득 떠오르는 장면이 하나 있다. 한 20년전쯤 '에볼루션'이라는 영화가 있었다. 외계에서 온 단세포 생물이 순식간에 진화를 거듭하면서 지구를 위협한다는 내용이었는데, 최종적인 진화형이 거대한 단세포 집합으로 이뤄진 불가사리였던가 그랬다. 복잡하고 기능이 많다고 해서 그것이 최종적인 진화형태는 아닐 수 있다는 점이 흥미로웠다. 결국 진화라는 건 생존에 가장 적합한 형태를 의미하지 기능의 복잡함을 의미하는 것은 아니니 말이다.
4. 소뇌가 주도하는 동물의 행동을 '고정행동패턴'이라 부른다. 이것은 관찰과 모방을 통해 학습하는 행동과 달리 태어날 때부터 같은 종의 구성원들에게 새겨져 있는 행동 패턴이다.
- 사람은? 뭐가 있나? 적절한 예를 찾지 못했다.
5. 거의 모든 연산을 순차적으로 처리하는 디지털 컴퓨터와 달리 신피질 모듈은 대규모 병렬 처리 방식을 채택한다는 것을 보여주었다.
- 신피질은 우리 뇌 중 가장 늦게 발전한 부분이다. 그런데 그것이 마치 AI가 GPU를 이용하듯 대규모 병렬 처리 방식을 이용한다는 것이 흥미롭다. 아니 정확히는 뇌의 데이터 처리방식을 따라하니 AI가 의미있는 발전을 보이기 시작한 것이다.
6. 데이터는 석유와 비슷한 것이라고 생각하면 편리하다.
- 석유를 통해 현대의 산업생태계가 형성될 수 있었다. 자동차, 화학, 철강 그 모든 것의 기초는 석유다. 이제는 데이터가 그 역할을 대체한다. 정보의 가격이 제품의 가격이 되는 시대가 오고 있으니까. 그런데 또 한편으로는 실물 제품이 없으면 아무리 데이터가 많더라도 무한정 가격을 다운시킬 수 있을까 싶기도 하다. 그래서 지금까지는 제품의 원가는 낮아지고, 거기에 데이터 값이 추가되면서도 많은 데이터가 무료로 제공되지 않았는가?
7. 이와 비슷하게, 빅데이터의 편익이 상대적으로 적을 때 회사들은 비교적 비용이 적게 드는 경우에만 빅 데이터를 수집했다. 하지만 기계 학습 기술이 발전하고 계산 비용이 저렴해지면서 접근하기 더 어려운 많은 데이터의 경제적 가치(그리고 종종 사회적가치)가 커지게 될 것이다.
- 석유의 비유에서 확장시켰다고 생각한다. 처음에는 단순 가솔린 추출에서 시작해서 점점 첨단화학소재로 세분화된 것처럼 비용과 필요가 커질수록 혹은 추출물의 가치가 커질수록 데이터 원유의 가치가 더욱 부각될 것이다. 그렇게 되면 사람의 가치는 뭔지 애매해진다. 결국 석유가 가치를 지녔던 것은 거기서 나온 추출물들과 가공품들이 인간의 삶에 도움이 되었기 때문인데, 사람의 활동에서 발생한 데이터 원유들을 가공해서 나오는 것이 인간의 삶에 또 어떤 가치를 추가할 수 있을지는 아직 내 상식 선에선 미지수다.
8. 미래의 AI가 다른 계산 과정을 통해 획기적인 과학적 발견을 하거나 심금을 울리는 소설을 쓴다면, 그것을 어떻게 만들어냈는가에 대해 시비를 걸 이유가 있을까?
- 출처를 신경쓰지 않아도 되는 시점이 오긴 할 거다. 지금도 이미... 구분이 안된다. 2025년 11월 8일 이 글을 쓰는 시점보다 딱 1년 전만해도 구분이 가능했다. 미묘하게 달랐다. 그런데 지금은 정말로 구분이 안간다. 유튜브에 올라오는 영상이나 거기에 달린 댓글이나 아마 이미 봇이 40%는 될 건데 말이다. '죽은 인터넷 이론'이라는 것이 요즘 유행이다. 인간이 생성한 데이터는 이제 거의 인터넷에 남아있지 않다는 내용이다. 거의 모든 자료는 봇이 만들어내고 봇이 피드백하는 구조라는 것. 생산자의 지위를 잃게 되면 인간에게 남은 것은 무엇인지 고민해야 한다.
9. 우리가 마지막으로 신피질을 더 얻은 시점인 200만 년 전에 일어난 일을 기억하는가? 그때 우리는 인간이 되었다. 우리가 클라우드에서 추가적 신피질에 접속할 때 일어날 인지 추상 능력의 도약도 그와 비슷할 것이다. 그 결과로 현재 가능한 예술과 기술보다 엄청나게 풍부한 표현 수단이 발명될 것이다.
- 호모 사피엔스라는 단일 종이 지구를 지배한 것은 1만 년 밖에 되지 않는다. 아니 정확히 지배라는 표현을 쓸 수 있는 것은 2,000년이 채 되지 않을 것이다. 그런데 200만 년 전일을 가져온다는 건 종이 공통으로 기억하고 있는 것과는 전혀 관계가 없다고 생각한다. 받아들이기 어려울 것이란 말이다. 아무리 발전과 변화가 빠르다고 하더라도 따라잡을 '사람'이 없다면 의미가 없다. 결혼해서 와이프랑 하던 얘기 중 기억나는 게 있어 하나 남겨둔다. "30년을 각자의 방식대로 살아가다가 만났다면, 그걸 바꾸는 데에는 최소 15년 넉넉잡아 똑같은 30년이 필요하지 않겠느냐"
10. 따라서 클라우드에 연결된 신피질을 가진 사람들을 위해 만든 예술을 생각할 때, 그것은 더 나은 컴퓨터 생성 이미지 효과나 맛과 냄새처럼 마음을 사로잡는 감각에 관한 문제가 아니다. 그것은 뇌 자체가 경험을 처리하는 방식에서 나타날 급진적으로 새로운 가능성에 관한 문제이다.
- 그럼에도 새로운 것에 급진적으로 도전하는 무리가 있을 것이다. 그리고 그들이 경제적으로, 정신적으로 일반적인 인간보다 더 나은 것이 진정으로 밝혀진다면 새로운 감각과 경험방식을 받아들일 가능성도 있다. 다만 지금도 경이로 가득찬 세상에서 추가적인 무엇인가가 필요할까? 모든 기억이 클라우드에 저장되어 모든 것을 언제든 원하는 때에 가져올 수 있다면 우리의 정신은 견뎌낼 수 있을까? 거스러미를 잘못 뜯어서 아픈 기억이 무한히 반복되기만 해도 사람의 정신은 무너질텐데.
11. 기록된 역사에서 일어난 모든 지적 도약은 석기 시대 이래 구조적으로 동일한 상태로 머문 뇌에서 일어났다. ... 우리는 신석기 시대 조상과 비슷한 의식 수준에서 그것들을 경험한다. 하지만 2030년대와 2040년대에 신피질 자체를 증강할 수 있게 되면, 우리는 단지 추상적인 문제 해결 능력을 추가하는 데 그치지 않고, 주관적 의식 자체가 더욱 심화될 것이다.
- 인류는 100만년 진화역사의 산물이다. 신석기 조상과 같은 방식으로 느낀다고 해서 잘못된 것은 아닐지도 모른다. 오히려 당연한 것이다.
12. 거시 세계의 일부는 알고리듬 지름길을 통해 근사할 수 있는 반면 가장 기본적인 규모에서는 그렇게 하는 것이 불가능하다.
13. 뇌의 기능을 복제하는 것이 가능하다고 해서 미래의 뇌 상태까지 사전에 계산하는 능력이 생기는 것은 아니다. ... 그것들을 표현하는 방법은 오로지 실제로 일어나는 단계별 현실을 통해 펼치는 것밖에 없다.
- 뇌의 디지털 트윈을 만들어도 결국 실제 인간의 뇌에서 발생하는 현상이 중요하다는 것이다.
14. 만약 의식과 정체성이 머리뼈 속의 여러 개별적인 정보 처리 구조(심지어 물리적으로 연결되지 않은 것까지)에 퍼져 있다면, 이 구조들이 서로 멀리 떨어져 있을 경우에는 어떤 일이 일어날까?
- 어떻게 되겠는가? 진실로 사람의 뇌가 단순히 기계장치의 일부에 불과하다고 생각한다면 잘 작동할테고, 그렇지 않고 사람의 신체활동과 작은 감각들과 온갖 자극들이 처리되는 과정 자체가 뇌활동이라고 본다면 작동되지 않을 것이다. 나는 후자라고 생각한다.
15. 신경과학에 대해 우리가 아는 모든 지식에 따르면, 점진적 교체 시나리오에서는 충분히 작은 변화조차 나타나지 않을 것이며, 뇌는 놀랍도록 적응력이 뛰어난 것으로 보인다. 나의 하이브리드 뇌는 나를 정의하는 모든 정보 패턴을 똑같이 유지할 것이다. 따라서 주관적 의식이 손상되었다고 생각할 이유가 전혀 없으며, 나는 당연히 원래의 나로 남아 있을 것이다.
16. 비생물학적 시스템을 우리 몸과 뇌 속에 집어넣는다 하더라도, 정보 패턴의 연속성이 우리 각자를 지금 존재하는 우리 자신으로 느끼게 한다.
17. 모라벡의 역설... 이것은 인간에게 어려워 보이는 정식적 과제(큰 수의 제곱근을 구하거나 많은 양의 정보를 기억하는 것처럼)가 컴퓨터에게는 아주 쉬운 반면, 인간에게는 너무나도 쉬운 정신적 과제(얼굴을 기억하거나 걸어가면서 균형을 유지하는 것)가 AI에게는 매우 어렵다는 내용이다. 그럴듯한 이유로는, 후자의 기능은 수천만년 혹은 수억 년에 걸쳐 진화해 우리 뇌의 배경에서 작동하는 반면, 전자의 '더 높은' 인지 기능은 의식의 중심인 신피질에서 작동되는데, 신피질이 현대적인 형태에 이른 것은 불과 수십만 년밖에 되지 않았다는 점을 생각해볼 수 있다.
- 지수적 발전을 염두에 둔다면 수십만년의 시간도 이제는 얼마 남지 않았다는 것으로 들린다
18. 수확 가속의 법칙이 정보 기술에서 그토록 큰 위력을 발휘하는 이유는 피드백 고리가 혁신의 비용을 편익보다 훨씬 낮게 유지해 진전이 계속 일어나기 때문이다.
19. 참여자들이 즐거움과 고통이라는 측면에서 사건을 평가한뒤... 부정적 반응은 긍정적 반응보다 훨씬 빨리 사라진 반면, 즐거운 기억은 계속 살아남았다.
20. 설문조사에서... 세상이 점점 나빠지고 있다고 믿었으며... 이러한 인식은 거의 모든 객관적 지표가 과거가 훨씬 나빴음을 가리키는데도 불구하고, 포퓰리스트 정치인에게 잃어버린 과거의 영광을 되찾겠다는 공약을 내걸도록 부추기는 요인이다.
- 팩트풀니스와 연관되는 부분. 사실 세상은 점점 더 나아지고 있다. 가끔 차를 타고 놀러다니다보면 서울만 좋은줄 알았는데 이렇게 살기 좋은 곳이 또 있구나 하고 깨닫기도 한다. 오히려 서울 외곽이 살기는 더 좋더라. 전세계적으로보면, 뉴욕, 도쿄와 같은 대도시만 살기 좋은 줄 알았는데 한국에 와보니 서울, 부산도 살기 좋더라 쯤 되지 않을까? 어떤 국가를 이끄는 지도자든간에 자신이 통치하고 있는 국가를 망치고 싶은 마음에 일을 저지르지는 않을 것이다. 단지 잘못된 비전으로 후퇴시킬 뿐.
21. 낙관주의는 미래에 대한 근거없는 추측이 아니라 오히려 자기실현적 예언이다. 더 나은 세계가 정말로 가능하다는 믿음은 그것을 만들기 위해 열심히 노력하도록 자극하는 강력한 동기가 된다.
- 오늘보다 더 나은 내일, 그걸 바라고 살게 하는 것이 건강한 지도다. 지금 이 상황에서 더 나아질 것이 없다고 믿는 순간 더 이상의 노력은 무용지물이다. 이런 견지에서 부채를 탕감해주고 신용을 회복시켜주는 정책은 일견 일리가 있다. 반대편의 노력한 자들에 대한 보상이 따라온다면 금상첨화일 것이다.
22. 진정한 발전은 단순히 부를 축적하는 경제뿐만 아니라 훨씬 심오한 것을 포함한다. ... 재산은 얻을 수도 있고 잃을 수도 있다. 하지만 기술 변화는 본질적으로 영원히 지속된다.
23. 개인 정체성의 핵심은 뇌 자체가 아니라 뇌가 표현하고 조작할 수 있는 아주 특별한 정보 배열이다.
24. 태양광 발전을 확대하기 위해 극복해야 할 주요 과제 중 하나는 더 효율적인 에너지 저장 기술이다.
25. 만약 자동화가 정말로 그토록 큰 영향을 미친다면, 전체 경제에서 수조달러가 '사라진' 것처럼 보인다. 내 견해에 따르면 그 이유는 GDP에서 기하급수적으로 증가하는 정보 생산의 가치를 계산하지 않은 데 있다. 그중 많은 부분은 공짜일 뿐만 아니라 최근까지 존재하지 않았던 가치범주에 속한다.
- 정보에 접근하는 것은 아주 오랜기간 동안 큰 가치를 지녀왔다. 지금은 다르다. 정확한 정보에 접근하는 것은 둘째치고, 정보 자체에 접근하는 것은 너무나도 쉽다. 조금만 노력을 한다면 어떠한 정보에도 접근할 수 있다. 다만 그 골디락스라고 불릴만한 시기가 이제는 조금 지난 것 같다. 찾기 쉽다는 것과, 정확하다는 것 두가지는 비례해서 증가하지 않는 것처럼 보인다. 오히려 역의 관계에 가깝다. 찾기 쉬울수록 정확하지 않을 가능성이 높아지고, 찾기 어려울수록 정확한 정보일 가능성이 높아진다. 10년 정도 전만해도 개개인의 경험에 기반한 글들이 많은 사람들에게 나름 정확한 양질의 정보를 제공했다. 그런데 지금은 도저히 어떤 것이 정확한 정보인지 알기 어려울 정도로 거짓 글들이 범람한다. gpt가 실생활에 깊게 관여하기 시작한 뒤로부터는 더하다. 그렇기 때문에 브런치와 같은 플랫폼이 더 중요해질 수도 있다는 생각이 든다.
26. 기술주도 디플레이션은 명목 생산성과 인간 노동의 매 시간이 사회에 가져다줄 실절 평균이득 사이의 격차를 더욱 벌릴 것이다.
27. 나는 선진국에서는 2030년대 전반까지, 대다수 국가에서는 2030년대 후반까지 보편적 기본 소득 또는 그에 상응하는 제도가 사실상 시행될 것이라고 예측했다. (충분한 수준에서의 보편소득)
- 정보화 사회에서는 노동의 가치 대부분이 정보를 처리하는 과정에서 나온다. 그런데 그 부분이 이제는 거의 자동화되고 있다. 젠슨황이 지적했듯 앞으로 살아남을 직업은 되려, 배관공과 전기기술자일 가능성이 높다. 여기서 문득 드는 생각. 땀흘리는 노동의 가치가 진정으로 인정받는 사회가 공산주의 사회라면, 지식정보처리의 대부분을 AI가 하는 사회는 정말 극소수의 사람들을 제외하고는 공산주의 체제 비슷하게 운영될 수도 있겠다. 기본소득이 보편화된다면 그 경향은 더 빨라지고 되돌릴 수 없을 것 같다.
28. 더 발전된 의료 서비스를 향한 안전하고 공정하고 질서 있는 전환이 일어나려면, 대중의 적극적인 참여와 합리적인 관리가 필요하다. (과장된 두려움을 억제하자는 측면에서)
29. 기술 변화에 적응하는 데 따르는 가장 큰 난제 중 하나는 기술 변화의 혜택은 대다수 인구에 분산되는 반면, 피해는 소규모 집단에 집중되는 경향이다. 예를 들면, 자율주행차량은 인명 피해 감소와 오염감소, 교통 혼잡 완화, 더 많은 자유시간, 교통비용 절감 등을 통해 사회에 큰 이득을 가져다 준다. ... 하지만 한 사람에게 돌아가는 이득은 그 사람의 인생을 완전히 바꿀 만큼 크지 않을 것이다. 그리고 통계적으로 매년 수만 명의 생명을 구할 수 있다는 사실은 누구나 알지만 매년 정확하게 어떤 개인이 죽음을 피할지 알 수 있는 방법은 전혀 없다. ... 피해는 대부분 운전기사로 일하다가 생계 수단을 잃게 될 수백만 명에 국한될 것이다. 이들은 구체적으로 확인이 가능하며, 그들의 삶에 미치는 손실은 매우 심각할 수 있다. ... 일반적으로 대중의 두려움이 현실의 실제 위험보다 훨씬 크다는 점이다.
- 나는 자율주행 도입에 찬성한다. 기술은 더 정교해졌고 인프라는 충분하다. 지금 문제는 대중의 인식과 현실과의 괴리. 앞으로 5년 내에 특정 도로에서는 자율주행만 가능한 시점이 올 것이고, 그게 점점 더 확대되다 보면 운전하는 능력을 잃은 사람들은 점점 자율주행에 의존하게 될 것이다.
30. 각각의 일자리가 사라질 때마다 많은 긍정적 변화가 함께 일어나며, 이러한 변화는 파괴적 변화만큼이나 빨리 일어난다.
- 낙관적인 면을 봐야한다는 거다. 농경사회에서 산업사회로 넘어오면서 수많은 농부들이 일자리와 삶의 터전을 잃었지만 결국 체제가 변화하지 않았는가? 그런데 이것도 개인 삶의 단위로보면 비극이다. 20년간 농사 짓던 사람을 어느 시점에 갑자기 공장 노동자로 바꾸는 것이 가능하겠는가? 가능이야 하겠지, 개인의 행복이 보장될 수 있겠는가? 절대. 불가하다.
31. 우리의 신체적, 지적 범위를 확장하는 것은 석기 시대 이래 기술이 추구해온 목적이었다.
32. 나노기술 혁명은... 모든 요소의 비용을 크게 낮출 것이다. 원자재는 자동화를 통해 추출과 합성 비용이 크게 낮아지고, 값비싼 인간 노동력은 로봇으로 대체되고, 값비싼 공장 기계는 가격이 더 저렴해지고, 태양광 발전과 에너지 저장효율 향상으로 에너지 가격도 떨어지고, 자율주행 전기차가 운송 비용을 크게 낮출 것이다. 제품의 가치를 이루는 이 모든 요소가 저렴해짐에 따라 제품에 포함된 정보의 상대적 가치가 증가할 것이다. 대다수 제품의 '정보량'이 빠르게 증가하고 있으며(그리고 결국에는 제품 가치의 100%에 근접할 것이다), 우리는 이미 그 방향으로 나아가고 있다.
- 레이 커즈와일의 주장 중에 가장 와닿지 않는 부분이 나노테크와 관련된 부분이다. 현실과 너무 멀다. 사실 1980년대말 첫 책이 나왔을 때도 2025년의 지금을 상상하지 못했듯이, 2040년의 나노테크를 상상하긴 어렵겠지만 분자단위의 자가증식 로봇이라니... 그냥 SF 그 자체인데...
33. 부유한 엘리트 계층이 이 새로운 풍요를 매점매석할 것이라는 주장은 오해에서 비롯된 생각이다. 어떤 제품이 아주 풍부하다면, 그것은 매점매석할 가치가 없다.
34. 손상의 주 원인은 세포대사와 세포 생식이다. 대사는 세포 내부와 주이에 노폐물을 만들어내고, 산화를 통해 조직을 손상시킨다.
35. 초지능 AI가 초래할 위험범주는 크게 세가지가 있는데, ... 오용은 AI가 인간 운영자가 의도한 대로 작동하더라도, 운영자가 의도적으로 남에게 해를 끼칠 목적으로 AI를 사용하는 경우를 포함한다. ... 외부 정렬 불일치는 프로그래머의 실제 의도와 그것을 실현하기 위해 AI에게 가르치는 목표가 불일치하는 경우를 말한다. ... 내부정렬불치는 AI가 자신의 목표를 달성하기 위해 배운 방법이 적어도 일부 경우에 바람직하지 못한 행동을 초래할 때 일어난다.
36. 두 종류의 AI 정렬 불일치를 방지하는 방법... 모방일반화는 AI에게 인간이 추론하는 법을 모방하도록 훈련... 토론을 통한 AI안전은 서로의 개념에서 결함을 찾아내도록 AI들을 경쟁시키는 방법... 반복증폭은 인간이 약한AI의 도움을 받아 잘 정렬된 강한AI를 만들고, 이 과정을 반복함으로써 결국에는 인간이 혼자 힘만으로 정렬할 수 있는 것보다 훨씬 강한 AI를 정렬하는 방법이다.
37. 기본적인 문제는 AI가 어떤 설명을 제공하더라도 우리는 초지능 AI가 내리는 결정을 대부분 완전히 이해할 능력이 없다는 데 있다.
- 우리가 우리 뇌의 작동방식을 아직 정확히 알고 있지 못하듯, 우리의 뇌가 작동하는 방식을 모방해 만든 AI의 작동방식을 이해하지 못하는 것은 어쩌면 당연하다.
