천 개의 뇌 - 제프 호킨스

뇌의 새로운 이해 그리고 인류와 기계 지능의 미래

표지에 리처드 도킨스(이기적 유전자 저자)의 추천사가 있는데, 저자를 '찰스 다윈'에 비교하며, "재밌고 자극적이다! 뛰쳐나가 누군가에게 말을 걸고 싶어질 것"이라고 하고 있다.

읽으니 진짜 그래! 도중에 세 번 정도 자리에서 일어나서 누구에게 말하고 싶었다.

(근데 말할 데가 없어서 도로 앉아서 계속 읽음)

뇌과학으로 시작하여, 인류의 미래와 유산에 대한 이야기까지 속도감 있게 진행되는 책이었다.

Life 3.0 이 공학자가 얘기하는 미래의 이야기라면, 이 책은 뇌과학 측면에서 말하는 현재와 미래의 이야기였다.

기존에 읽은 뇌과학 내용부터 라마찬드란 박사의 두뇌실험실, Life 3.0의 내용도 많이 담겨 있어서 더 재미있게 읽었다. 손에 꼽는 추천서로 등록.

책은 3가지 주제를 전한다.

첫째, 우리가 세상을 인식하는 방법에 대한 것인데, 신피질을 구성하는 15만 개 피질기둥이 저마다의 기준틀을 가지고 세상에 대한 해석을 하고, 그들 간의 합의를 통해 전체적인 개념을 도출한다는 '천 개의 뇌' 가설이다.

뇌는 '기준틀'을 만들어 인식하고 사고하는데, 격자세포와 장소세포로 기준틀에 개념을 할당하고, 물리적 실체 혹은 추상적 개념과의 상대적 위치를 통해 인식의 기반을 갖춰간다는 설명이 흥미로웠다. 뇌는 예측기계라는 부분과, 운동(외부 & 내스스로)의 중요성을 강조해서 결국 뇌의 학습은 감각-운동에 대한 학습이라는 부분도.

- 책에서 주장하는 내용은 아직 검증되지 않은 가설 단계이나, 이렇게 전반적인 신피질 이론은 처음이라 다들 관심있게 보고 있는 가설이라고.

둘째, 기계지능이 AGI 가 되려면, 지금 같은 방식이 아닌 우리 뇌의 방식을 참고해야 한다는 것이다.

유연하게 동작하는 어떤 역할도 할 수 있는 모듈들이 모여, 기준틀을 기준으로 지식을 쌓는 AI를 만들어야 한다는 것.

특히 사실을 유용한 방식으로 나타내는 '지식 표현'이 가장 어려운 문제.

세계 모형 배우고, 기억하고, 기억을 끄집어내는 시스템은 무엇이든 의식이 있다고 받아들여질 것이고, 의식은 오래된 뇌에 해당하는 감정-의도가 없다고 설명한다. 이 부분은 완전히 동의는 안된다. 의식의 조건으로 설명한 기능들과 의식 간의 관계는 필요충분조건을 충족하는 걸까? 의식과 감정은 정말 별개로 존재할 수 있는 것일까?

기계에 목표와 가치는 우리가 지정해줘야 하는데, 이 부분이 오래된 뇌에 해당하는 부분이니, 목표와 가치를 정해주는 과정에 해당 문제가 발생하게 되는 것은 아닐까?

사회에서 일반적으로 걱정하는 지능 폭발과 목표 불일치의 문제는, 의식은 있으나 감정과 의도가 없는 기계에서는 발생하지 않는 문제라고 설명하고 있는데, 필요에 의해서 감정을 주입하게 된다면, 그럼 문제가 발생하겠네?

지능 기계를 설계하기 위해 embodiment 도 필요한 부분으로 짚어줬는데, 이 부분은 매우 동의하는 바이다. 체화에 있어서 추가적으로 로봇공학자들은 '기준틀'에 대한 개념이 일반화되어 있어서, 추후에는 로봇공학과 AI연구가 같은 길을 가게 될 것이라고 설명한 부분도 내가 생각하는 방향과 같았다.

- 의식, 지능 등 단어의 정의부터 잘 내려야 정리될 수 있는 부분, 이 부분은 자신의 생각을 가지고 읽어야 할 필요가 있다.

세 번째는 인간지능에 대해서이다.

인공지능이 인류의 멸종을 가져오는 것에 대한 걱정을 하기 앞서, 인간지능이 이미 가져온 멸망의 리스크(핵, 기후위기, 유전자 조작 등)에 대해서 생각도 해보라는 것.

인간지능의 실존적 문제 중 틀린 신념에 대해 얘기하면서, 참과 거짓을 구별하는 방법은, 신념에 반대되는 증거를 적극적으로 찾는 것이 오직 하나의 방법이라고 하는데, 할루시네이션과 가짜뉴스에 휘둘리는 이 시대에 깊은 고민이 되어야 할 포인트로 보인다.

그리고 훅- 미래로 연결되어 인류의 멸종을 막을 혹은 멸종 후 인류의 유산을 남길 방법에 대한 고민으로 이어지는데, 오래된 뇌를 선택하여 유전자 조작으로 진화 경로를 변화할 것인지, 새로운 뇌를 선택하여 비생물학적 형태의 지능으로 살아남을 것인지에 대해 이야기한다. 저자는 방향성이 없는 유전자보다는 목표와 방향성이 있는 지식을 보존하는 쪽의 선택이 더 가치 있다고 하는데, 설득되었음.

- 개인적으론 이런 미래 얘기 재미있음. 그러나 책의 흐름에 있어 살짝 뜸금없는 전개이기도 함

호킨스는 신경과학에 꿈이 있는 사람이다. 팜 사업의 성공을 거쳐, 연구소를 만들고 뇌의 비밀을 밝히는 거대한 꿈을 향해 한 걸음씩 성과를 내고 있는 중. 멋지다.

---

1부 : 기준틀, 천 개의 뇌 이론

2부 : 기계지능

- 진정한 기계 지능을 만들려면 천 개의 뇌 이론을 따라야

- 일부 기계는 의식을 가질 것이며 실존적 위험은 아닐 것. 위험은 사용하는 방식

3부 : 인간 지능

- 지각하는 것은 세계의 시뮬레이션, 틀린 신념이 존재, 원시적 감정과 결합된 틀린 신념의 위험성

- 사람은 유전자가 아닌 지능과 지식으로 정의하고 싶음. 지능과 지식을 유산으로 남기려면.

저자 : 신경과학에 뜻을 두었으나 팜을 만들어 성공한 후, 신경과학으로 복귀, 누멘타 연구소 만듦

- 1 목표 : 신피질 작동이해(2010 신경세포의 예측 방식, 2016 기준틀)

- 2 목표 : 뇌에서 알아낸 것을 머신러닝, AI에 적용(2019년에 시작함)

---

* 뇌는 어둠 속에 자리 잡고 있으며, 신경 자극을 통해서만 바깥 세계를 파악

* 우리가 지각하는 건 구성된 실제(constructed reality), 모형

* 피질 기둥(cortical column)들 사이에서 민주적 합의를 통해 기준틀을 빌딩

1부. 뇌에 대해 새로 알게 된 것들

* 신경과학의 궁극적 목표 : 사람의 뇌가 어떻게 인간 지능을 낳았는가

- 무엇보다 부족한 것은 뇌동작의 결과를 해석할 개념들의 광범위한 틀 by 프랜시스 크릭 Fraincis Crick, Thinking about the brain 1979

- 뇌는 수천 조각의 거대한 그림 맞추기 퍼즐 -> 이미 손에 넣은 조각을 어찌할지를 모름

=> 2016, 저자는 뇌가 이 모형을 어떻게 배우는지 설명함

* 뇌의 세계 모형 : 지도와 같은 '기준틀' - 천 개의 뇌 이론 Thousand Brains Theory

1장. 오래된 뇌와 새로운 뇌

* 신피질 : 뇌의 가장 새로운 부분

- 포유류에게만 존재, 뇌의 70%,

- 지능이 머무는 곳, 행동 제어는 못함

- 다 똑같이 생김, 위계가 없음

- 6층으로 된 2.5mm 두께의 기둥, 세포들 간 연결이 수직 방향

- 회로 복잡, 모습 비슷, 움직임을 만들어 냄(오래된 뇌로 정보 보냄)

* 오래된 뇌 : 기관마다 다르게 생김

2장. 버넌 마운트캐슬의 굉장한 개념

* 대뇌의 기능을 위한 조직 원리: 단위 모듈과 분산 시스템 an organizing principle for cerebral function: the unit module and the distributed system - 버넌 마운트캐슬, 1978

- 모든 신피질은 동일한 원리로 동작, 같은 일 하니 똑같이 생긴 거야

- 공통 알고리즘 존재 근거

    - 1 회로 유사

    - 2 신피질이 짧은 시간에 크게 팽창(같으니까 가능했음)

    - 3 기능이 확실히 정해지지 않음

    - 4 극도의 유연성

* 마운트캐슬 : 피질 알고리즘이 뭔지 몰라, 근데 15만 개 피질 기둥이라는 건 알아

* 다윈 : 진화는 무작위적 변이와 자연선택, 근데 알고리즘이 어디 있는지 몰라(이후에 DNA)

3장. 우리 머릿속의 세계 모형

* 마우스를 오른쪽으로 움직였는데 커서가 왼쪽으로 움직이면, 집중하지 않았을 때조차 즉각 알아챌 것

- 뇌가 수많은 예측을 하고 있다는 증거 : 뇌는 예측 기계 -> 피질 기둥의 기능일 것

* 참고로 이전 책 <생각하는 뇌, 생각하는 기계>에서는,

- 학습과 예측에 대해 얘기하기 위해 : 기억 예측 틀 memeory prediction framework 용어 사용

- 지금은 세계 모형을 배우고 그 모형을 바탕으로 예측한다고 함

* 뇌는 예측 모형 만듦

- 멈추지 않는 뇌의 고유 속성, 학습에 필수적, 예측에 빗나가면 오류를 수정함

* 움직임을 통한 학습

- 뇌에 입력되는 정보는 변함 (1) 세계가 변함 (2) 우리가 움직임

- 감각-운동 학습 sensory-motor learning

* 신경과학의 두 가지 추세

- 신경세포의 독특한 속성 (1) 나무처럼 생김 (2)극파(활동 전위)가 발생 (3) 시냅스:한 신경세포 축삭이 다른 신경세포의 가지돌기에 연결

- 신경 세포 작용의 기본원리

    - 기본 원리 1 : 생각과 개념과 지각은 신경세포의 활동 (정신 상태 = 신경세포의 활동)

    - 기본 원리 2 : 우리가 아는 모든 것은 신경세포들 사이의 연결에 저장됨

4장. 자신의 비밀을 드러내는 뇌

* 아하 모먼트 1 : 신피질은 세계 예측 모형을 배운다

- 예측과 실재의 구분 필요 : 두 종류의 신경세포 가설 : 예측 시 발화 세포, 봤을 때 발화 세포

    - 문제점 1 : 엄청나게 많은 예측, 신경 세포 수가 아주 많아야 함

    - 문제점 2 : 엄청나게 많이 예측하면, 왜 대부분 인식 못할까

* 아하 모먼트 2 : 예측은 신경세포 내부에서 일어난다

- 주변 세계가 변할 때&우리가 움직일 때 변함 : 피질 기둥이 두 가지 모두 예측

- 가지돌기의 새로운 극파 발견(1990) : 전압을 올리는데 발화까지 못 가고 곧 정상으로 돌아감

    - 이게 바로 신경세포 내에서 일어나는 예측

    - 예측을 한 신경세포가 있으면, 발생 시 그놈이 먼저 출발. 다른 애들은 포기. 그래서 별일 아니게 됨.

    - 예측 못한 일이 벌어지면 여러 신호가 동시 발생. 전압이 강해서 발화까지 발생

* 아하 모먼트 3 : 피질 기둥의 비밀은 기준틀에 있다

- 기준틀을 만들고 물체에 첨부할 수 있음

- 뇌는 감각 입력을 기준틀의 위치와 연관지음으로써 세계 모형을 만듦

   - 잔을 기준으로 잔에 닿는 모든 신체 부분의 상대적 위치를 앎

- 기준틀의 중요성

    - 1. 뇌에게 어떤 대상의 구조를 배우게 함

    - 2. 기준틀 사용 대상을 정의, 대상 전체를 동시에 조작 가능

    - 3. 움직임을 계획하고 만들어 내는데 기준틀이 필요

* 주장 : 전체 신피질이 기준틀을 만들고 그런 기준틀 수천 개가 동시에 작동하면서 작용한다

5장. 뇌 속의 지도

* 진화이야기

- 어느 뱡향으로 움직일 것인가 : 상대적 위치를 아는 동물이 유리

* 오래된 뇌 속의 지도

- 장소세포 place cell : 지도 위에 현재위치를 표시

- 격자세포 grid cell : 환경의 지도를 만듦

- 이 둘을 사용, 눈을 감은채 걸어도 위치 감각이 유지됨

* 새로운 뇌의 지도/ 피질 기둥 속의 지도

- 신피질 기둥마다 유사한 회로와 지도가 존재

- 감각입력 - 관찰된 특질 : 장소세포

- 움직임 - 위치 : 격자세포

* 정위 orientation

- 머리방향세포 head direction cell : 피질 기둥에 유사한 '정위세포' 존재

6장. 개념, 언어, 고차원 사고

* 모든 지식은 기준틀에 저장된다

- 생각은 움직임의 한 형태, 기준틀에서 연속적인 위치를 활성화할 때 발생

- 1. 기준틀은 신피질의 모든 곳에 존재한다

- 2. 기준틀은 단지 물리적 대상뿐 아니라, 우리가 아는 모든 것의 모형을 만드는 데 쓰인다

    - 기준틀 진화 방향

    - (1) 돌아다니기 위해 환경 구조를 배웠음

    - (2) 사용하기 위해 물리적 대상의 구조를 배웠음

    - (3) 개념적 대상의 구조를 배웠음

- 3. 모든 지식은 기준틀에 대해 상대적 위치에 저장된다

- 4. 생각은 움직임의 한 형태이다

* 무엇 경로와 어디 경로

- 뇌의 무엇 경로 : 뒤에서 양옆, 어디 경로 : 뒤에서 위

- 무엇 기둥의 격자세포 : '대상'에 기준틀 첨부 : 커피잔에 손이 닿을 때

- 어디 기둥의 격자세포 : '우리 몸'에 기준틀 첨부 : 손가락 관절 각도를 감지할 때

- 우리 몸은 세계 속에 존재하는 또 하나의 대상

* 개념을 위한 기준틀

- 기준틀은 물리적 대상일 필요 없음(가상의 지도처럼)

- 물리적 대상처럼 동일한 수와 종류의 차원 가질 필요 없음(사람:나이, 장소, 만남 횟수, 키...)

* 장소법

- 암기의 방법인 장소법, 기억의 궁전 : 정신적으로 집안을 돌아다니며 물체 암기

- 정보는 기준틀에 저장됨 & 정보의 인출은 움직임의 한 형태라는 내용과 일치

* 개념적 지식

- 기준틀이 여러 개 존재 가능, 더 나은 기준틀도 있을 것

- 전문가가 된다는 것 : 관련 내용을 나타내기 좋은 틀의 발견이 필요

* 수학

- 수학자는 기준틀이 생김, 수학자에게 방정식은 자전거 타기와 비슷한 익숙함

- 기준틀이 없는 사람에게 수식은 낙서

* 정치

- 노련한 정치인 : 제정을 위해 기자회견, 투표, 정책보고서... : 기준틀에 따른 것

* 언어

- 베르니케 영역(언어 이해), 브로카 영역(언어 만듦) : 좌반구에만 존재

    - 전기적 절연기능이 있는 구조, 더 빨리 작동가능

- 언어의 속성인 중첩구조와 재귀 : 그러나 세상은 모두 중첩과 재귀

- 신피질의 많은 영역도 언어에 관여 : 중첩 구조와 재귀처리. 기준틀에 정보를 링크로 저장, 언어와 일치

* 전문성

- 오래된 뇌 기준틀 : 주변 환경의 지도

- 신피질 무엇 기둥의 기준틀 : 물리적 대상 지도

- 신피질 어디 기둥의 기준틀 : 몸 주변 지도

- 신피질 비감각기둥의 기준틀 : 개념의 지도

- 사람마다 다른 기준틀 : 동일 사실에 대한 서로 다른 세계관

- 아인슈타인 : 특수상대성 이론의 기준틀 발견

7장. 지능에 관한 천 개의 뇌 이론

* 신피질에 관한 기존의 견해

- 특질 탐지기 위계 hierarchy of feature detectors : V1(선, 가장자리)->V2(모퉁이, 호)->..

    - 문제점 1 : 시각을 정적 과정으로 간주, 변화를 무시, 사진 찍고 꼬리표 붙이는 식의 해석

    - 문제점 2 : V1 영역이 왜 매우 클까.. 등등..

* 신피질에 대한 새로운 견해

- 작은 부분만 감지하던 피질 기둥이 시간이 지나면서 입력을 통합하여 전체 대상의 모형을 배울 수 있음

- 대상의 전체 모형을 배우는데 피질 영역 간의 위계가 꼭 필요하지 않음

* 뇌에서 지식은 어디에 저장되는가?

- 상수도 체계에 대한 지식의 예

    - 적당한 분산 필요 : 한 사람만 알면 리스키, 모두가 알면 비실용적

- 비슷한 방식, 신경세포망은 30% 손실돼도 수행능력에 영향 없음

* 결합 문제의 해결책

- 피질 기둥의 합의(투표)의 결과

- 모두의 정보를 공유하여 통합적 파악

* 뇌에서 투표는 어떻게 일어날까

- 장거리 연결세포 : 일부 층의 세포들은 축삭이 멀리까지 뻗음, 얘들이 투표(판단)

* 지각의 안정성

- 입력이 변하는데도 지각하는 세계는 안정적

- 투표하는 세포들은 직접 입력을 받는 애들이 아니라 변하지 않기 때문

2부. 기계 지능

* 진정한 기계 지능을 만들려면, 1부의 원리를 따라 설계해야

8장. AI에는 왜 '나'가 없는가?

* 사람은 계속 배움, 평생 수천 가지를 배우며, 배움 과정이 유연함

* 오늘날 AI 산업이 직면한 본질적 질문 : 진정한 지능의 AGI로 가고 있는가?

* AGI로 가는 두 가지 길

- 1. 특정 과제에서 사람보다 월등한 능력을 만들다 보면 모든 과제에서 월등한 것도 만들지 않을까

- 2. 유연성에 초점 : 사람보다 낫기보다는 여러 과제에 적용하는 기계

- 지식의 어려운 점 : 사실을 유용한 방식으로 나타내는 것, 지식 표현

    - 예: 공은 둥글다 -> 기계에게 어떻게 이해시킬 수 있는가 (둥글다, 공, 어떤 공, 어떤 특성...)

- 지식 표현 knowledge representation

    - AI에서 큰 문제일 뿐 아니라 유일한 문제임

- 현재 모델 : 지식표현 문제를 피하고 통계와 많은 데이터에 의존 중

* AI를 위한 모형으로서의 뇌

- 뇌의 방식을 아는 것이 AI를 만드는 첫 단계

- 천 개의 뇌 이론은 지식 표현 문제를 해결함

* 특수 목적용 AI에서 범용 AI로

- 왜1 : 비용 효율, 기술의 급속한 발전을 이끎

- 오해 2 : 가장 중요한 응용분야(화성 건설 로봇)에 보편적 해결책의 유연성이 필요함

* 범용 지능이 있다고 말할 수 있는 때는 언제인가?

- 1. 끊임없는 학습능력

- 2. 움직임(물리적, 논리적)을 통한 학습

- 3. 많은 모형(유연성, 투표)

- 4. 기준틀을 사용한 지식 저장(지식의 중추인 기준틀, 격자세포-장소세포역할의 세포로 만듦)

* 기준틀의 예

- 로봇공학자(기준틀 사용에 익숙)는 AGI에 무관심, AI연구자는 기준틀 중요성을 모름

- AI연구자들이 AGI 만드는데 움직임과 기준틀이 필수적이라는 걸 알면, AI와 로봇공학사이의 간극이 사라질 것

- 제프리 힌튼 : 딥러닝네트워크는 위치 감각이 결여되어 세계의 구조를 배울 수 없다고 비판 (기준틀 얘기임)

- 인간은 한 가지 일을 특별히 잘해서가 아니라, 그 무엇도 배울 능력이 있어서 지능이 있는 것

9장. 기계가 의식을 가질 때

* 인식

- 현재 감각과 인식 : 과거에 접근할 수 있는 능력에서 옴

- 저자 : 기계가 상태를 기억하고 재생할 수 있다면, 자신의 존재를 인식하고 의식한다고 생각함

    ==> 정말? '감정'은 '의식'과 관련이 없을까? 필요조건이지 충분조건은 아니지 않나?

- 감각질 qualia

- 감각질은 뇌가 만드는 세계 모형의 일부

    - 색의 감각질은 순수 물리속성 아님, 소방차의 빨강은 뇌가 만들어 낸 모형의 속성

- 우리가 대상을 배우는 방식과 비슷하게 어떤 감각질은 움직임을 통해 배움

    - 초록색 표면에 대한 기준틀은 빛의 영향을 계산하는 방향에서 감지된 입력에서 옴

* 의식의 신경과학

- 뇌의 신체 모형이 우리에게 팔다리 있다고 믿게 하는 것처럼

- 뇌의 주의 모형은 우리에게 의식이 있다고 믿게 한다

* 기계의 의식

- 의식을 가진 기계 전원 꺼도 된다

    - 우리의 감정(죽음의 두려움 등)은 오래된 뇌에서 옴.

    - 의식과 지능에는 감정이 필요하지 않음 ==> 정말? 감정이 없어도 '의식'을 가졌다고 할 수 있나

    - 일부러 기계에 감정을 넣지 않는다면 '지능과 의식'자체는 도덕적 딜레마 없음

* 생명의 불가사의와 의식의 불가사의

- 왜 어떤 물질은 살아있고 다른 물질은 살아있지 않은가 ==> 나도 이거 궁금

- 생명은 생물학과 화학으로 이해할 수 있다는 사실이 분명해 짐 ==> 알고 싶네

- 세계 모형 배우고, 기억하고, 기억을 끄집어내는 시스템은 무엇이든 의식이 있다고 받아들여질 것

10장. 기계 지능의 미래

* 지능 기계는 사람과 같지 않을 것이다

- 신피질이 필요할 것이고, 나머지 뇌는 우리가 취사선택

- 목표와 가치는 우리가 정해주는 것

- 우리의 행동을 이끄는 감정은 오래된 뇌에서 나옴

- 지능 기계 설계하는 3가지 : 체화, 오래된 뇌, 신피질

* 1. 체화 embodiment

- 센서(움직일 수 있는 감각 입력)와 움직이는(물리적이지 않아도 됨) 능력

- 오늘날 딥러닝 네트워크는 체화가 없음, 기준틀 없음

- 특이한 체화도 생길 것임 : 세포 내에 존재하며 단백질을 이해하는 지능기계, 분산 뇌

* 2. 오래된 뇌의 등가물 중 지능기계에 꼭 필요한 4가지

- 기본적인 움직임

    - 드론은 안정적 비행과 착륙, 장애물 회피 등을 위한 내장된 행동이 있어야 함

    - 인간의 신피질이 두 발로 균형 잡고 걷는 것에 대해 생각이 필요 없는 것처럼

- 안전 : 아시모프 3원칙 등

- 목표와 동기

    - 사람의 목표와 동기는 복잡 : 유전자가 주도, 감정, 사회적 성격

    - 목표와 동기는 지능의 결과가 아님, 스스로 생겨나지 않음

    - 목표와 동기를 위한 메커니즘을 설계하고, 기계에 체화된 부분에 넣어야 함

* 3. 신피질 등가물

    - 속도 : 원리만으로 해결되는 것은 빠르게 가능하겠으나, 물리적 경험이 결합된 지식은 빠르게 습득 불가

* 학습 대 클로닝 : 인간과 다른 한 가지, 복제

* 기계 지능이 미래에 어떻게 사용될지는 아무도 알 수 없다

11장. 기계 지능의 실존적 위험

* 기계지능을 악한 사람이 쓰는 것 : 가능성 높으나, 인류가 절멸할 가능성은 낮음

* 기계지능 자체가 악하게 되어 인류를 절멸하려 하는 것 : 가능성 낮으나, 절멸할 수 있음

* 알려진 실존적 위험 : 통제 상실

- 1. 지능 폭발 intelligence explosion : 인간이 필요 없다 판단하여 없앰 등

    - 대다수 분야는 학습이 세계와 물리적 상호작용해야 하므로 시간이 걸림

    - 기계가 모든 것을 다 인간 전문가보다 잘할 수는 없음

- 2. 목표 불일치 goal misalignment : 지시한 목표를 추구하는 과정에 지구자원을 고갈시킴 등

    - 첫 지시는 듣고, 그 후 멈추라는 지식을 안 듣는 건 모순

    - 인간의 멸망을 이끌 수준으로 지구 자원을 동원할 능력 없음

* 반론

- 의도적으로 넣지 않으면 지능 기계는 감정과 추동 없음 ==> 필요에 의해(소통 로봇등) 감정을 넣게 된다면?

- 자기 복제가 있는 건 무엇이건 위험 (바이러스, 세균 등)

- 구별하여 생각해야 할 것 : 복제, 동기, 지능

3부. 인간 지능

* 기후 변화(여섯 번째 대 멸종), 핵무기, 유전자 편집 : 주원인은 인간지능

12장. 틀린 신념

* 뇌가 파악하는 것은 실제 세계의 부분집합, 지각하는 것은 만들어 낸 세계의 모형

* 우리는 시뮬레이션 속에서 살아간다 - 통속의 뇌 가설

- 모형과 실재의 불일치 : 나쁜 케이스-환상 사지, 대개는 유용

* 틀린 신념

- 물리적 세계에 존재하지 않는 것을 존재한다고 믿을 때

- 환상 사지, 지구 편평론, 기후변화 부정

* 바이러스성 세계 모형

- 점점 더 많은 뇌로 모형을 확산시키는 행동을 지시

- 예: 오류가 많은 역사책

* 언어와 틀린 신념의 확산

- 참과 거짓을 구별하는 유일한 방법 : 신념에 반대되는 증거를 적극적으로 찾는 것 = 과학적 방법

13장. 인간 지능의 실존적 위험

* 인간 지능의 위험성 : 핵전쟁, 기후변화

- 추가적 실존적 위험 만들어 낼 것

    - 오래된 뇌와 관련, 이기적이고 근시안적인 오래된 뇌가 강력한 기술을 잘못사용

    - 신피질과 관련, 틀린 신념을 형성하여 장기적 이익에 반하는 행동유도

* 인구 증가와 기후 변화

- 요인 : 사람 수, 오염물질의 양

- 인구 증가 문제를 아는데 왜 협력하여 줄이지 않는가 -> 오래된 뇌의 지배력

- 오래된 뇌와 신피질 싸움은 대게 오래된 뇌가 이김 : 케이크 먹기 못 참음, 먹고 나서 지식으로 극복 노력(약, 수술..)

* 신피질이 오래된 뇌를 누를 수 있는 방법

- 가장 쉬운 방법 : 여성이 생식능력 통제할 권한 주는 것

* 틀린 신념의 위험

- 왜 지속되는가 : 직접 경험 불가/ 반대 증거 무시/ 바이러스성 확산

- 신념 중 '사후 세계가 있다' 경우, 사후 세계가 현 세계보다 더 중요하다고 믿으면 위험 발생

14장. 뇌와 기계의 결합

* 멸종을 막는 법 : 뇌와 컴퓨터의 결합

* 뇌 업로드

- 정신적 나를 생물학적 신체에서 분리

* 왜 우리는 몸속에 갇혔다고 느낄까?

- 어차피 죽어야 하는데 왜 두렵다고 느끼게 진화되었을까 : 유전자 관점에서 다른 유전자 조합이 살아갈 자리를 만들어 주기 위해

- 유전자와 진화 VS 새로 창발 한 지능

- 뇌를 컴퓨터에 업로드하기

    - 오류를 막기 위해(몸에 해당하는 표상이 있어서) 뇌를 다 업로드해야 할 것, 그럼 몸은?

    - 만족스러울까? 업로드 시 생물학적 나와 업로드된 내가 동시 존재 / 업로드된 나는 복제되면 여러 개 존재

- 뇌와 컴퓨터의 결합

    - 완전한 결합은 불가능할 것, 제한된 목적으로는 실현될 것

15장. 인류를 위한 상속 계획

* 호모사피엔스의 멸종은 확실

* 상속계획 - 나 자신이 아닌 미래에 혜택을 줄 일을 하는 것

* 인류의 상속 계획의 대상은 : 지능을 가진 다른 존재

- 지구에서 두 번째로 지능 동물이 진화 or 외계 지능 생명체

* 가장 중요한 것 : 우리가 한 때 존재했음을 알리는 것

* 미래와 의사소통하는 세 가지 시나리오

* 1. 병 속의 메시지

- 1970대 출발 : 파이어니어호 금속판 실림/ 보이저호 소리와 이미지 실린 음반 실림

- 상징적인 것에 불과(발견 확률 희박), 그러나 위안

- 만약 내일 태양계가 폭발한다면, 금속판과 음반은 지구에 생명이 존재했다는 사실을 알릴 유일한 기록, 유일한 유산

* 2. 오래 지속되는 신호

- SETI : 외계 신호 찾기

- METI : messaging extra-terrestrial intelligence - 외계 신호 보내기

    - 반대파 : 그들이 와서 우리를 해

    - 올 정도로 살아남았으면, 틀린 신념 등에 지배당하지 않을 것

- 오래 지속되는 신호 : 인공 물체를 궤도에 띄워 자연적으로 일어나지 않는 패턴으로 햇빛을 차단

* 3. 위키지구

- 가장 중요한 것은 우리의 지식

- 태양 주위를 도는 인공위성들을 기록 보관소로 사용

16장. 유전자 대 지식

* 멸망을 막을 3 방법

* 1. 여러 행성에 거주한다면? - 유전자 변형 없이

- 화성에 로봇 공학자(자율적 행동 지능 로봇) 군단을 보내어 인간이 살 곳으로

- 화성에 간 인간들이 불화를 일으켜 위기를 만들 수도

- 여러 행성에 거주하는 종이 되면 되겠네, 그러나 인간의 리스크는 여전할 것

* 우리의 미래 선택하기

- 환경 보호 운동의 핵심은 자연보호보다는 우리가 결정하는 선택

    - 자연보호 : 우주적 관점에서는 자의적 구분. 바이러스와 야생화는 다르지 않음

- 오래된 뇌와 새로운 뇌 중 선택

    - 유전자 조작으로 진화 경로 변화 VS 비생물학적 형태의 지능을 만듦

* 2. 유전자 변형

- 유전자 변형하여 화성에 살 수 있는 종이 된다면

- 공격력을 없애고 이타적으로 만든다면

- 냉동상태에서 살 수 있게 만든다면

* 3. 다윈의 궤도에서 벗어나기

- 우리 같은 지능을 가졌으나, 우리에게 종속되지 않는 기계 만들기

- 태양계 밖으로 여행하고 오래 살아남는 지능 행위 주체가 될 것

- 지식은 공유하나 유전자는 공유 않을 것

- 왜 그래야 하나 : 1) 지식보존 2) 새로운 지식 습득

* 목적과 방향이 있는 미래

- 유전자 vs 지식

    - 유전자 : 단지 복제 능력이 있을 뿐, 유전자 간 우위도 없음, 방향성-목표 없음

    - 지식 : 방향성과 목표 있음

- 지식의 보존과 확산이 유전자 쪽보다 더 가치 있는 목표임