(독서) 특이점이 온다
독서와 생각 4
AI의 놀라운 발전, 새로운 유전치료 방법의 개발, 연산능력의 끊임없는 확장
2024년의 이야기다.
'특이점이 온다(the singularity is near)'는 2000년대 초반 20년 후의 현재를 담은 책이다.
일부는 저자의 말이 들어 맞은 경우도 있고, 아닌 경우도 있으나
사고의 확장이라는 추세는 조금도 달라지지 않은 것으로 보인다.
전체를 요약하고 기록하면 좋겠지만, 다시 책을 훑어보면 줄 그은 내용 위주로 기록해 보았다.
1. 첫번째 초인간 지능이 창조되어 그 지능이 재귀적인 자기개선을 시작하면 근원적인 단절이 발생할 것인데, 그와 같은 것은 예측하기조차 어렵다.
초지능 AI의 등장은 정말로 임박한 것처럼 보인다. 기하급수적 성장속도를 감안해볼 때, 어쩌면 당장 내년에 무엇인가 상상할 수 없는 것이 등장할지도
2. 먼 미래에 어떤 것들이 기술적으로 실현 가능할지 예측할 때, 대부분의 사람들은 미래의 발전력을 턱없이 과소평가 한다. 소위 역사적으로 확인된 기하급수적 관점이 아니라, 직관적으로 느껴지는 선형적 역사관에 기반하기 때문이다.
3. 수명연장이 가능해지면 인구가 과잉하여 생명유지에 필요한 제한된 원료 자원이 고갈되고 말 것이라 걱정하는 사람들이 있다. 이들은 나노기술과 강력한 인공지능에 의해 그만큼 급격한 부의 창출이 가능하다는 점은 무시한다.
4. 문명의 지능 대부분은 결국에는 비생물학적인 형태가 될 테고, 이번 세기 말쯤에는 비생물학적 지능이 인간 지능보다 수조배의 수조배만큼 강력해질 것이다.
5. 진화는 질서를 증가시킨다. 그러나 복잡성은 증가되기도 하고 증가되지 않기도 한다. 생명체든 기술이든 진화의 속도가 빨라지는 주된 이유는 점점 증가하는 질서 위에 쌓여가기 때문이다.
6. 진화의 단속평형 이론에 따르면 진화는 급격한 변화의 시기와 그 뒤웨 이어지는 상대적 정체의 시기를 번갈아 겪으며 발전한다.
개인의 인생도 마찬가지, 학업도 마찬가지, 아버지도 할아버지도 주변의 많은이들이 얘기하길, 성장은 선형이 아니라 계단식 함수로 일어난다고 했다. 그리고 그건 어느정도사실 같다.
7. 뇌 전체의 설계원칙은 세부 구조의 복잡성보다는 훨씬 단순하다.
세부구조들이 복잡한 것은 유전정보가 반복적 프랙탈식 과정을 통해 만들어졌기 때문이다.
설계도는 단순하나, 확률적 프랙탈의 형태로 제시하고 있기 때문에 결과는 너무나도 복잡해 보인다는 것
8. 수확 가속의 법칙에 따라, 패러다임전환은 개별 패러다임의 S자 곡선을 연속적인 기하급수적 증가로 바꿔준다. 낡은 패러다임이 내재적 한계에 이르면 삼차원 회로 같은 새로운 패러다임이 이뤄진다.
적층구조 반도체가 대세가 되고 있다.
비트(디지털)단위에서 큐비트 단위로 넘어가고 있다. 적용분야는 다르겠지만
9. 에너지가 아닌 정보의 변환이 우주의 근본적 구성 단위일지 모른다고 제안했다.
적절한 예일지는 모르겠으나, 현대 사회의 경제논리가 이렇다.
개별 주체의 생산성이 부를 만들고, 그 부의 총합이 국부가 되는 것이 고전적 논리였다면 현재는 개별 주체가 만들어 내는 정보의 흐름 또는 변환 또는 데이터 사용량, 유입량이 부가 된다. 국부는 이러한 정보의 흐름이 만들어 내는 부가가치를 아직 정확히 파악하지 못하고 있다.
트래픽 = 부(富)
10. 단순하고 결정론적인 기제들로부터 우리가 보고 겪는 모든 복잡성이 생겨날 수 있다고 말했다.
프랙탈구조를 말한다. 세상은 생각보다 단순한 변수들로 이뤄진 것일 수도 있다.
그렇다면 예측가능한 세상을 만들기 위해 할 수 있는건? 변수를 상수로 만드는 것.
인생을 살면서 상수를 만드는 것, 습관을 만드는 것, 규칙을 만드는 것, 그러면 좀 더 예측이 쉽지 않을까?
11. 주가는 매입자-매도자 시장의 합의를 반영하므로, 또한, 대부분의 사람들이 경제 성장 예측에서 채택하는 선형적 관점을 반영한다고도 볼 수 있다. 하지만 수확 가속의 법칙이 분명하게 내포하는 바, 발전의 속도는 계속 빨라질 것이므로 성장률 또한 계속 기하급수적으로 늘어날 것이다.
기술기업의 성장은 경제적 가치와 일정시기에는 괴리가 일어날 수 있지만, 양자모두 기하급수적 성장을 하게 될 것이다. 미국의 기술기업에 투자해야 하는 이유다.
12. 2040년 중반이 되면 비생물학적 지능(기계, AI)이 세상을 지배하고 있겠지만 그래도 그건 여전히 인류 문명일 것이다. 인간은 생물학을 초월하는 것이지, 인간성을 초월하는 것이 아니다.
저자의 일관된 주장이다. 우리의 몸은 우리가 생각하는 이상으로 변화를 겪게 될 것이고, 그렇다고 해서 더 이상인간이 아닌 것은 아니란 것. 초월적 신체와 지능을 가진 인간이 탄생할 것이다. 현재의 기준에서 그것을 인간이라고 부르긴 어렵다 할 수 있어도 미래의 어느시점에서는 보편적 현상이 될 것이라고 주장한다.
13. 병렬처리구조는 패턴 인식 능력의 핵심이고, 패턴 인식 능력은 인간 사고 능력의 중심이다.
이후에 또 나올 얘기이지만, 인상적이었던 것은 테세우스의 배가 생각나는 그의 주장이었다.
사람의 몸은 지금도 계속해서 세포를 새롭게 만들어내어 갈아끼우고 있다. 그럼에도 나는 나다. 내 몸의 일부 혹은 전체가 비생물학적인 것으로 바뀐다 해도 그것이 내가 아니라고 할 이유는 생물학적 관점에서도 없다. 나의 본질은 생물학적 신체를 가지든, 비생물학적 신체를 가지든 유지되는데 그건 나라는 인식은 패턴 인식능력에 기초하기 때문이다. 나를 정의하는 것은 현재까지 이어진 어떠한 패턴이지 영혼같은 것이 아니다.
14. 트랜지스터를 설명하는 방정식들은 엄청나게 복잡하지만, 가령 두 수를 곱하는 연산을 수행하는 디지털 회로라면 수백개의 트랜지스터를 쓰는 데도 훨씬 간단하게 모델링할 수 있다. 수십억 개의 트랜지스터로 구성된 컴퓨터 전체도 명령어 집합과 레지스터 설명만으로 모델링할 수 있다.
하드웨어의 물리적 작동방식에 대한 설명이 없더라도, 소프트웨어에 대한 작동방식만 있어도 재현이 가능하다는 것.
15. 14.와 관련하여
낮은 수준이 훨씬 복잡할 때도 있다. 췌도세포가 어떤 생화확적 기능들을 지니는지 모두 설명하려면 무척 복잡하다. 하지만 췌도세포 수백만 개가 모여 이루어진 췌장을 인슐린이나 기타 소화 효소의 농도 조절 기능이라는 시각으로 모델링하는 일은 간단하진 않아도 췌도 세포 하나를 모델링하는 것보다는 쉽다. 시냅스 반응으로부터 신경세포 집단의 정보 변형 과정에 이르기까지, 뇌를 이해하고 모델링 하는 문제도 이와 비슷하다. 상세 모델이 성공적으로 구축된 뇌 영역들을 떠올려보면 췌도세포와비슷한 현상이 있음을 깨닫게 된다. 세포 하나 시냅스 하나를 수학적으로 묘사하는 것보다 뇌 영역을 모델링하는 편이 오히려 간단한 것이다. "대부분의 경우 한 체계의 집합적 행동을 그 하부 요소들에 대한 지식으로부터 추론해내기란 매우 까다롭다. 신경과학이라는 과학 체계에는 일차적이고 국지적인 설명 개념들이 필요하지만 그걸로 충분한 건 아니다" 뇌 역분석 작업에는 하향식 모델과 상향식 모델이 모두 필요할 것이다.
어떤 현상을 분석하는 가장 최소의 단위를 정의하는 것, 또는 최소단위 수준에서 변화를 추적할 수 있는 것 그것을 설정하는 것이 중요하다. 는 생각이 들게 된다.
사회도 마찬가지라 생각한다. 개개인 수준까지 내려가면 분석이 너무 복잡해진다.
16. 우리는 입력정보들을 통해 뇌를 만들어 가는 것입니다.
뇌는 후천적이다.
17. 모방을 하려면 관찰한 표상을 조각낼 줄 알아야 한다. 조각 하나하나를 재귀적이고 반복적인 시도로 습득하는 것이다.
18. 뇌가 어떤 행동을 하기로 결정을 내리기 3분의 1초쯤 전에 이미 그 행동을 지시하는 신경 활동이 개시된다고 한다. 그러니까 결정이란 환상에 불과한 것이고, 의식은 의사결정과정에 개입하지 않는다는 뜻이다. 인지과학자이자 철학자인 대니얼 데넷은 다음과 같이 설명했다. "행동은 원래부터 뇌의 어떤 부분에 침전되어 있어서, 근육들에게 곧장 신호를 보내는데, 도중에 잠시, 의식적 행위자인 당신에게 들러서 무슨 일을 할 것인지 알려준 것이다"
19. 방추세포라는 특별한 세포들이 감정적 상황을 다루는 것 같다는 점이다. 방추세포는 인간과 몇몇 거대 유읜원의 뇌에만 있다. ~ 다른 뇌 영역들로부터 광범위하게 신호를 받아들이는 역할을 한다.
20. 뇌 이식물(신경칩) 주변에 놓인 생물학적 뉴런들은 전자기기에서 오는 신호를 받자 과거에 제대로 작동했던 뉴런들에게서 온 신호를 받은 듯 극히 정상적으로 반응했다.
21. 뇌 이해를 위해 스캔하는 것보다 훨씬 논란이 될 문제는 뇌 업로드를 위해 스캔하는 것이다. 뇌 업로드란 뇌의 두드러진 특징들을 모조리 스캔한 뒤 강력한 연산 기판에 적절하게 옮겨 재동시키는 것이다. 그러려면 한 사람의 인성, 기억, 기술 역사 모두를 파악해야 한다 그런데 어떤 사람의 정신을 완벽히 포획하고자 한다면, 재설치 대상인 마음의 기판에 육체도 덧붙여질 필요가 있다. 사람의 사고 내용 대부분이 물리적 욕구와 욕망을 향한 것이기 때문이다. 뇌의 미묘한 부분들을 와벽하게 파악하여 재창조하는 도구가 탄생할 무렵이면 비생물학적 인간이든 지능 강화를 택한 생물학적 인간이든, 육체에 관해서도 무수한 선택지를 누리게 될 것이다. 버전 2.0의 인체 선택지 중에는 완벽하게 현실적인 가상 환경에서만 사는 가상 육체, 나노기술이 적용된 물리적 육체 등등 여러가지가 있을 것이다.
22. 전화란 것도 사실 청각적 가상 현실이죠.
23. 진짜 비용은 생산품을 묘사하는 정보의 가치에 달렸다. 조립 과정을 통제하는 소프트웨어가 제일 중요한 것이다. 달리 말하면 세상 모든 것의 가치는, 물론 물리적 실체들도 포함하여, 전적으로 그 속에 저장된 정보의 가치에 달렸다.
요즘의 상황도 그리 다르지 않다. 생산품의 정보가치가 급격히 상승하고 있어서, 전체 가치의 100퍼센트에 육박하는 점근선에 도달하기까지 얼마 남지 않았다.
24. 애스크 MSR(microsoft research) 연구를 이끌었던 마이크로소프트의 에릭 브릴은 심지어 이보다 더 어려운 작업에 착수하고 나섰다. 훨씬 복잡한 질문들, 이를테면 "노벨상 수상자는 어떻게 결정되나?" 같은 물음에 약 50단어 정도로 간결하게 답해주는 시스템을 만들려는 것이다. 여러가지 전략이 총동원될텐데 그 중 하나는 웹이 있는 온갖 FAQ페이지들을 적절히 활용하는 것이라고 한다.
chat-gpt 의 아이디어가 여기서 나오나 싶다.
문득, 네이버 지식인은 양질의 자료가 축적된 공간 같다는 생각이 들었다. 아무나 아무렇게나 답을 달 수 있는 웹페이지 말고, 인증된 사람만(요새는 특히 더) 답을 달 수 있는 곳이니 말이다. (물론 초기엔 아니었다)
25. 요즘은 타자기나 말이 끄는 마차, 나무를 태우는 난로, 기타 구식 기술들을 쓰는 사람이 거의 없다. 인체 재설계도 마찬가지 과정을 밟을 것이다. 위장을 재설계할 때 발생하는 복잡다단한 문제들이 모두 해결되면 점점 많은 사람들이 그런 위장을 택할 것이다. 나노봇을 동원한 소화계가 서서히 인기를 끌면서 처음에는 기존 소화 기능을 도와주는 정도였다가 나중에는 완전히 대체할 것이다.
26. 저는 인간성의 핵심은 한계에 있다고 보지 않습니다. 오히려 한계를 뛰어넘는 능력이야말로 인간성의 핵심이라 봅니다.
이 책에서 가장 중요하다고 할 수 있는 문장이다.
27. 비생물학적 지능역시 인간이다. 인간-기계 문명에서 비롯하였으며 최소한 일부라도 인간 지능을 역분석한 내용에 뿌리내리고 있을 것이기 때문이다. 두 지능이 융합한다는 것은 그저 생물학적 매질과 비생물학적 매질이 합쳐진다는 것 이상의 의미가 있다. 사고의 방법과 구조가 바뀐다는 것이고, 우리 마음이 사실상 무한히 확장될 수 있다는 뜻이다.
28. 인류를 탄생시킨 과정인 진화는 단 하나의 목표만을 갖고 있다. 최대한 자기복제하는 궁극의 유전자 기계를 만들어내는 것이다. 돌이켜 생각하면 이토록 비지능적인 우주에서 생명처럼 복잡한 구조가 탄생할 수 있었던 유일한 벙법이 그것이었다.
29. 변하지 않는 것은 물질이 아니라 물질과 에너지의 패턴일 뿐이며, 그마저도 사실 점진적으로는 변화한다. 따라서 영원히 살아남으면서 서서히 변호하고 발전해가는 불멸의 존재란 인간이라는 소프트웨어의 패턴인 것이다.
30. 현재로서 내릴 수 있는 결론은 막강한 수준에 오른 지능이 빛의 속도로 우주 너머 확장해 가리라는 사실 정도다. 현재의 물리학 지식으로 볼 때도 광속이라는 것이 진정한 한계 속도가 아닐지 모르며, 설령 광속이 정말 불변의 수치라 판명나더라도, 웜홀을 통해 다른 장소로 빠르게 이동할 수 있는 가능성은 열려 있다는 걸 염두에 두어야 한다.
광속마저 한계를 두지 않는 레이 커즈와일. 니체적 인간이다 .
31. 우리가 진짜 외계 지적 생명체를 만나게 된다면 그들은 우리 같은 생물학적 지능이 아니라 기계 지능일 가능성이 아주 높다.
32. 우주에서 지능이란 얼마나 중요한 존재일까? 보통 지능은 시사한 거품 같은 것. 가차없는 우주의 힘 속에 이리저리 내몰리는 작은 생명체들에게 잠시 생겨난 작은 현상으로 여겨진다. 나는 동의할 수 없다. 나는 거대하고 비인간적인 자연의 힘들보다 지능의 힘이 훨씬 우월함을, 그 사실이 언젠가 밝혀질 것임을 믿는다. ~ 그보다 우주의 운명은 미래에 내려질 어떤 결정에 달려 있다. 적절한 때가 오면 지능을 지닌 우리가 직접 내리게될 결정말이다.
우주나 자연이 어떤 의지가 있어서 세상을 창조하고 구성하고 변화시키는지 사실 확신할 수 없고, 그렇지 않을 가능성이 더 높다. 하지만 지능이 있는 인간(혹은 인간이 만든 그 무엇인가든)은 의지를 갖고 세상을 만들어 나간다. 지속적인 지능의 확장 및 발전이 이뤄진다면 우주의 운명에 대한 결정도 지능을 가진 인간 또는 무엇인가가 내리게 될 가능성이 없다고 할 수 없고, 결과론적으로 지능의 탄생 이유가 우주의 운명에 영향을 끼치기 위함이었을 수도 있다고 생각한다.
33. 만약 기술로 강화된 인간은 인간이 아니라고 규정한다면, 대체 어느 선에서 경계를 그을 것인가?
34. (리프레이징한 문장인 것 같으나) 그러므로 나는 물질과 에너지의 어떤 패턴으로서 오랜 시간을 견디는 것이라고 스스로 정의해야 좋을지 모른다.
35. 잘 알려지지 않은, 혹은 진화 중인 생물학적 병원체에 대해 전세계적인 차원에서 비밀스런 무작위 혈청조사를 할 수 있어야 한다.
36. 위험은 국경을 초월한다. 현재의 생물학적 바이러스, 소프트웨어 바이러스, 미사일도 이미 국가 간 경계를 무시하는 위험들이다. SARS 바이러스를 퇴치하는 데 전세계적 협동이 주요했듯, 미래의 위기들을 다루는 데도 협력은 중요할 것이다. SARS에 대한 대응을 조직했던 세계보건기구 같은 조직들이 더욱 강화되어야 한다.
코로나19의 극복은 개인적으로 각국의 지방정부와 거대 제약기업이었다. WHO는 상황을 컨트롤하지도 해결하지도 못했다.
37. 대부분의 잠재적 위협에 대해서 긴선 제압을 하는 임무를 맡은 것은 첩보기관과 경찰조직이다. 그들은 현존하는 가장 강력한 기술을 손에 갖고 있어야 한다.
위험한 발언
38. 로봇공학분야에서 취할 수 있는 최고의 전략은 미래의 비생물학적 지능이 자유, 관용, 지식과 다양성에 대한 존중 등 인간적 가치들을 최대한 따르게 하는 것이다.
인문학이 다시금 필요한 때다. 모든 것이 자율 자동화 되고, 연산의 필요성이 적어 질때 인간이 선택할 수 있는 건 더욱 인간다워 지는 것. 어떤 가치를 가르칠 것인지 탐구하는 것
39. 정보기술의 전반적 효율을 점검하다 보면 분명히 또렷하고 예측가능한 기하급수적 성장세를 발견할 수 있다. 특정 사업이나 회사의 결과를 신빙성 있게 예측하는 것은 불가능하지만 정보기술의 전반적 역량에 대해서는 수확 가속의 법칙에 따라 믿을만한 예측을 내놓을 수 있다.
시장을 사라?
40. 힘겹게 달성된 AI 목표는 목표를 달성하면 일반적인 기술로 취급된다.
알파고가 바둑계를 제패하고 이제는 바둑잘두는 기계정도로 취급되는가? 그런 경향이 있다.
AI의 발전은 우리가 체감하는 것보다 더욱 가까이 와 있을 수도 있다. 다만, 이제까지의 발전을 폄하했을 뿐
41. 뇌의 정보는 상당히 무작위한 형태로 출발하지만 뇌가 복잡한 환경과 상호작용하면서(학습하고 성숙하면서) 갈수록 의미있는 형태로 변해간다.
42. 특이점의 정의 (옮긴이) : 가속적으로 발전하던 과학이 폭발적 성장의 단계로 도약함으로써 완전히 새로운 문명을 낳는 시점
