⌜기술 공화국⌟ 1부 핵심 정리

기술 공화국: 강성 권력, 연성 신념, 그리고 서구의 미래

"The Technological Republic"의 1부 "소프트웨어 세기 (The Software Century)"의 핵심 내용

목차: 1부 소프트웨어 세기 (The software Century)

1장: 길 잃은 실리콘밸리 (Chapter One: Lost Valley)

2장: 지능의 불꽃 (Chapter Two: Sparks of Intelligence)

3장: 승자의 오류 (Chapter Three: The Winner's Fallacy)

4장: 원자 시대의 종말 (Chapter Four: End of the Atomic Age)

1부: 소프트웨어 세기 (The Software Century)

1부에서는 현재의 뛰어난 공학 인재 세대가 국가적 목적이나 더 웅장하고 의미 있는 프로젝트에 대한 감각을 잃었다고 주장합니다. 이 프로그래머들은 기술적 경이로움을 구축하는 데 몰두했으며, 실제로 경이로운 것들이 구축되었습니다.

인공지능의 부상과 잠재력: 대규모 언어 모델로 알려진 최신 형태의 인공지능은 역사상 처음으로 추상적 추론 및 문제 해결에 있어서 인간의 지능과 경쟁할 수 있는 인공 일반 지능의 가능성을 제시했습니다. 그러나 이러한 새로운 형태의 AI를 구축하는 기술 기업들이 이를 군사적 목적으로 사용하도록 허용할지는 분명하지 않습니다. 많은 기업들이 미 정부와 협력하는 것을 주저하거나 노골적으로 반대합니다.

미 국방부의 AI 무기 개발 필요성: 저자들은 미국이 직면한 가장 중요한 과제 중 하나가 미 국방부가 운동 전쟁을 싸우고 승리하도록 설계된 기관에서 AI 무기, 즉 다가오는 전장을 지배할 무인 드론 떼와 로봇을 설계, 구축 및 획득할 수 있는 조직으로 전환하는 것임을 주장합니다. 21세기는 소프트웨어의 세기이며, 미국과 그 동맹국들의 운명은 국방 및 정보 기관이 빠르게 진화할 수 있는 능력에 달려 있습니다.

기술 인재의 소극성: 그러나 그러한 무기를 개발하는 데 가장 적합한 세대는 군사적 목적에 상당한 재능을 바치는 것을 가장 주저하고 가장 회의적으로 생각하는 세대이기도 합니다. 이들 엔지니어 중 다수는 군에서 복무한 사람을 만나본 적이 없습니다. 미국 안보 우산의 보호를 누리지만 그 비용에 대해서는 아무런 책임도 지지 않는 문화적 공간에 존재합니다.

1장. 길 잃은 실리콘밸리 (Lost Valley)

초기 실리콘밸리의 정부 협력: 미국 소프트웨어 산업의 초기 성장은 20세기 초, 신흥 기술 기업들과 미국 정부 간의 급진적이고 복잡한 파트너십을 통해 가능했습니다. 실리콘밸리의 초기 혁신은 사소한 소비자 제품을 쫓는 기술 전문가들이 아닌, 시대의 가장 강력한 기술이 산업 및 국가적 중요성을 지닌 과제를 해결하는 데 사용되기를 열망하는 과학자들과 엔지니어들에 의해 주도되었습니다. 1940년대에 연방 정부는 신약 화합물, 대륙간 로켓, 위성, 그리고 인공지능의 전신을 개발하는 데 기여할 다양한 연구 프로젝트를 지원하기 시작했습니다. 실제로 실리콘밸리는 한때 미국 군사 생산과 국가 안보의 중심에 있었습니다. 페어차일드 카메라 및 기기 회사는 1950년대 후반부터 중앙정보국이 사용하는 첩보 위성용 정찰 장비를 제작했습니다. 제2차 세계대전 이후 한동안 미 해군의 탄도 미사일 전체가 캘리포니아 산타클라라 카운티에서 생산되었습니다. 록히드 미사일 & 스페이스, 웨스팅하우스, 포드 에어로스페이스, 유나이티드 테크놀로지스와 같은 회사들은 1980년대부터 1990년대까지 실리콘밸리에서 수천 명의 직원을 고용하여 무기 생산에 종사했습니다.

루즈벨트 대통령의 과학 활용 비전: 1944년 11월, 프랭클린 루즈벨트 대통령은 바네바 부시에게 미국이 전쟁 중 군사적 목적을 위해 과학을 활용했던 "독특한 실험"에 대해 설명했습니다. 루즈벨트는 이러한 교훈이 "평화 시에도 유익하게 활용될 수 있다"고 믿었습니다. 그의 야망은 새로 승리한 국가이자 신흥 헤게모니의 권력과 명성, 재정적 자원이 공중 보건 및 국가 복지 증진을 위해 과학 커뮤니티를 발전시키도록 하는 것이었습니다.

미국 건국 초기부터의 과학과 국가의 연계: 전쟁 전후에 국가와 과학 연구의 얽힘은 혁신과 정치 간의 훨씬 더 오랜 연결 역사에 기반을 두고 있었습니다. 토마스 제퍼슨, 벤자민 프랭클린과 같은 초기의 미국 공화국 지도자들 중 다수는 스스로 엔지니어였습니다. 존 애덤스 대통령은 초기 공화국을 "농업 발전에 과학을 적용하는" 것과 같은 실용적 탐구로 이끌려 했습니다. "과학자"라는 용어 자체는 1834년에 메리 서머빌을 묘사하기 위해 처음 만들어졌습니다. 1481년 바티칸 도서관에는 약 3,500권의 책과 문서가 있었는데, 이는 당시 인류의 집단 지식의 제한된 범위를 보여주며 학제간 접근을 장려했습니다.

20세기 과학자들의 공적 역할: 1930년대 후반 J. 로버트 오펜하이머와 그의 동료들의 등장은 과학자들과 엔지니어들을 미국 생활과 민주주의 실험 방어의 중심에 더욱 자리매김하게 했습니다. 조셉 리클라이더는 1962년에 미 국방고등연구계획국(DARPA)의 전신이 될 기관에 고용되었고, 그의 연구는 미 공군의 지원을 받았습니다. 정치 지도자들과 그들이 지침과 방향을 위해 의존했던 과학자들 사이에는 친밀하고 상당한 신뢰가 있었습니다. 1957년 소련의 스푸트니크 발사 직후, 한스 베테는 백악관으로 소환되어 미국 우주 프로그램 재활성화를 위한 합의가 이루어졌고, NASA는 이듬해에 설립되었습니다. 제2차 세계대전이 끝날 무렵, 과학과 공공 생활, 즉 기술 혁신과 국정의 혼합은 본질적으로 완성되었고 특별할 것 없었습니다. 바네바 부시는 1942년 '콜리어스' 잡지에 "전쟁을 이길지도 모르는 사람"으로 소개되었습니다. 마리 퀴리와 알베르트 아인슈타인 같은 과학자들은 대중적 유명인이었습니다.

기술적 우위와 국가의 신뢰성: 20세기 미국은 엔지니어들이 중심이 된 "미국 세기"였으며, 과학과 공학을 통한 공공 이익 추구는 국가 프로젝트의 자연스러운 연장으로 간주되었습니다. 미국의 기술적 우위, 즉 의료 혁신에서 군사 능력에 이르기까지 대중을 위한 경제적, 과학적 발전을 안정적으로 제공하는 국가의 능력은 그 신뢰성에 필수적이었습니다. 부를 창출하는 신기술이 더 넓은 공공 이익을 증진시키지 못하면 종종 문제가 따랐습니다.

실리콘밸리의 변화와 소비자 시장 집중: 현대 실리콘밸리는 미 정부와의 협력 전통에서 크게 벗어나, 온라인 광고 및 소셜 미디어 플랫폼을 포함한 소비자 시장에 집중했습니다. 창업자들은 "세상을 바꾸겠다"는 야심찬 수사학을 내세웠지만, 실제로는 사진 공유 앱이나 채팅 인터페이스 같은 소비자 제품을 만드는 데 자본과 인재를 집중했습니다. 실리콘밸리에서는 정부 업무와 국가적 야망에 대한 회의론이 자리 잡았고, 초기 20세기의 집단주의적 실험은 개인의 욕구에 대한 좁은 관심으로 대체되었습니다. 시장은 기술의 잠재력에 대한 피상적인 참여에 보상을 주었고, 국가적 중요 과제를 해결할 기술 인프라 구축에는 관심이 없었습니다. 그 결과 소셜 미디어 플랫폼과 음식 배달 앱의 시대가 도래했으며, 의료 혁신, 교육 개혁, 군사 발전은 뒷전으로 밀렸습니다.

정부와의 협력 기피와 혁신 격차: 수십 년 동안 미국 정부는 실리콘밸리에서 혁신의 장애물이자 논란의 대상, 즉 발전의 논리적 파트너가 아니라 장애물로 간주되었습니다. 현재 시대의 거대 기술 기업들은 오랫동안 정부 업무를 기피했습니다. 많은 주 및 연방 기관 내의 내부적인 기능 장애는 신흥 스타트업들에게는 극복할 수 없는 장벽을 만들었습니다. 시간이 지남에 따라 기술 산업은 정치와 더 넓은 공동체 프로젝트에 무관심해졌습니다. 그 결과 실리콘밸리의 최고 인재들과 그들의 제자들은 생계를 위해 소비자로 눈을 돌렸습니다. 실리콘밸리가 내부로 눈을 돌리고 소비자를 향해 나아갈 때, 미 정부와 많은 동맹국 정부들은 우주 여행에서 군사 소프트웨어, 의료 연구에 이르기까지 수많은 분야에서 참여와 혁신을 축소했습니다. 이러한 국가의 후퇴로 인해 혁신 격차가 확대되었습니다.

미래를 위한 국가와 기술 산업의 결합 필요성: 저자들은 미국과 유럽 및 전 세계 동맹국들이 지난 세기만큼 이번 세기에도 지배적인 위치를 유지하려면 국가와 소프트웨어 산업의 결합, 즉 분리와 분리가 아닌 결합이 필요할 것이라고 주장합니다. 기술 부문은 자신의 성장을 가능하게 한 국가를 지원할 적극적인 의무가 있으며, 공공 이익에 대한 새로운 포용이 기술 산업이 국가와의 신뢰를 재구축하고 기술의 잠재력을 실현하는 데 필수적이라고 말합니다. 또한 정부가 대중의 복지와 안보를 계속 제공할 수 있으려면 실리콘밸리 회사들이 성공할 수 있었던 독특한 조직 문화를 국가가 기꺼이 차용해야 한다고 주장합니다.

국가 안보와 기술의 중요성: 미국 정부와 전 세계 민주주의 체제의 정당성은 기술과 소프트웨어의 보다 효율적인 채택을 통해서만 달성될 수 있는 경제적, 기술적 생산량의 증가를 필요로 할 것입니다. 대중은 정치 계층의 많은 실패를 용서할 수 있지만, 기술을 활용하여 필수적인 재화와 서비스를 효과적으로 제공하는 시스템적 무능력은 간과하지 않을 것입니다.

2장. 지능의 불꽃 (Sparks of Intelligence)

오펜하이머와 원자폭탄: 1942년 J. 로버트 오펜하이머는 맨해튼 프로젝트의 군사적 노력인 Project Y를 이끌도록 임명되어 핵무기를 개발했습니다. 오펜하이머에게 원자무기는 "단순한 도구"였으며, 이는 더 근본적인 과학적 탐구의 대상이자 발현이었습니다. 그는 "기술적으로 달콤한 것을 보면, 계속해서 그것을 한다"고 말하며 행동과 탐구에 대한 편향을 드러냈습니다. 그러나 히로시마와 나가사키 폭탄 투하 이후 그의 감정은 바뀌었고, 그는 1947년 MIT 강연에서 폭탄 개발에 참여한 물리학자들이 "죄를 알았고, 이는 그들이 잃을 수 없는 지식"이라고 언급했습니다.

과학 발전과 윤리적 복잡성: 일부 과학자들은 자신들이 정치적, 도덕적 계산과는 무관하게 운영된다고 보았고, 이는 오늘날 실리콘밸리의 많은 젊은 엔지니어들도 공유하는 관점입니다. 그들은 자본주의 문화의 욕구를 채우고 자신을 부유하게 만드는 데는 기꺼이 삶을 바치지만, 무엇을, 어떤 목적으로 만들어야 하는지에 대한 근본적인 질문은 회피합니다. 원자폭탄 발명 80년이 지난 지금, 우리는 공학과 윤리가 연결되는 컴퓨팅 과학의 유사한 갈림길에 도달했으며, 아직 완전히 파악하지 못한 기술의 힘과 잠재력을 계속 개발할지 여부를 선택해야 합니다.

인공지능의 급속한 발전과 우려: 최신 대규모 언어 모델의 급속한 발전 능력은 잘 이해되지 않고 있습니다. 이러한 언어 모델이 주변 환경을 감지할 수 있는 고급 로봇 공학에 통합되면 미지의 영역으로 더 깊이 들어갈 것입니다. 일부 최신 모델은 1조 개 이상의 매개변수를 가지고 있으며, 이는 인간의 정신으로는 이해할 수 없는 처리 규모를 나타냅니다. 가장 진보된 모델들은 이제 "인공 일반 지능의 불꽃"이라고 불리는, 인간의 사고방식과 유사해 보이는 추론 형태를 보여주기 시작했습니다. GPT-4는 책, 계란, 노트북, 병, 못을 안정적으로 쌓는 방법을 설명하는 것과 같은 "상식" 문제를 성공적으로 해결했습니다. 이 모델들은 유니콘 그림을 그리는 것과 같이 인간의 창의력과 언어 조작 능력에 대한 강력하고 그럴듯한 도전을 제시합니다.

인간과 기계 지능의 공존: 지난 세기 동안 컴퓨터는 인간 지능의 비신성한 측면에서 동등한 수준에 도달하는 것처럼 보였습니다. 그러나 이제 기계는 많은 사람들이 컴퓨팅 지능과의 경쟁에서 본질적으로 면역이라고 생각했던 지적 삶의 영역을 침범하기 시작했습니다. 저자들은 이러한 다음 시대를 두 지능 종, 즉 우리 자신과 합성 지능 간의 협력의 시대로 보아야 한다고 제안합니다.

AI 개발에 대한 논란과 윤리적 과제: 2022년 여름, 구글 엔지니어 블레이크 르무안이 자사의 대규모 언어 모델(LaMDA)에서 의식의 증거를 발견했다고 주장하며 대화 내용을 유출하면서 인공지능의 잠재력과 위협에 대한 논의가 시작되었습니다. 르무안은 구글에서 해고되었고, 2023년 2월 마이크로소프트의 빙(Bing) 모델과의 대화는 또다시 의식의 가능성을 시사하며 대중의 관심을 끌었습니다. 많은 회의론자들은 이러한 모델들을 "의미에 대한 참조 없이" 생생하고 생동감 있는 언어를 대량으로 생산하는 "확률론적 앵무새"에 불과하다고 일축합니다. 일부 학자들은 의식이라는 개념을 연구하기 어렵다고 주장하며 "C-단어(consciousness)"라고 부르기도 합니다.

미래 예측과 기술 발전의 위험: 과거 수십 년 동안 인공지능이 인간 지능과 동등해질 것이라는 예측이 있었지만, 이는 시기상조였습니다. 현재 인공지능 개발의 위험은 그 어느 때보다 크지만, 저자들은 도구가 우리에게 불리하게 사용될까 두려워 날카로운 도구를 만드는 것을 피해서는 안 된다고 주장합니다. 팔란티어와 같은 회사들이 구축하는 소프트웨어와 인공지능 역량은 치명적인 무기 배치를 가능하게 할 수 있습니다. 무기 시스템과 점점 더 자율적인 AI 소프트웨어의 잠재적인 통합은 위험을 수반하며, 이러한 프로그램들이 일종의 자아 인식과 의도를 개발할 가능성으로 인해 더욱 커집니다. 그러나 이러한 기술의 개발을 중단하라는 제안은 잘못된 것입니다. 원자 시대가 끝나고 다음 시대가 도래함에 따라, 이번 세기의 힘의 균형을 결정할 차세대 AI 무기를 구축하는 데 우리의 관심을 재집중하는 것이 필수적입니다.

대중 불신과 책임 회피: 일부에서는 대규모 언어 모델의 발전을 억제하려는 시도가 대중과 기술의 위험 및 이점을 적절히 평가하는 능력에 대한 불신에서 비롯될 수 있다고 봅니다. 수년 동안 소프트웨어가 인류의 구원이라고 주장했던 실리콘밸리의 엘리트들이 이제 군사 작전에서 의학에 이르기까지 모든 것을 혁신할 잠재력이 있는 중요한 연구를 중단해야 한다고 말할 때, 우리는 회의적이어야 합니다. 최신 언어 모델 비판자들은 챗봇이 사용하는 단어와 어조를 규제하고 기계와의 허용 가능한 담론의 한계를 순찰하는 데 과도한 관심을 기울입니다. 이는 기술 자체보다 우리 문화의 선입견과 취약성에 대해 더 많은 것을 드러낼 수 있습니다. 저자들은 우리의 관심이 AI 프로그램이 전력망, 국방 및 정보 네트워크, 항공 교통 관제 인프라와 같은 다른 시스템과 자율적으로 통합될 수 있는 능력 주위에 해자와 가드레일을 만들 기술 아키텍처와 규제 프레임워크를 구축하는 데 더 시급하게 집중되어야 한다고 주장합니다.

군사적 우위와 AI: 역사의 승자들은 정확히 잘못된 순간에 안주하는 경향이 있습니다. 서구의 아이디어와 이상이 필연적으로 적대국에 대한 승리로 이어질 것이라고 주장하는 것이 현재 유행이지만, 때로는 담론에 앞서 저항, 심지어 무력 저항이 선행되어야 합니다. 우리의 전체 국방 기관과 군사 조달 체계는 지난 세기에 전장을 지배했지만, 이번 세기에는 거의 확실히 중심이 되지 않을 유형의 전쟁, 즉 대규모 전장에서 인간 대중의 충돌을 위한 병력을 공급하도록 구축되었습니다. 이 다음 갈등 시대는 소프트웨어로 승패가 결정될 것입니다. 원자 시대라는 한 시대의 억제는 끝나고 있으며, AI에 기반한 새로운 억제 시대가 시작될 예정입니다. 그러나 위험은 우리가 이미 이겼다고 생각하는 것입니다.

3장. 승자의 오류 (The Winner's Fallacy)

전쟁과 권력: 탈무드에는 4세기 바빌론에 살았던 라바라는 스승과의 대화가 기록되어 있는데, 그는 집에 침입한 강도를 죽이는 것이 허용되는지 여부를 고찰합니다. 라바는 "누군가 당신을 죽이러 온다면, 그를 먼저 죽여라"고 분명히 말합니다. 수세대 동안 미국은 세계 강대국 간의 전쟁을 경험하지 못했습니다. 제2차 세계대전 이후 수십억 명의 사람들이 중대한 군사적 갈등의 공포를 경험한 적이 없습니다. 후기 자본주의의 관심사는 다른 문제들로 향하는 사치를 누렸습니다. 그러나 현재 진행 중인 권력을 위한 지정학적 투쟁이라는 종종 암울한 현실을 다루는 것을 꺼리는 것은 그 자체로 위험을 초래합니다. 우리의 적대국들은 중요한 군사 및 국가 안보 응용 기술 개발의 장점을 놓고 연극적인 논쟁을 벌이는 데 시간을 낭비하지 않을 것입니다. 그들은 진행할 것입니다.

안면 인식 기술과 드론 군집 기술 개발 경쟁: 미 상무부 산하 미국 표준기술연구소(NIST)는 전 세계 기업들의 수십 가지 안면 인식 알고리즘에 대한 정기적인 테스트를 수행합니다. 가장 효과적인 시스템은 "쌍둥이 연구"라고 불리는 테스트를 거칩니다. 2024년 현재, 세계 6대 안면 인식 회사 중 3곳이 중국에 기반을 두고 있습니다. 2021년 12월, 미 재무부는 클라우드워크 테크놀로지가 중국 정부에 소프트웨어를 제공하여 티베트인과 위구르족 등 소수 민족 구성원을 "추적하고 감시"했다고 공개적으로 비난했습니다. 2022년, 중국 저장 대학 연구팀은 빽빽한 대나무 숲을 통과하는 물체를 추적하면서 서로 협력할 수 있는 소형 비행 드론 군집을 성공적으로 개발했습니다. 이 연구팀은 드론 군집이 "숲을 자유롭게 비행할 수 있는 새와 유사하다"고 기술했습니다. 스위스 로잔 연방 공과대학교의 한 대학원생은 이 항저우 연구팀의 작업이 "구조화되지 않은 환경, 즉 야생에서 드론 군집이 성공적으로 비행한 최초의 사례"라고 말했습니다.

군사적 활용에 대한 침묵과 미국의 주저: 연구팀은 그들의 작업이 군사적으로 응용될 수 있는 잠재력에 대해서는 언급하지 않았습니다. 그러나 이듬해인 2023년 10월, 미 공군 소속 부서는 중국 군대가 "대규모 전투에서 동적인 시나리오에 대처하기 위한" 드론 군집 개발 연구를 적극적으로 추구해 왔으며, 최근 특허 출원의 대부분이 "도시 환경"에서의 갈등과 관련된 기술에 관한 것이라고 결론지었습니다. 미국의 지정학적 적들은 종종 전통적인 정치인보다 실리콘밸리에서 "창업자"라는 용어를 사용하는 의미에 더 가까운 개인들에 의해 통치됩니다. 그들의 운명과 개인적 부는 그들이 감독하는 권위주의 정권의 그것과 깊이 얽혀 있기 때문에 그들은 소유자처럼 행동하며, 이는 그들이 자국 미래에 직접적인 이해 관계를 가지고 있다는 것을 의미합니다. 그 결과 그들은 대중의 필요와 요구에 훨씬 더 민감하게 반응할 수 있으며, 비록 무자비하게 그들을 무시하더라도 말입니다. 비즈니스와 정치에서 우리는 항상 반란의 위협과 협상하고 있습니다.

기술적 우위 추구에 대한 미국의 망설임: 세계 주요 국가들은 현재 새로운 종류의 군비 경쟁에 참여하고 있습니다. 인공지능의 군사적 응용에 대한 우리의 망설임은 처벌받을 것입니다. 적에게 힘을 행사하는 데 필요한 도구를 개발하는 능력과 그러한 힘을 사용할 믿을 만한 위협은 종종 적과의 효과적인 협상의 토대가 됩니다. 우리의 문화적 망설임의 근본 원인은 우리가 이미 이겼다는 집단적 감정 때문일 수 있습니다. 그러나 많은 사람들이 역사가 끝났고, 서구 자유 민주주의가 20세기 투쟁 끝에 영원한 승리를 거두었다고 믿는 확실성은 위험하고 만연합니다. 프랜시스 후쿠야마는 1989년 논문에서 "인류 이념 발전의 종착점"에 도달했으며 자유 민주주의가 "인간 정부의 최종 형태"를 나타낸다고 선언했습니다. 그러나 우리는 안주해서는 안 됩니다. 자유롭고 민주적인 사회가 승리하려면 도덕적 호소 이상의 것이 필요합니다. 이번 세기의 견고한 권력은 소프트웨어에 기반을 둘 것입니다.

군사적 기술 활용에 대한 반대: 토마스 셸링은 무기 개발의 기술적 진보와 그러한 무기가 정치적 결과에 미치는 영향 사이의 관계를 이해했습니다. "강제력을 행사하려면 폭력이 예상되어야 한다"고 그는 1960년대 베트남에서 미국의 군사적 개입이 심화될 때 썼습니다. "해칠 수 있는 힘은 협상력이다. 그것을 이용하는 것은 외교다. 잔인한 외교지만 외교다". 셸링의 현실주의 버전의 미덕은 도덕적인 것을 전략적인 것과 비감상적으로 분리하는 것이었습니다. 그는 "전쟁은 항상 협상 과정"이라고 분명히 했습니다.

기술 기업들의 비협조와 그 결과: 정책의 정당성 여부를 논하기 전에, 협상에서 자신의 영향력 또는 부족함을 이해하는 것이 필요합니다. 현대 국제 문제 접근 방식은 종종 도덕적 또는 윤리적 관점에서 자신의 견해의 정당성이 지정학적 적에 대한 상대적 권력, 특히 상대방에게 해를 가할 수 있는 우월한 능력을 가진 당사자에 대한 더 불쾌하고 근본적인 질문에 참여할 필요를 배제한다고 가정합니다. 현재의 순간과 많은 정치 지도자들의 헛된 희망은 결국 그들의 몰락을 초래할 수 있습니다.

마이크로소프트와 구글 사례: 다른 국가들이 전진하는 동안, 많은 실리콘밸리 엔지니어들은 전장에서 적을 더욱 체계적으로 표적화하고 제거하는 것을 가능하게 하는 기계 학습 시스템을 포함하여 공격적인 군사적 응용을 가질 수 있는 소프트웨어 프로젝트에 참여하는 것을 반대하고 있습니다. 이들 엔지니어들은 소셜 미디어 플랫폼에 광고를 배치하는 것을 최적화하는 알고리즘을 구축하는 데는 주저하지 않고 삶을 바칠 것입니다. 그러나 그들은 미 해병대를 위한 소프트웨어를 구축하지는 않을 것입니다. 예를 들어, 2019년 마이크로소프트는 미군과의 국방 계약을 수락하는 데 내부적 반대에 직면했습니다. 이 회사는 임무 계획 및 훈련에 사용할 가상 헤드셋을 군인들에게 제공하도록 선정되었습니다. 그러나 마이크로소프트의 직원들은 회사 CEO인 사티아 나델라와 사장인 브래드 스미스에게 공개 서한을 보내 반대하며 "우리는 무기를 개발하기 위해 서명하지 않았다"고 주장했습니다. 1년 전인 2018년 4월, 구글 직원들의 시위로 인해 회사는 마븐 프로젝트(Project Maven)와 관련된 미 국방부와의 계약을 갱신하지 않기로 결정했습니다. 마븐 프로젝트는 전 세계 특수 작전 계획 및 실행을 위해 위성 및 기타 정찰 이미지 분석을 돕기 위해 고안된 중요한 시스템이었습니다. 구글 직원들은 회사 CEO인 순다르 피차이에게 보낸 서한에서 "미국 정부의 군사 감시, 잠재적으로 치명적인 결과에 도움을 주는 이러한 기술을 구축하는 것은 용납될 수 없다"고 썼고, 이 서한은 3천 명 이상의 서명을 받았습니다.

젊은 엔지니어들의 '앱' 집착: 우리는 젊은 엔지니어들이 디지털 무기 시스템에 해당하는 것을 구축하는 것을 꺼리는 것을 직접 목격했습니다. 그들 중 일부에게 사회 질서와 그들이 사는 상대적인 안전과 안락함은 미국 프로젝트의 정의의 필연적인 결과이지, 국가와 그 이익을 방어하기 위한 체계적이고 복잡한 노력의 결과가 아닙니다. 그러한 안전과 안락함은 싸워서 얻어낸 것이 아닙니다. 많은 이들에게 우리가 누리는 안보는 존재의 배경적 사실 또는 특징으로, 설명할 필요가 없는 너무나 근본적인 것입니다. 이들 엔지니어들은 이념적이든 경제적이든 타협이 없는 세상에 살고 있습니다. 그러나 그들의 견해와 실리콘밸리의 그들과 같은 세대들의 견해는 미국 여론의 중심에서 크게 벗어났습니다. 수십 년 동안 기관에 대한 대중의 신뢰가 변화하고 일부(신문, 공립학교, 의회 등)는 급격히 하락했지만, 미국인들은 미군이 여전히 국내에서 가장 신뢰받는 기관 중 하나라고 일관되게 보고하는 것은 놀라운 일입니다.

미국 엘리트층의 변화: 윌리엄 F. 버클리 주니어가 1961년 '에스콰이어'와의 인터뷰에서 "하버드 대학교 교수진보다는 전화번호부의 처음 2,000명의 사람들에게 통치받고 싶다"고 말했을 때, 그의 조롱에는 장난기와 어느 정도의 아이러니가 있었습니다. 그러나 그의 상기시키는 말에는 지혜와 겸손에 가까운 무언가도 있었습니다. 실리콘밸리의 신동들, 즉 그들의 부, 사업 제국, 그리고 더 근본적으로는 전체적인 자아 의식은 많은 경우 그들의 성장을 가능하게 한 국가 때문에 존재합니다. 그들은 거대한 기술 제국을 건설하는 책임을 맡고 있지만, 그들의 성장을 위한 필수적인 조건을 제공한 국가의 보호(교육 기관과 자본 시장은 말할 것도 없고)에 대한 지원을 거부합니다. 그들은 그 빚을 이해하는 것이 좋을 것입니다.

핵무기와 AI 기술의 비교: 1939년 여름, 롱아일랜드 노스포크의 한 작은 집에서 알베르트 아인슈타인은 레오 실라르트 등과 함께 작업한 편지를 프랭클린 루즈벨트 대통령에게 보내 핵무기 개발을 신속히 추진할 것을 촉구했습니다. 아인슈타인과 루즈벨트는 아인슈타인이 1930년대 초 독일에서 미국으로 온 이후 서로 알고 지냈습니다. 그들의 관계는 어느 정도 친밀했습니다. 루즈벨트는 어린 시절 독일 바트 나우하임에서 학교를 다녔고, 독일어에 거의 능통했으며, 히틀러의 '나의 투쟁'을 읽었습니다. 아인슈타인 부부는 이전에 대통령의 초대로 백악관에서 밤을 보냈습니다. 핵무기 개발의 급속한 기술적 진보는 "행정부의 경각심과 필요하다면 신속한 조치"를 요구하며, "행정부와 물리학자들 사이의 영구적인 연락"에 기반한 지속적인 파트너십을 요구한다고 아인슈타인과 실라르트는 편지에 썼습니다. 그러한 영구적인 연락은 20세기 가장 중요한 과학적 돌파구 중 하나를 낳았고, 미국과 그 동맹국들에게 세계를 재편한 투쟁에서 결정적인 우위를 제공했습니다. 당시 행동을 촉구한 것은 폭탄의 순수한 힘과 전략적 잠재력이었습니다. 지금 당장 신속한 조치를 촉구해야 하는 것은 이러한 최신 인공지능 기술의 덜 가시적이지만 똑같이 중요한 능력입니다.

4장. 원자 시대의 종말 (End of the Atomic Age)

원자폭탄 실험과 평화에 대한 희망: 1945년 7월 16일, 새벽이 되기 전 뉴멕시코 사막의 황량한 모래밭에 과학자들과 정부 관리들이 모여 인류 최초의 핵무기 실험을 지켜봤습니다. 밤새 비가 내렸고, 실험이 진행될 수 있을지 불확실했습니다. 그러나 그날 아침 일찍 비가 그쳤습니다. J. 로버트 오펜하이머와 바네바 부시도 그 자리에 있었습니다. 폭발은 관찰자에 의해 "찬란한 보라색"으로 묘사되었고, 폭탄 폭발음은 사막에 울려 퍼졌습니다. 그날 아침 뉴멕시코에서 오펜하이머는 이러한 파괴적인 힘의 다음 시대가 어떻게든 지속적인 평화에 기여할 수 있을지 숙고했습니다. 수십 년 후 미 에너지부의 정부 보고서는 오펜하이머가 다이너마이트를 발명한 스웨덴의 산업가이자 박애주의자인 알프레드 노벨의 희망, 즉 다이너마이트가 "전쟁을 끝낼 것"이라는 희망을 회상했다고 언급했습니다. 1833년 스톡홀름에서 태어난 노벨은 19세기 후반에 새로운 폭발성 니트로글리세린을 실험하여 독일과 벨기에를 포함한 유럽 전역의 광부들과 미국 록키산맥을 넘어 서쪽으로 금을 찾아가는 탐험가들에게 판매하여 부를 축적했습니다. 그러나 이 산업 화학 물질은 군사 엔지니어들에 의해 빠르게 폭탄 제조에 적용되었습니다. 예를 들어, 1870년대 초에는 다이너마이트가 프랑스와 프로이센 전쟁에서 광범위하게 사용되어 알자스-로렌을 독일에 넘겨주었습니다. 처음에는 노벨이 자신의 발명품을 "평화적인 목적"으로만 사용하려 했다고 그의 전기 작가 에디스 패터슨 메이어는 회상했습니다. 그러나 시간이 지남에 따라 그의 생각은 점점 더 실용적으로 변했고, 그의 발명품에 대한 초기 열망을 특징지었던 이상주의와 지적 순수성에 대한 욕구는 사라지는 것처럼 보였습니다. 1891년 파리에 살면서 노벨은 친구에게 보낸 편지에서 더 유능한 무기가 평화의 가장 좋은 보증인이 될 것이라고 털어놓았습니다. 그는 "국가들이 전쟁을 시작하는 것을 막을 유일한 것은 테러뿐이다"라고 썼습니다.

핵 억지력과 '오랜 평화': 우리는 이러한 암울한 계산에서 벗어나, 우리 종의 본질적으로 평화로운 본능이 무기를 가진 자들이 무기를 내려놓는 위험을 감수하기만 하면 우세할 것이라는 희망으로 물러서려는 유혹을 느낄 수 있습니다. 그러나 뉴멕시코에서 원자폭탄이 처음 시험된 지 거의 80년이 지났고, 핵무기는 전쟁에서 단 두 번만 사용되었습니다 (일본 히로시마와 나가사키). 폭탄이 일으킨 힘과 공포는 많은 사람들에게 멀고 희미하며, 거의 추상적인 것이 되었습니다.

군비 투자에 대한 서구의 무관심: 한 무기만으로 세계 역사상 그렇게 지속적인 상대적 평온기가 도래하는 데 모든 공로를 돌리거나 심지어 대부분의 공로를 돌리는 것은 불합리할 것입니다. 제2차 세계대전 이후 전 세계적으로 민주주의 정부 형태의 확산과 한때 상상할 수 없었던 수준의 상호 연결된 경제 활동을 포함한 수많은 다른 발전들이 분명히 그 이야기의 일부입니다. 그러나 지난 세기 동안 미국 군사력의 우위는 현재의 취약한 평화를 지키는 데 의심할 여지 없이 기여했습니다. 그러나 그러한 우위 유지에 대한 헌신은 서구에서 점점 더 유행에 뒤떨어진 것이 되었습니다. 그리고 억지력이라는 교리는 도덕적 매력을 잃을 위험에 처해 있습니다.

유럽의 국방비 지출 부족: 한때 유럽이 자국 방어에 충분한 돈을 지출하지 않고 있으며, 본질적으로 미국이 연간 9,000억 달러에 달하는 막대한 국가 안보 투자로부터 비용을 분담하지 않고 이득을 취하고 있다고 말하는 것은 불필요하게 도발적이고 거의 무례한 것으로 여겨졌습니다. 수십 년 동안 미국은 GDP의 약 3~5%를 국방비로 지출한 반면, 유럽연합의 군사 지출은 같은 기간 동안 약 1.5% 수준에 머물렀습니다. 유럽의 접근 방식에 대한 더 날카로운 비판은 최근 몇 년 동안 점점 더 빈번해졌습니다. 2016년 4월, 버락 오바마 대통령은 '애틀랜틱'과의 인터뷰에서 유럽의 빈약한 국방비 지출에 대한 불만을 표했습니다.

미국의 국방 투자 변화 필요성: F-35 전투기는 1990년대 중반에 구상되었고, 이 항공기(미국 및 동맹군의 주력 공격기)는 앞으로 63년 동안 운용될 예정입니다. 현재 프로그램의 총 비용은 미 정부 추정치로 2조 달러에 달합니다. 그러나 마크 밀리 장군(전 합동참모의장)이 2024년 워싱턴 D.C.에서 열린 국가 안보 컨퍼런스에서 말했듯이, "우리는 유인 항공기가 2088년에도 하늘을 지배할 것이라고 정말 생각하는가?". 원자 시대는 끝나가고 있습니다. 21세기는 소프트웨어의 세기이며, 미래의 결정적인 전쟁은 인공지능에 의해 좌우될 것이고, 그 개발은 과거의 무기보다 훨씬 더 빠르고 다른 시간표에 따라 진행되고 있습니다. 하드웨어와 소프트웨어 간의 관계에서 근본적인 역전이 일어나고 있습니다. 20세기에는 소프트웨어가 비행 제어에서 미사일 항공 전자 장치, 연료 시스템에서 장갑차에 이르기까지 하드웨어의 필요를 유지하고 지원하기 위해 구축되었습니다. 그러나 AI의 부상과 전장에서 대규모 언어 모델을 사용하여 데이터를 처리하고 표적 추천을 하는 것에 따라 관계가 변화하고 있습니다. 소프트웨어는 이제 지휘를 맡고 있으며, 하드웨어(유럽 및 기타 지역의 전장의 드론)는 AI의 추천이 세계에서 구현되는 수단으로 점점 더 사용되고 있습니다. 재래식 무기의 일부 비용으로 적을 표적화하고 살상할 수 있는 드론 떼의 도래는 거의 현실이 되었습니다. 그러나 이러한 기술과 그들이 작동하는 데 필요한 소프트웨어 시스템에 대한 투자 수준은 훨씬 부족합니다. 미 정부는 여전히 지난 세기 전장에서 지배력을 가져다주었지만 이번 세기에는 거의 확실히 중요하지 않을 레거시 인프라(항공기, 선박, 전차, 미사일) 개발에 집중하고 있습니다.

국방 예산의 비효율성: 미 국방부는 2024년 인공지능 역량에 18억 달러의 자금 지원을 요청했는데, 이는 총 제안된 국방 예산 8,860억 달러의 0.2%(5분의 1%)에 불과합니다. 그리고 무력 사용에 있어 적대국보다 훨씬 더 높은 도덕적 기준을 고수하는 국가의 경우, 적과 기술적으로 동등한 것만으로는 충분하지 않습니다. 윤리적인 사회의 무기 시스템은 그 사용에 대해 정당하게 경계하며, 무고한 사람들을 해치는 것을 주저하지 않을 적의 능력보다 훨씬 더 강력할 때만 효과적인 억지력으로 작용할 것입니다.

AI 통제권을 유지하기 위한 '새로운 맨해튼 프로젝트': 미국과 해외 동맹국들은 전장을 위한 가장 정교한 형태의 AI, 즉 이번 세기의 가장 강력한 무기가 될 표적 시스템과 드론 떼, 그리고 결국 로봇에 대한 독점적인 통제권을 유지하기 위해 지체 없이 새로운 맨해튼 프로젝트를 시작해야 합니다. 지난 시대의 전쟁을 정의했던 항공모함과 전투기는 소프트웨어의 부속품이 될 것입니다. 우리의 국방 예산과 이를 감독하는 수많은 인력은 수십 년 전의 것입니다. 미국의 국가 안보 투자 강조를 전환하고 미국과 유럽 및 아시아의 파트너들을 하나로 모으는 시급한 노력이 지금 시작되어야 합니다.

기술 엘리트의 군사 협력 기피: 문제는 이번 세기의 억지력이 될 인공지능 시스템을 구축할 능력이 가장 뛰어난 실리콘밸리의 신흥 공학 엘리트가 미군과의 협력에 가장 양면적인 태도를 보인다는 점입니다. 차세대 AI 무기를 구축할 수 있는 한 세대의 소프트웨어 엔지니어들은 국가에 등을 돌렸고, 지정학의 복잡하고 도덕적인 문제에 무관심합니다. 최근 몇 년 동안 국방 업무에 대한 지원이 일부 나타났지만, 대부분의 돈과 인재는 소비자를 향하고 있습니다. 기술 계층은 비디오 공유 앱과 소셜 미디어 플랫폼, 광고 알고리즘, 온라인 쇼핑 웹사이트를 위해 자본을 모으는 데 본능적으로 서두릅니다. 그들은 온라인에서 우리의 모든 움직임을 추적하고 수익화하여 우리의 삶에 파고드는 것을 주저하지 않습니다. 그러나 이들 엔지니어들과 그들이 건설한 실리콘밸리 거대 기업들은 미군과의 협력에는 종종 주저합니다. 아이러니하게도 미군과의 협력을 반대하는 실리콘밸리의 사람들이 누리는 평화와 자유는 바로 그 군대의 신뢰할 수 있는 무력 위협에 의해 가능합니다.

자본주의적 소비 문화와 기술의 역할: 한 세대의 국가에 대한 환멸과 집단 방어에 대한 무관심이 지적 및 재정적 자원을 자본주의 소비 문화의 종종 변덕스러운 필요를 충족시키는 데 대규모로, 의문 없이 재분배하는 결과를 초래했다는 위험이 있습니다. 문화적 야망의 상실과 대중에게 지속적이고 집단적인 가치를 지닌 제품을 생산하도록 기술 부문에 가하는 요구가 줄어들면서, 너무 많은 통제권이 시장의 변덕에 넘어갔습니다. 예일 및 런던 경제 대학에서 문화 인류학을 가르쳤던 데이비드 그레이버가 2012년 '배플러'에 발표한 에세이에서 언급했듯이, "인터넷은 놀라운 혁신이지만, 우리가 이야기하는 것은 단지 초고속으로 전 세계적으로 접근 가능한 도서관, 우체국, 통신 판매 카탈로그의 조합일 뿐이다". 그와 다른 많은 이들은 더 많은 것을 원했습니다.

OpenAI의 군사 활용 정책 변화: 2022년 11월, ChatGPT와 같은 대규모 언어 모델 개발에 수십억 달러를 투자한 OpenAI가 자사의 AI 인터페이스를 대중에게 처음 공개했을 때, 회사의 정책은 "군사 및 전쟁" 목적의 기술 사용을 금지했습니다. 이는 국가를 방어하기 위해 위험에 처한 병사들과의 얽힘을 경계하는 사람들에게 대한 광범위한 양보였습니다. 그러나 회사가 2024년 초에 정책을 변경하고 군사적 응용에 대한 전면적인 금지를 철회하자, 시위자들이 즉시 샌프란시스코의 샘 올트먼(CEO) 사무실 밖에 모여 OpenAI가 "국방부와의 관계를 끝내고 군사 고객을 받지 말라"고 요구했습니다. 컴퓨팅 지능이 문제에 접근하는 방식에서 엄청난 진보를 이룬 ChatGPT를 구동하는 언어 모델을 구축하는 엔지니어들은 기업들이 소비재를 판매하는 데 자신들의 창조물의 힘을 빌려주는 데는 매우 만족하지만, 미군과 해군에 더 효과적인 소프트웨어를 제공하라는 요청에는 주저합니다.

기술 산업의 '큰 아이디어' 부족: 이러한 시위와 군중의 분노 위협은 기술 산업 전반의 지도자들과 투자자들의 본능을 형성하고 영향을 미칩니다. 그들 중 다수는 논란이나 비난의 기미를 체계적으로 피하도록 훈련받았습니다. 그리고 그러한 회피와, 무엇을 구축해야 하는지에 대한 방향을 시장의 변덕에 거의 전적으로 굴복하는 것의 비용은 상당합니다. 2018년 '디자인 및 과학 저널'에 발표된 "큰 아이디어 기근"이라는 에세이에서 매사추세츠 공과대학교 미디어랩의 공동 창립자인 니콜라스 네그로폰테는 "오늘날 수많은 스타트업들이 빨래를 하거나, 음식을 배달하거나, 또 다른 앱으로 즐거움을 주는 무의미한 방식에 집중하고 있다"고 지적했습니다. 그는 "과학과 공학의 새로운 기술, 진정한 발견과 발명은 투자자들의 기대를 충족시키기 위해 스타트업 과정에서 종종 사소해진다"고 덧붙였습니다. 많은 기업가들과 엄청난 재능을 가진 엔지니어 군단은 단순히 어려운 문제들을 제쳐두었습니다. 이러한 야망의 후퇴는 경제학자 로버트 J. 고든이 주장했듯이 지난 75년 동안 미국 사회의 생산성 증가율이 크게 감소한 것과 일치합니다. 고든은 1970년대 이후 기술 발전이 "대부분 오락, 통신, 정보 수집 및 처리와 관련된 좁은 활동 영역에서 발생"한 반면, "음식, 의류, 주거, 교통, 건강, 그리고 가정 내외의 근로 조건 등 인간이 관심을 갖는 나머지 모든 것에 대한 발전은 둔화되었다"고 썼습니다.