팔란티어의 실수

안녕하세요, 촌장입니다.

지난 2월 28일, 끔찍한 소식이 전해졌습니다. 미군의 토마호크 순항미사일이 이란 남부 미나브에 있는 샤자레 타이에베 초등학 교를 타격한 겁니다. 최소 168명이 목숨을 잃었고, 이 중 100명 이상이 12세 미만의 어린 여학생들이었습니다.

전쟁은 늘 비극입니다. 하지만 이번 사건이 더 큰 충격을 준 이유는 따로 있습니다. 이 타격의 배후에 인공지능(AI) 시스템이 깊이 관여했다는 사실이 밝혀졌기 때문입니다.

오늘 수요레터에서는 이 사건을 출발점으로, AI를 둘러싼 실리콘밸리의 세 가지 사상에 대해 이야기해 볼까 합니다. 선과 악의 이분법을 넘어서, AI의 미래를 고민하는 세 개의 서로 다른 이념들이 어떻게 충돌하고 있는지 살펴보려 합니다.

자, 그럼 시작해 볼까요?

이란 미나브의 초등학교 폭격으로 사망한 165명의 어린이 교직원의 장례식 (출처 : 연합뉴스)

165명의 아이들과 팔란티어의 AI

미군은 이란 공습에서 ‘프로젝트 메이븐(Project Maven)’이라는 AI 시스템을 활용했습니다. 데이터 분석 기업 팔란티어(Palantir)가 13억 달러 규모의 국방부 계약으로 구축한 이 시스템은, 위성 이미지와 드론 영상, 레이더 데이터를 통합하여 타격 대상을 식별하고, 무기 체계를 추천하며, 거의 실시간으로 공격 패키지를 생성합니다. 이 시 스템에는 Anthropic의 AI 모델 ‘클로드(Claude)’도 통합되어 있었습니다.

팔란티어의 메이븐 시스템 (출처 : 팔란티어)

문제는 이 시스템이 참조한 국방정보국(DIA) 데이터베이스에서 발생했습니다. 해당 건물은 군사시설로 분류되어 있었지만, 위성 이미지 분석에 따르면 이미 2016년 이전에 혁명수비대 시설과 분리되어 학교로 전환된 상태였습니다. 데이터베이스가 업데이트되지 않았고, AI는 그 오래된 데이터를 기반으로 학교를 ‘타격해야 할 적 기지’로 판단한 겁니다.

과거에는 2천 명의 정보담당 병력이 처리하던 과정을 이제는 불과 20명이 AI의 도움으로 관리합니다. 미사일 발사 전 최종 점검을 거치는 기존의 검증 과정이 사실상 생략된 거죠. 속도는 빨라졌지만, 그 속도가 삼켜버린 것은 165명 아이들과 교사들의 목숨이었습니다.

이 사건 이후, 전 세계적으로 AI의 군사적 활용에 대한 논쟁이 격렬해지고 있습니다. ‘AI는 위험하다, 규제해야 한다’는 목소리와 ‘AI 자체가 아니라 인간의 실수가 문제다’라는 반론이 팽팽하게 맞서고 있죠. 그런데 저는 이 논쟁을 지켜보면서, 우리가 AI를 선과 악의 이분법으로만 바라보는 것은 사고의 한계를 만든다는 생각이 들었습니다.

AI를 만들고 발전시키는 실리콘밸리의 리더들은 사실 훨씬 복잡한 철학적 스펙트럼 위에 서 있습니다. 그리고 그 스펙트럼을 이해하지 않으면 , AI가 만들어갈 미래를 온전히 이해하기 어렵습니다. 이 사람들이 품고 있는 세 가지 사상을 한번 살펴보겠습니다.

첫 번째 사상: 장기주의(Longtermism)

장기주의는 한 마디로 이겁니다. ‘아직 태어나지 않은 미래 세대의 복지를 현재 세대와 동등하게, 혹은 그 이상으로 중요하게 여겨야 한다.’

논리는 간단합니다. 인류가 앞으로 수십만 년 이상 존속한다면, 미래 세대의 수는 지금 살아 있는 사람을 압도적으 로 넘어섭니다. 따라서 인류 존속 자체를 위협하는 ‘실존적 위험’을 줄이는 것이 도덕적으로 가장 우선순위가 높다는 주장이죠. 그리고 그 실존적 위험의 1순위로 꿉히는 것이 바로 통제되지 않는 AI입니다.

이 사상의 대표적 인물은 옥스포드 대학의 닉 보스트롬(Nick Bostrom)과 윌리엄 맥어스킬(William MacAskill)입니다. 보스트롬은 《Superintelligence》라는 책으로 초지능 AI의 위험을 본격적으로 제기했고, 맥어스킬은 《What We Owe the Future》로 장기주의를 대중에게 알렸습니다.

실리콘밸리에서 장기주의는 AI 안전(AI Safety) 연구의 철학적 토대가 되었습니다. Anthropic이 ‘안전한 AI’를 사명으로 내세우며 설립된 것도, OpenAI와 DeepMind에 안전팀이 존재하는 것도 이 사상의 영향입니다. 2023년 영국 블레칠리 파크에서 열린 AI 안전 정상회의도 장기주의적 프레임 위에 서 있었죠.

장기주의는 AI 개발에 브레이크를 거는 방향으로 작용합니다. 출시 전 안전 테스트, 레드팀 평가, 강력한 모델의 공개 범위 제한 같은 관행이 모두 여기서 비롯됩니다.

닉 보스 트롬 옥스포드 대학교 철학 교수. AI와 기술적 특이점에 대한 철학적 방향성을 제시 했다. (출처 : 금강신문)

두 번째 사상: 효과적 이타주의(Effective Altruism)

효과적 이타주의(EA)는 ‘선행을 하되, 가장 효과적인 방법으로 하자’라는 질문에서 출발합니다. 감정이나 직관이 아니라 데이터와 증거에 근거해 한정된 자원으로 최대한의 좋은 결과를 만들어내자는 거죠.

대표적 인물은 프린스턴의 피터 싱어(Peter Singer)와 앞서 언급한 맥어스킬입니다. 피터 싱어의 물웅덩이 비유는 효과적 이타주의를 이해하는 가장 대표적인 사고 실험입니다.

출근길에 얕은 물웅덩이에서 빠져 죽어가는 아이를 발견했다면, 비싼 양복이 젖더라도 당 연히 구하겠죠. 싱어는 묻습니다. 그렇다면 지구 반대편에서 말라리아로 죽어가는 아이를 돕기 위해 기부하는 것이 왜 다른가? 물리적 거리가 도덕적 의무를 면제해 주지 않는다는 논리입니다.

맥어스킬은 《Doing Good Better》라는 책으로 EA를 대중화했고, 홀든 카노프스키(Holden Karnofsky)는 비용 대비 효과가 높은 자선단체를 평가하는 GiveWell을 창립했습니다.

EA 커뮤니티에서 유명했던 인물이 한 명 더 있습니다. FTX의 창업자 샘 뱅크만-프리드(Sam Bankman-Fried). ‘많이 벌어서 많이 기부하자’는 EA의 상징이었던 그는 2022년 대규모 사기 혐의로 유죄 판결을 받으면서 EA 운동 전체에 큰 타격을 주기도 했죠.

AI 산업에서 EA의 영향은 ‘돈과 사람’이라는 가장 실질적인 자원 공급에 있습 니다. 더스틴 모스코비츠(페이스북 공동 창업자)의 Open Philanthropy은 AI 안전 연구에 수억 달러를 투입했고, 80,000 Hours라는 커리어 가이드 조직은 우수한 인재들에게 ‘AI 안전 연구’를 최우선 직업으로 추천해 왔습니다. 인생에서 일할 수 있는 8만 시간을 어떻게 사용하는 것이 가장 효능감이 높을까에 대한 방향성을 제안하는 조직으로, Anthropic의 창업팀 자체가 이러한 EA적 동기에서 출발한 셈이라 할 수 있습니다.

세 번째 사상: 효과적 가속주의(e/acc)

그리고 위 두 사상에 정면으로 반기를 든 흐름이 있습니다. 효과적 가속주의(e/acc)는 ‘기술 발전을 늦추거나 규제하려는 시도 자체가 인류에게 더 큰 해악’이라고 주장합니다.

이 사상의 중심 인물은 양자컴퓨팅 물리학자 출신의 기욤 베르동(Guillaume Verdon)이며, 실리콘밸리의 대표적 벤처캐피털리스트 마크 앤드리슨(Marc Andreessen)이 2023년 발표한 ‘기술 낙관주의 선언(Techno-Optimist Manifesto)’도 e/ acc의 정서와 상당 부분 격칩니다.

e/acc 진영은 AI 안전 논의 자체를 ‘둘머(doomer)’들의 공포 과장이라고 비판합니다. 규제는 이미 시장을 선점한 대기업들이 후발 주자의 진입을 막는 수단으로 악용될 뿐이라는 거죠. 이들의 해법은 명확합니다. 브레이크가 아니라 액셀. 더 빠르게 만들고, 오픈소스로 널리 공유하며, 경제 성장을 통해 문제를 해결하자.

실리콘밸리에서 e/acc는 규제 반대 논리의 이론적 무기가 되고 있습니다. a16z(앤드리슨 호로비츠) 같은 대형 VC가 이 세계관을 공개적으로 지지하면서, AI 스타트업 투자에서 ‘안전보다 속도’를 우선시하는 분위기를 강화하고 있습니다.

세 사상이 만드는 삼각 구도

이 세 사상을 AI 라고 하는 하나의 스펙트럼 위에 놓으면 이런 그림이 됩니다. 장기주의는 브레이크를, e/acc는 액셀을, EA는 그 사이에서 자원 배분의 저울질을 합니다. 그리고 이 삼각 구도의 긴장이 실시간으로 AI 산업의 방향을 결정하고 있 습니다.

2023년 말 OpenAI에서 벌어진 샘 올트만 해임·복귀 사태가 대표적입니다. 이사회(안전 우선, 장기주의적 관점)와 경영진·투자자(성장 우선, 가속주의적 관점) 간의 충돌이었죠. 각국 정부의 AI 규제 법안을 둘러싼 논쟁에서도 장기주의와 e/acc는 정반대의 입장에서 서로를 견제합니다.

어쩌면 이 세 사상은 모두 같은 질문에 대한 서로 다른 답변이라고 볼 수도 있겠죠. ‘인류의 미래를 어떻게 더 좋게 만들 것인가?’ 다만 그 답이 때로는 정반대의 방향을 가리키고 있을 뿐이죠.

다시, 미나브의 초등학교로

이제 처음의 질문으로 돌아가 봅시다. 165명의 아이들과 교사들이 죽은 그 초등학교 이야기로요.

이 사건을 세 사상의 렌즈로 들여다보면, 각각이 서로 다른 지점을 비추고 있음을 알 수 있습니다.

장기주의자들은 말할 겁니다. ‘우리가 바로 이걸 경고했다’고. AI가 충분한 안전장치 없이 고위험 영역에 투입되면 재앙이 온다는 것. 실제로 Anthropic은 국방부가 AI의 범용적 군사 활용을 요구했을 때 거부했습니다. 하지만 트럼프 대통령은 이에 대한 보복으로 연방기관의 Claude 사용 금지를 지시했죠. 안전을 위한 브레이크가 정치적 압력에 얼마나 취약한지 드러나는 순간이었습니다.

EA는 가장 고통스러운 위치에 놓여 있습니다. ‘안전한 AI’를 만들겠다는 사명으로 Anthropic이 탄생했지만, 그 기술이 군사작전에 활용되고 있다는 사실. 선한 의도로 만든 기술이 전쟁 도구가 되는 역설을 어떻게 받아들여야 할까요?

e/acc에게도 이 사건은 불편한 현실입니다. ‘더 빠르게, 더 넓게’를 외쳤지만, 군사 영역에서 킬 체인의 가속은 인간의 검증 능력을 넘어서는 속도로 초등학교를 폭격하는 결과를 낳았습니다. 동시에, 이란은 보복으로 중동 지역의 AWS 데이터센터를 공격했죠. e/acc가 옹호하는 기술 인프라의 급속한 확장이 새로운 군사적 취약점이 되어버린 겁니다.

그래서 이 사건은 세 사상 모두에게 불편한 거울입니다. 장기주의에게는 ‘경고는 했지만 막지는 못했다’는 사실을, EA에게는 ‘선한 의도가 선한 결과를 보장하지 않는다’는 역설을, e/acc에게는 ‘가속의 대가가 아이들의 목숨일 수 있다’는 현실을 비춰줍니다.

이번 사건의 핵심 원인이 AI의 과잉이 아니라 인간의 정보 분석 실패였다는 점을 부각하는 입장도 있습니다. 위성 이미지의 변화를 인식하지 못하고, 공개 정보를 데이터베이스에 반영하지 않은 것을 휴먼 에러라고 보는 거죠. 만약 더 발전된 AI였다면 인터넷 검색만으로도 학교의 존재를 파악할 수 있었을 거라는 반론도 나옵니다.

하지만 기본적으로 완벽한 AI란 있을 수 없고, 전쟁과 같은 인간의 생명을 담보로 하는 경우에는 철저히 보수적으로 AI를 활용했어야 했다는 점을 부정하기는 어려울 것입니다.

이번 이란 사태를 통해 AI를 활용함에 있어서의 도덕적 판단과 기준을 어떻게 세워나갈 것인지에 대한 논쟁과 화두는 더욱 뜨거워지지 않을까 합니다.

선과 악 사이의 지도

우리는 새로운 기술 앞에서 본능적으로 ‘이것은 좋은 것인가, 나쁜 것인가’를 묻습니다. 하지만 AI라는 거대한 현상을 선악의 이분법으로만 판단하는 순간, 우리의 사고는 진전되지 않습니다.

장기주의, 효과적 이타주의, 효과적 가속주의. 이 세 사상이 보여주는 것은 AI의 미래가 단순한 선악의 문제가 아니라, 속도와 안전, 성장과 신중함, 이상과 현실 사이의 끈임없는 긴장이라는 사실입니다.

어느 한 사상이 완전한 정답을 가지고 있을 수 없지만, 또 나름의 합리적 사고를 위한 발판을 제공하기도 합니다. 그래서 이 세 가지 시선을 알고 있는 것과 모르는 것의 차이는 큽니다. AI 뉴스를 접할 때, 규제 논쟁을 바라볼 때, 혹은 우리 자신의 일상에서 AI를 활용할 때, 이 세 가지 렌즈를 떠올려 보시면 조금 더 입체적인 시각을 가질 수 있지 않을까요?

그럼에도 불구하고 175명의 아이들 앞에서, 어떤 변명도 구차합니다. 바로 그 불완전함을 직시하는 것이, AI 시대를 살아가는 우리에게 가장 필요한 태도일지 모릅니다.

촌장 드림