클로드 CEO 대화,
TEXT 전체로 공부!!
- 25. 3. 11. 미국외교협회(CFR), 다리오아모데이와의 대화
이전 글로 올렸던 클로드 모델을 개발한 앤트로픽의 CEO 아모데이 대화의 원문을 올립니다. 좀 길긴하지만 시간내어 읽어보시면 요약된 내용만 보는 것보다 훨씬 큰 인사이트를 얻을 수 있을 것으로 생각됩니다.
미국외교협회(Council on Foreign Relations, CFR)는 1922년 설립된 싱크탱크입니다. 포린어페어(Foreign Affairs)라는 국제관계 전문지를 발간하면서 글로벌 외교 정책과 국제 관계 분야에서 큰 영향력을 행사하고 있습니다.
기술의 가치중립성(기술우선주의)과 가치지향성(가치우선주의), AI의 안보, 주권문제, 현재의 AI업계의 지형과 트렌드를 파악하는데도 큰 도움이 될 것으로 생각됩니다.
[협업 방식 : 유투브 스크립트를 클로드 3.7쏘넷으로 최대한 원문을 살리면서 자연스러운 한국어로 번역, 맥락을 정리하여 편집]
AI는 듀얼브레인, 코인텔리전스와 같은 인간의 협업도구이고, 예전에는 쉽사리 하지 못했을 일들을 단 시간내에 할 수있도록 개인의 능력을 증폭시켜주고 있습니다. 현재까지는 그렇습니다.
동양의 고전 중용에는 "박학, 심문, 신사, 명변, 독행"이라는 유명한 말이 있습니다. 널리 배우며, 자세히 묻고, 신중하게 생각하며, 명확히 분석한 후 진실하고 뚝심있게 실천해 나가야 한다는 뜻입니다.
모든 일의 기본법칙이자, 메타인지력이라고 생각합니다. AI툴들을 이러한 메타인지를 위한 도구로 활용해야 할 것으로 생각됩니다.
서울경제신문 [고전통해 세상읽기]에서 이미지 가져옴 [대화 전문]
博學審問愼思明辨篤行)
1. 프로먼: 여러분, 안녕하십니까. 환영합니다. 저는 마이크 프로먼이고, 저는 협회의 회장입니다. 오늘 밤 CFR CEO 스피커 시리즈에 여러분을 모시게 되어 큰 기쁨입니다. 특히 앤트로픽의 CEO이자 공동 창업자인 다리오 아모데이를 모시게 되었습니다. 다리오는 OpenAI의 연구 부사장으로 GPT-2와 GPT-3 개발을 도왔습니다. OpenAI에 합류하기 전에는 구글 브레인에서 선임 연구 과학자로 일했습니다. 저는 다리오와 약 30분 정도 대화를 나눈 후, 이 자리에 계신 분들의 질문을 받겠습니다. 이 홀에는 약 150명이 있고, 온라인으로는 약 350명이 참여하고 있습니다. 그들의 질문도 받아보도록 하겠습니다. 환영합니다.
2. 아모데이: 초대해 주셔서 감사합니다.
3. 프로먼: 당신은 OpenAI를 떠나 앤트로픽이라는 '미션 우선'의 공익 기업을 시작했습니다. 왜 떠났나요? 앤트로픽의 핵심 가치는 무엇이며, 그것이 당신의 일에 어떻게 나타나나요? 그리고 냉소적인 사람들은 이 '미션 우선'이 모두 마케팅이라고 말할 수 있습니다. 어떻게 제품과 전략이 당신의 미션을 반영하는지 구체적인 예를 들어주실 수 있을까요?
4. 아모데이: 네, 맥락을 설명하자면, 우리는 2020년 말에 떠났습니다. 2019년과 2020년에 일어난 일은, 제가 OpenAI 내의 한 그룹과 함께 (나중에 앤트로픽의 공동 창업자가 된) 가장 먼저 인식했던 것이 있었습니다. 그것은 '스케일링 법칙' 또는 오늘날 '스케일링 가설'이라고 불리는 것입니다. 기본적인 가설은 간단합니다. 그것은 - 당시에는 매우 그럴 것 같지 않게 보였던 놀라운 일인데 - 상대적으로 단순한 알고리즘으로 AI 시스템을 훈련시키는 데 더 많은 계산 능력과 더 많은 데이터를 사용하면, 모든 종류의 인지 작업에서 전반적으로 더 나아진다는 것입니다.
5. 우리는 모델을 훈련시키는 데 1,000달러나 10,000달러 정도 들었을 때 이러한 추세를 측정하고 있었습니다. 그 정도면 학술 보조금 수준입니다. 그리고 우리는 이러한 추세가 모델 비용이 1억, 10억, 100억 달러에 이르더라도 계속될 것이라고 예측했고, 지금 우리는 그 수준에 도달하고 있습니다. 그리고 모델의 품질과 지능 수준이 계속된다면, 경제에 엄청난 영향을 미칠 것이라는 점도 인식했습니다. 심지어 이것이 매우 심각한 국가 안보 영향을 가질 것이라는 것도 처음으로 깨달았습니다.
6. 우리는 OpenAI의 리더십이 이 일반적인 스케일링 가설에 동의한다고 생각했지만, 내부와 외부의 많은 사람들은 그렇지 않았습니다. 하지만 우리가 깨달은 두 번째 점은, 이 기술이 이 정도의 중요성을 갖게 된다면, 우리는 정말로 그것을 잘 구축해야 한다는 것이었습니다. 특히 한편으로는, 이 모델들은 매우 예측 불가능합니다. 그들은 본질적으로 통계적 시스템입니다. 제가 종종 말하는 것은 우리가 그들을 '구축'하기보다는 '성장'시킨다는 것입니다. 그들은 발달하는 아이의 뇌와 같습니다. 그래서 그것들을 제어하고, 신뢰할 수 있게 만드는 것은 매우 어렵습니다. 훈련 과정은 간단하지 않습니다. 따라서 시스템 안전 관점에서 이러한 것들을 예측 가능하고 안전하게 만드는 것이 매우 중요합니다. 그리고 물론, 사람들에 의한 사용, 국가에 의한 사용, 기업들이 그것을 배포할 때 미치는 영향 등이 있습니다.
7. 그래서 우리는 정말로 이 기술을 절대적으로 올바른 방식으로 구축해야 한다고 느꼈습니다. OpenAI는 당신이 언급했듯이, 그들이 정확히 이것을 할 것이라는 주장으로 설립되었습니다. 하지만 여러 이유로 (자세히 설명하지는 않겠지만), 우리는 그곳의 리더십이 이러한 문제들을 진지하게 받아들이지 않는다고 느꼈습니다. 그래서 우리는 스스로 이것을 하기로 결정했습니다. 지난 4년은 사실상 일종의 나란히 진행된 실험이었습니다 - 한 방식으로 시도할 때 어떤 일이 일어나고 다른 방식으로 시도할 때 어떤 일이, 그리고 어떻게 전개되었는지에 대한.
8. 우리가 이러한 아이디어에 대한 헌신을 보여준 몇 가지 예를 들겠습니다. 하나는 우리가 매우 일찍 '기계적 해석 가능성(mechanistic interpretability)'이라고 불리는 과학에 투자했다는 것입니다. 이것은 AI 모델 내부를 들여다보고 정확히 왜 그들이 하는 일을 하는지 이해하려고 하는 것입니다. 우리의 7명의 공동 창업자 중 한 명인 크리스 올라(Chris Olah)는 기계적 해석 가능성 분야의 창시자입니다. 이것은 처음 4년 동안은 상업적 가치가 없었거나, 적어도 상업적 가치가 없었습니다. 이제야 약간 보이기 시작합니다. 그럼에도 불구하고, 우리는 치열한 상업적 경쟁 속에서도 계속 이 일에 팀을 투입했습니다. 왜냐하면 우리는 이 모델 내부에서 일어나는 일을 이해하는 것이 모두에게 이익이 되는 공공재라고 믿기 때문입니다. 그리고 우리는 다른 사람들도 혜택을 볼 수 있도록 우리의 모든 작업을 발표했습니다.
9. 또 다른 예는 우리가 헌법적 AI(constitutional AI)'라는 아이디어 를 생각해냈다는 것입니다. 이는 AI 시스템이 일련의 원칙을 따르도록 훈련시키는 것입니다. 데이터나 인간 피드백에서 훈련시키는 대신, 이를 통해 우리는 의회 앞에 서서 "이것이 우리가 모델을 훈련시킨 원칙입니다"라고 말할 수 있습니다. 우리가 첫 번째 제품, 즉 우리의 모델인 클로드(Claude)의 첫 번째 버전을 출시했을 때, 우리는 실제로 그 모델의 출시를 약 6개월 지연시켰습니다. 이것은 매우 새로운 기술이었고, 우리는 안전 특성에 확신이 없었습니다. 우리는 경쟁을 시작하고 싶지 않았습니다. 이것은 ChatGPT 직전이었습니다. 따라서 우리는 ChatGPT 순간을 잡을 기회가 있었지만, 조금 늦게 출시하기로 선택했습니다. 이것은 상업적으로 손해를 보는 결과를 가져왔지만, 회사의 문화를 설정했습니다.
10. 마지막 예로, 우리는 '책임 있는 스케일링 정책(responsible scaling policy)'이라는 것을 가진 최초의 회사였습니다. 이는 모델이 규모를 확장함에 따른 위험 범주를 측정합니다. 그리고 우리는 이러한 지점에 도달할 때마다 점점 더 엄격한 보안 배포 조치를 취해야 합니다. 우리는 이것을 처음으로 발표하고, 처음으로 이에 전념했습니다. 그리고 우리가 그렇게 한 몇 달 후에 다른 회사들도 모두 따라왔습니다. 그래서 우리는 생태계에 본보기를 설정할 수 있었습니다.
11. 다른 회사들이 한 일을 보면, 우리는 종종 이러한 문제에서 선도적 역할을 했고, 종종 다른 회사들이 우리를 따르게 했습니다. 항상 그런 것은 아닙니다. 때로는 그들이 훌륭한 일을 하고 우리가 그들을 따릅니다. 하지만 우리가 우리의 약속에 충실했다는 좋은 역사가 있다고 생각합니다. 그리고 저는 이를 다른 회사들의 행동과 대조할 것입니다. 우리는 이제 여러 해의 역사를 가지고 있고, 지금까지, 다행히도, 우리의 약속은 꽤 잘 지켜지고 있다고 생각합니다.
12. 프로먼: 당신이 언급한 AI 주변의 위험과 기회에 대해 이야기하고 싶습니다. 하지만 책임 있는 스케일링 문제를 언급했으니, 거기로 돌아가봅시다. 우리는 지금 레벨 2에 있습니다.
13. 아모데이: 네...
14. 프로먼: 그리고 존재적 위험은 어느 레벨에서 발생하나요? 우리가 레벨 3에 도달했을 때 어떻게 알 수 있을까요? 그리고 레벨 3에 도달하면 뒤로 돌아갈 수 있나요, 아니면 더 악화될 뿐인가요?
15. 아모데이: 네. 우리의 책임 있는 스케일링 정책은 다음과 같이 설정되어 있습니다. 그 유추는 생물안전 수준(biosafety levels)과 같았습니다. 생물안전 수준 시스템은 다양한 병원체가 얼마나 위험한지를 나타냅니다. 그래서 우리는 'AI 안전 수준(AI safety levels)'을 갖자고 했습니다. AI 안전 수준 2는 우리가 현재 있는 수준입니다. 이는 강력하지만 그들이 제기하는 위험이 다른 종류의 기술이 제기하는 위험과 비슷한 시스템입니다.
16. ASL-3, 실제로 우리의 모델들이 접근하기 시작했다고 생각하는 - 우리가 마지막으로 출시한 모델에 대해 이 모델은 아직 ASL-3가 아니지만 거기에 도달하고 있다고 말했습니다. ASL-3는 - 우리는 국가 안보 측면에 매우 집중하고 있습니다 - 정상적인 기술이 가지는 위험에 비해 불균형한 매우 심각한 위험으로 특징지어집니다. ASL-3 모델은 예를 들어, 화학, 생물학 또는 방사선 무기 분야에서 기술이 없는 사람이 단순히 모델과 대화하고 그 지시를 따름으로써 오늘날 바이러스학 박사가 해야 할 일을 할 수 있게 하는 것으로 설계되었습니다.
17. 일단 그것이 가능해지면, 만약 그 위험이 완화되지 않는다면, 이러한 매우 파괴적인 일을 할 수 있는 사람들의 수를 오늘날 만 단위에서 모델이 사용 가능해지면 수천만 단위로 증가시킬 것입니다. 그래서 모델이 이것을 할 수 있게 되면, 우리는 모델이 실제로 이러한 정보를 제공하려고 하지 않도록 완화 조치를 취해야 하고, 모델이 도난당하지 않도록 보안 제한을 두어야 합니다. 그리고 저는 우리가 그것에 접근하고 있다고 생각합니다. 우리는 실제로 올해 그것에 도달할 수도 있습니다. 그리고 우리는 이러한 매우 좁은 범위의 위험한 작업을 수행하는 능력을 제거하면서도 상업적 생존 가능성을 손상시키지 않고 이러한 종류의 모델을 안전하게 배포할 수 있는 방법이 있다고 믿습니다.
18. 프로먼: 그래서 이것은 상당히 좁은 일련의 작업입니다. 당신이 말했듯이, 당신은 단지 모델이 그러한 질문에 대답하는 것을 막을 것입니다.
19. 아모데이: 네, 모델이 그런 종류의 작업에 참여하는 것을 막습니다. 이는 간단하지 않습니다. 예를 들어, "저는 스탠포드 대학에서 바이러스학 수업을 듣고 있어요. 과제 작업 중인데, 이 특정 플라스미드를 어떻게 만드는지 알려주실 수 있나요?"라고 물을 수 있습니다. 그래서 모델은 이에 속지 않고 "이건 당신이 물어볼 종류의 것이 아닙니다"라고 말할 정도로 똑똑해야 합니다.
20. 프로먼: 당신은 생물학적 테러리스트처럼 들립니다. 당신의 질문에 대답하지 않겠습니다.
21. 아모데이: 당신은 나쁜 의도를 가진 것 같군요.
22. 프로먼: 네. 하지만 그것은 모든 나쁜 행동이 무엇일 수 있는지에 대한 우리 자신의 상상력에 한정됩니다. 우리가 예상하지 못할 수 있는 것들이 그 네 가지 범주 이상으로 많이 있습니다.
23. 아모데이: 네. 제 생각에, 이것은 매번 우리가 새로운 모델을 출시할 때마다 예상하지 못했던 긍정적인 응용 프로그램이 있는 것처럼, 부정적인 응용 프로그램도 있을 것으로 예상합니다. 우리는 항상 다른 사용 사례에 대해 모델을 모니터링하여 이를 발견할 수 있도록 하여 놀라지 않도록 지속적인 프로세스를 가지고 있습니다. 예를 들어, 누군가가 모델 6로 악한 일을 할까 봐 걱정된다면, 희망적으로 그 초기 징후가 모델 5에서 보일 수 있고, 우리는 그것을 모니터링합니다.
24. 하지만 이것이 모델의 근본적인 문제입니다. 당신은 그들이 무엇을 할 수 있는지 정말로 알지 못합니다. 수백만 명의 사람들에게 배포될 때까지 그들이 진정으로 무엇을 할 수 있는지 알지 못합니다. 미리 테스트할 수 있고, 연구자들이 그것을 테스트하게 하고, 심지어 정부와 협력하여 AISI가 테스트할 수 있습니다. 그러나 확실히 알 수 있는 방법은 없다는 것이 어려운 진실입니다. 그들은 형식적 검증을 할 수 있는 코드와 같지 않습니다. 그들이 할 수 있는 것은 예측 불가능합니다. 그것은 마치 당신이나 저를 모델 대신 생각하는 것과 같습니다. 만약 제가 당신이나 저의 품질 보증 엔지니어라면, 당신이 논리적으로 할 수 없는 특정 종류의 나쁜 행동에 대한 보증을 줄 수 있을까요? 절대 일어나지 않을 것이라고? 사람들은 그런 식으로 작동하지 않습니다.
25. 프로먼: 기회, 긍정적인 기회에 대해 이야기해봅시다.
26. 아모데이: 물론이죠.
27. 프로먼: 작년 말에 당신은 "사랑의 기계들(Machines of Loving Grace)"이라는 에세이를 썼는데, 그곳에서 긍정적인 측면에 대해 이야기했습니다. 예를 들어, 어떻게 생물학에서 10년 치의 진보를 1년 만에 이룰 수 있는지, 기계가 모든 노벨상 수상자만큼 똑똑해질 것인지, 아마도 그들 중 일부를 우울하게 할 것입니다. 긍정적인 면을 말해주세요. AI가 무엇을 만들어낼 것인지에 대한 최상의 시나리오를 말해주세요.
28. 아모데이: 네. 저는 지수함수적 성장으로 시작하겠습니다. 2019년으로 돌아가면, 모델들은 간신히 일관된 문장이나 일관된 단락을 제공할 수 있었습니다. 물론 저와 같은 사람들은 그것을 모델이 할 수 없었던 놀라운 성취라고 생각했습니다. 그리고 우리는 5년 후에 모델들이 수십억 달러의 수익을 창출하고, 코딩을 도와주고, 우리가 인간과 이야기하는 것처럼 그들과 이야기할 수 있을 것이라는 예측을 했습니다. 그들은 인간만큼 많은 것을 알 것입니다. 그리고 그것이 일어날 수 없는 이유에 대한 모든 비원칙적인 반대가 있었습니다.
29. 같은 지수적 추세, 이를 예측한 동일한 논거는 앞으로 2년, 3년, 아마도 4년 후에 우리가 이 모든 것에 도달할 것이라고 예측합니다. 우리는 여러 분야에서 노벨상 수상자만큼 지능적인 모델에 도달할 것입니다. 당신은 그들과 채팅만 하는 것이 아니라, 그들은 당신이 컴퓨터에서 할 수 있는 모든 것을 할 수 있을 것입니다. 기본적으로, 인간이 하는 모든 원격 작업, 모든 형태, 며칠, 주, 달이 걸리는 작업을 수행할 수 있습니다. 제가 "사랑의 기계들"에서 사용한 감성적인 문구는 데이터센터에 천재들의 나라가 있는 것과 같다는 것이었습니다. 천재적인 원격 근무자들의 나라와 같은데, 그들은 모든 것을 할 수 없습니다. 물리적 세계에는 제한이 있습니다.
30. 이것은 여전히 많은 사람들에게 미친 소리로 들리지만, 이전의 지수적 추세를 돌아보세요. 인터넷 초기 시대를 보고, 그 예측이 얼마나 야생적으로 보였는지, 그리고 실제로 어떤 일이 일어났는지를 보세요. 저는 이것에 확신이 없습니다. 70-80% 정도의 확신이 있다고 말하겠습니다. 기술이 현재 상태에서 멈추거나, 몇 달 후에 멈추고, 제가 쓴 에세이와 이런 행사에서 한 말들을 사람들이 앞으로 10년 동안 비웃을 수도 있습니다. 하지만 그것은 제 베팅이 아닐 것입니다.
31. 프로먼: 이 문제에 대해 더 알아봅시다. AI가 고용에 미칠 가능성이 있는 영향에 관한 일자리 문제에 대해서는 상당히 큰 논쟁이 있습니다. 당신은 어디에 있나요 - 그전에 - AI가 싱크탱크의 장을 대체하는 데 얼마나 걸릴까요? 친구를 위해 물어봅니다. (웃음) 사실, 그건 너무 - 모든 사람이 정말 멋진 일을 할 수 있고, 지금보다 훨씬 더 많은 일을 할 수 있게 될 것이라는 견해와 모든 사람이 소파에 앉아 UBI(기본소득)를 받게 될 것이라는 견해 사이에서 당신은 어디에 있나요?
32. 아모데이: 네. 제 생각에 그것은 정말로 그 두 가지의 복잡한 조합이 될 것이며, 또한 우리가 내리는 정책적 선택에 달려 있습니다.
33. 프로먼: 원한다면 싱크탱크 질문에도 대답할 수 있지만... (웃음)
34. 아모데이: 네. 마지막 질문에 대한 답변을 일자리 이야기를 하기 전에 끝내지 않고, 일어날 모든 좋은 일들에 대해 말하지 않았네요. 솔직히, 저를 가장 낙관적으로 만드는 것은 생물학, 건강, 신경과학과 같은 생물학적 과학에서의 일들입니다. 지난 100년 동안 생물학에서 일어난 일을 보면, 우리가 해결한 것은 단순한 질병들입니다. 바이러스성 및 박테리아성 질병을 해결하는 것은 실제로 상대적으로 쉽습니다. 왜냐하면 그것은 당신의 몸에서 외부 침입자를 물리치는 것과 같기 때문입니다. 암, 알츠하이머병, 정신분열증, 주요 우울증과 같은 것들을 다루는 것은 시스템 수준의 질병입니다. 만약 우리가 AI로 이것들을 기본적으로 해결할 수 있다면, 일자리 상황과 관계없이, 우리는 훨씬 더 나은 세상을 갖게 될 것입니다. 그리고 정신 질환 측면까지 간다면, 사람들이 의미를 찾는 것이 적어도 더 쉬운 세상을 갖게 될 것이라고 생각합니다. 그래서 저는 그것에 대해 매우 낙관적입니다.
35. 하지만 일자리 측면으로 가보면, 저는 이에 대해 꽤 많은 우려를 가지고 있습니다. 한편으로는, 비교 우위가 매우 강력한 도구라고 생각합니다. 코딩, 프로그래밍을 보면, AI가 가장 많은 진보를 이루고 있는 영역 중 하나인데, 우리가 발견한 것은 AI가 코드의 90%를 작성하는 세상에서 멀지 않다는 것입니다. 3~6개월 안에 그곳에 도달할 것이라고 생각합니다. 그리고 12개월 후에는 AI가 본질적으로 모든 코드를 작성하는 세상에 있을 수 있습니다. 그러나 프로그래머는 여전히 무엇을 하고 있는지의 조건이 무엇인지, 전체적으로 만들려는 앱이 무엇인지, 전체적인 설계 결정이 무엇인지를 구체적으로 명시해야 합니다. 다른 작성된 코드와 어떻게 협업할 것인가? 이 설계가 안전한지 불안전한지에 대한 상식이 있는가?
36. 인간 프로그래머가 해야 하는 이러한 작은 부분들이 있고 AI가 잘하지 못하는 한, 인간의 생산성은 실제로 향상될 것입니다. 하지만 다른 한편으로는, 결국 그 모든 작은 섬들이 AI 시스템에 의해 점차 정복될 것이라고 생각합니다. 그러면 우리는 결국 AI가 인간이 할 수 있는 모든 것을 할 수 있는 지점에 도달할 것입니다. 그리고 이것은 모든 산업에서 일어날 것이라고 생각합니다.
37. 사실 그것이 우리 모두에게 일어나는 것이 무작위로 일어나는 것보다 더 낫다고 생각합니다. 가장 사회적으로 분열적인 결과는 무작위로 일자리의 50%가 갑자기 AI에 의해 수행되는 경우라고 생각합니다. 그것이 의미하는 것은 - 사회적 메시지는 우리가 절반을 무작위로 선택하고 "당신은 쓸모없다, 당신은 가치가 떨어졌다, 당신은 불필요하다"라고 말하는 것입니다.
38. 프로먼: 그리고 대신 우리는 "여러분 모두 쓸모없다"라고 말할 것인가요? (웃음)
39. 아모데이: 글쎄요, 우리 모두 그 대화를 나눠야 할 것입니다. 우리는 기술적으로 가능한 것을 보고 유용성과 쓸모없음에 대해 이전과 다른 방식으로 생각해야 할 것입니다. 우리의 현재 사고방식은 유지 가능하지 않습니다. 해결책이 무엇인지는 모르지만, "우리 모두 쓸모없다"와는 달라야 합니다. "우리 모두 쓸모없다"는 허무주의적인 답변입니다. 그런 답변으로는 어디에도 도달할 수 없습니다. 우리는 다른 무언가를 생각해내야 할 것입니다.
40. 프로먼: 그건 매우 낙관적인 그림은 아닌데요. (웃음) 그런 거죠?
41. 아모데이: 저는 실제로 그 관점에 이의를 제기하고 싶습니다. 제가 하는 많은 일들에 대해 생각해 봅니다. 예를 들어 저는 많은 시간을 수영하며 보냅니다. 비디오 게임을 합니다. 인간 체스 챔피언들을 봅니다. 딥 블루가 카스파로프를 이겼을 때, 그것은 거의 30년 전이었는데, 그 후에 체스가 무의미한 활동으로 여겨질 것이라고 생각할 수 있었습니다. 하지만 정확히 반대의 일이 일어났습니다. 매그너스 칼슨과 같은 인간 체스 챔피언들은 유명인입니다. 그는 심지어 패션 모델이기도 합니다. 그는 일종의 영웅입니다.
42. 그래서 우리가 인간의 삶이 의미 있는 세계를 구축할 수 있고, 인간이 아마도 AI의 도움을 받아, 아마도 AI와 함께 일하면서 정말 좋은 것들을 만들 수 있는 무언가가 있다고 생각합니다. 그래서 저는 실제로 그렇게 비관적이지 않습니다. 하지만 우리가 잘못 다룬다면, 실수할 여지가 그리 많지 않다고 생각합니다.
43. 프로먼: 몇 달 전에 딥시크(DeepSeek)가 출시되었습니다. 이 도시에서는 그것에 대한 상당한 공포가 있었다고 말할 수 있을 것 같습니다. 사람들은 그것을 스푸트니크 순간이라고 이야기했습니다. 그것은 스푸트니크 순간이었나요? 그리고 그것이 당신이 설명한 스케일링 규칙, 즉 더 많은 컴퓨팅 파워, 더 많은 데이터, 더 나은 알고리즘이 필요하다는 규칙이 여전히 적용되는지, 아니면 일부 지름길이 있는지에 대해 우리에게 무엇을 가르쳐 주나요?
44. 아모데이: 네. 딥시크는 실제로 스케일링 법칙을 반박하는 것이 아니라, 스케일링 법칙의 예였다고 생각합니다. 동시에 두 가지 역학이 진행되고 있습니다(이에 대한 글이 있습니다). 하나는 주어진 수준의 모델 지능을 생산하는 비용이 대략 연간 4배씩 감소하고 있다는 것입니다. 이는 우리가 알고리즘적으로 더 적은 비용으로 동일한 결과를 생성하는 데 점점 더 능숙해지고 있기 때문입니다. 즉, 우리는 곡선을 이동시키고 있습니다. 일 년 후에는 일 년 전에 얻을 수 있었던 것만큼 좋은 모델을 4배 더 적은 비용으로 얻을 수 있습니다. 또는 동일한 금액을 지출하여 4배 더 나은 모델을 얻을 수 있습니다.
45. 하지만 그것이 경제적으로 의미하는 바는, 현재의 특정 지능 모델이 갖는 경제적 가치가 무엇이든, 4배 더 저렴하게 만들 수 있다는 사실은 우리가 더 많이 만든다는 것을 의미하며, 실제로 더 많은 돈을 지출하여 더 높은 경제적 가치를 가진 더 스마트한 모델을 생산하는 추가적인 인센티브를 제공합니다. 그래서 주어진 수준의 지능을 생산하는 비용이 감소했음에도 불구하고, 우리가 지출할 의향이 있는 금액은 증가했습니다. 사실, 연간 4배 증가에도 불구하고, 그것은 약 연간 10배로 증가했으며, 이는 사회와 경제가 더 많은 지능을 원한다는 것으로 더 많이 소비되었습니다. 더 지능적인 모델을 원합니다.
46. 그것이 딥시크의 배경입니다. 딥시크는 문자 그대로 비용 감소 곡선의 또 다른 데이터 포인트일 뿐이었습니다. 그것은 특별한 것이 아니었습니다. 미국 기업들이 수십억을 쓰고 딥시크가 몇 백만으로 해냈다는 것이 아닙니다. 비용은 크게 벗어나지 않았습니다. 그들은 모델에 몇 백만을 썼습니다. 미국 기업들이 쓰는 비용은 그것과 크게 다르지 않습니다. 그들은 우리처럼 모델 주변의 모든 R&D와 노력에 수십억을 썼습니다. 그들이 가진 칩의 수를 보면, 그것은 대략 대등합니다.
47. 하지만 저는 이것이 우려된다고 생각합니다. 왜냐하면 최근까지 이 곡선의 일부이고 최첨단 모델을 생산할 수 있는 회사는 세 개, 네 개, 아마도 다섯 개뿐이었기 때문입니다. 그리고 그들은 모두 미국에 있었습니다. 딥시크는 처음으로 - 정말로 주목할 만한 것은 - 중국의 회사가 앤트로픽이나 OpenAI, 또는 구글과 같은 회사들과 같은 종류의 엔지니어링 혁신을 생산할 수 있을 정도로 대등하게 갈 수 있었던 첫 번째 경우입니다. 그것은 실제로 매우 중요합니다. 그리고 그것이 실제로 저를 걱정시킵니다.
48. 프로먼: 이제, 일부는 딥시크의 출현이 수출 통제가 작동하지 않고, 작동할 수 없으며, 우리의 가장 발전된 칩 수출을 통제하려는 시도를 멈춰야 한다고 주장합니다. 다른 이들은 수출 통제에 더 집중해야 한다고 말합니다. 당신은 이에 대해 어떤 입장인가요?
49. 아모데이: 네. 제가 방금 제시한 틀의 함의는 수출 통제가 실제로 매우 필수적이라는 것입니다. 왜냐하면, 네, 이 비용 감소 곡선이 있지만, 곡선을 따라 어느 지점에서든, 곡선이 얼마나 이동했든 간에, 더 많은 칩을 쓰고, 더 많은 돈을 쓸수록 더 나은 모델을 얻는다는 것은 항상 사실입니다. 만약 전에는 10억 달러를 쓰고 괜찮은 모델을 얻을 수 있었고, 이제는 10억 달러를 쓰고 훨씬 더 나은 모델을 얻을 수 있으며, 천만 달러로 괜찮은 모델을 얻을 수 있다면, 그것은 수출 통제가 실패했다는 의미가 아닙니다. 그것은 상대방이 10억 달러짜리 모델을 얻지 못하게 하는 것이 더 높은 위험이 된 것을 의미합니다. 왜냐하면 10억 달러로 더 스마트한 모델을 얻을 수 있기 때문입니다.
[글쓴이 설명 : 일반 자동차도 예전의 스포츠카만큼 빨라졌으니 슈퍼카에 대한 규제는 무의미해진 것이 아니라, 슈퍼카가 더 빠르고 위험해졌으니 오히려 더 규제가 중요해진 것이라는 관점]
50. 딥시크는 수출 통제를 우회한 일부 칩, 밀수된 일부 칩으로 구성된 상대적으로 적은 양의 컴퓨팅 파워를 가지고 있었습니다. 하지만 저는 우리, OpenAI, 구글이 수십억, 아마도 수천만 개의 칩을 구축하고, 수십억 달러 이상의 비용이 드는 세계로 향하고 있다고 생각합니다. 그것이 밀수되기는 매우 어렵습니다. 만약 우리가 수출 통제를 실시한다면, 우리는 실제로 그것이 중국에서 일어나는 것을 막을 수 있을 것입니다. 반면에, 우리가 그렇게 하지 않는다면, 그들이 우리와 대등해질 수 있다고 생각합니다.
51. 그래서 저는 확산 규칙(diffusion rule)의 큰 지지자였습니다. 딥시크가 나오기 전에도 수년 동안 수출 통제의 큰 지지자였습니다. 왜냐하면 우리는 이러한 역학이 다가오는 것을 보았기 때문입니다. 그래서 저는 실제로 AI뿐만 아니라 모든 분야에 걸쳐 미국의 국가 안보를 위해 중국이 이러한 매우 강력한 칩 수백만 개를 얻지 못하도록 막는 것이 가장 필수적인 일 중 하나라고 생각합니다.
52. 프로먼: 제가 이해한 바로는, 확산 규칙은 세계를 세 진영으로 나누어 누가 우리로부터 어떤 칩에 접근할 수 있는지를 결정합니다. 이것은 바이든 행정부의 행정명령입니다. 일부는 최상위 레벨에 있지 않은 국가들이 중국에 의해 서비스를 받게 될 것이고, 중국이 결국 세계 대부분의 AI 인프라를 운영하게 될 것이라고 우려합니다. 이것이 당신에게도 생각이 드나요?
53. 아모데이: 네. 제가 확산 규칙을 이해한 바로는, 그리고 새 행정부가 그것을 검토하고 있다고 알고 있지만, 그들이 공감하는 부분이 많이 있습니다. 그것이 실제로 설정하는 방식은 이 2등급 국가들입니다. 1등급 국가들은 개발된 세계의 대부분입니다.
54. 프로먼: 하지만 전부는 아닙니다.
55. 아모데이: 전부는 아닙니다. 3등급은 중국이나 러시아와 같은 제한된 국가들입니다. 2등급은 중간에 있는 국가들입니다. 실제로 이러한 국가들에서는 호스팅하는 회사들이 보안 진술서와 보증을 제공할 수 있다면, 즉 "우리는 중국을 위한 프론트 회사가 아닙니다. 우리는 컴퓨팅이나 컴퓨팅으로 이루어진 것을 중국에 보내지 않습니다"라고 말할 수 있다면, 매우 많은 칩을 가질 수 있습니다. 그래서 실제로 이러한 국가들에 많은 미국 칩, 많은 미국 인프라를 구축할 기회가 있습니다. 이는 그들이 보안 제한을 준수하는 한 가능합니다.
56. 두 번째 부분은, 네, 이론적으로 기업들이 중국 칩을 사용하도록 전환할 수 있습니다. 하지만 중국 칩은 실제로 상당히 열등합니다. 엔비디아는 중국을 위한 칩의 주요 생산자인 화웨이보다 훨씬 앞서 있습니다. 약 4년 정도 앞서 있습니다. 저는 그 격차가 결국 10년이나 20년의 과정을 거쳐 닫힐 것이라고 생각합니다. 아마도 수출 통제는 중국을 자극하는 영향까지 있을 수 있습니다. 하지만 기술 스택은 매우 깊습니다. 그리고 저는 하드웨어에서 우리가 강력하게 앞서 있을 다음 10년이 이 기술의 지배력을 확립하는 데 실제로 중요한 기간이라고 생각합니다. 저는 이 기술의 지배력을 확립하는 사람이 군사적으로나 경제적으로 모든 곳에서 지배력을 갖게 될 것이라고 주장하고 싶습니다.
57. 프로먼: 지난 행정부는 중국과 AI에 관한 대화를 시작했습니다. 그러한 대화의 전망은 어떤가요? 우리가 중국과 어디에서 합의할 수 있을까요? 그리고 그들은 책임 있는 스케일링에 관심이 있나요?
58. 아모데이: 네. 저는 이러한 대화에 참여하지 않았지만, 그것에 대해 조금 들었습니다. 저는 이 대화를 지지하지만, 그것이 효과가 있을 것이라고 특별히 낙관적이지는 않습니다. 이 기술은 경제적, 군사적 잠재력이 너무 크기 때문에, 미국이나 민주주의 동맹국의 기업들 사이에서는 일부 제약을 만드는 법을 통과시키는 것을 상상할 수 있습니다. 하지만 두 진영이 이렇게 엄청난 경제적, 군사적 가치를 가진 기술을 구축하기 위해 경쟁하고 있는 경우에는, 그들이 상당히 속도를 늦추는 것을 상상하기 어렵습니다.
59. 몇 가지 생각이 있습니다. 하나는 AI 모델이 자율적으로 인간의 이익에 부합하지 않는 방식으로 행동하는 위험입니다. 데이터센터에 천재들의 나라가 있다면, 자연스러운 질문 - 어떻게 이 질문을 하지 않을 수 있겠습니까 - 그들의 의도는 무엇입니까? 그들은 무엇을 계획하고 있습니까? 물론 누군가가 그들을 통제하고 있는지, 그들이 누군가를 대신하여 행동하고 있는지 물을 것입니다. 하지만 또한 그들의 의도는 무엇인지도 물을 것입니다. 그리고 우리가 이 시스템들을 성장시키기 때문에 훈련시키지 않기 때문에, 그들이 인간 설계자나 사용자가 원하는 것을 정확히 할 것이라고 가정하는 것은 안전하지 않다고 생각합니다.
60. 그래서 저는 그것의 실제 위험이 있다고 생각합니다. 그것은 일종의 전 인류에 대한 위협이 될 수 있습니다. 그리고 핵 안전이나 핵 확산 문제와 마찬가지로, 그 위험을 해결하는 데 도움이 되는 제한된 조치를 취할 기회가 아마도 있을 것입니다. 그래서 저는 좁은 범위의 무언가가 이루어질 수 있다는 점에 대해 상대적으로 낙관적입니다. 그것이 다가온다는 증거가 강할수록 - 지금은 그것이 일종의 추측에 불과합니다. 하지만 이것이 임박했다는 강한 증거가 나온다면, 중국과의 더 많은 협력이 가능할 수 있습니다. 그래서 저는 이 영역에서 뭔가를 시도할 수 있기를 바라지만, 두 국가 간의 국가 경쟁의 역학을 바꿀 것이라고 생각하지는 않습니다.
61. 프로먼: 질문을 받기 전 마지막 질문입니다. 최근에 당신은 OSTP(미국 대통령 산하 과학기술정책국)에 새 행정부가 이 분야에서 해야 할 일에 대한 제안된 행동 계획을 발표했습니다. 그 계획의 주요 요소는 무엇인가요?
63. 아모데이: 네. 보안과 국가 안보에 관한 세 가지 요소와 기회에 관한 세 가지 요소가 있다고 생각합니다. 첫 번째는 우리가 말했던 것처럼, 이러한 수출 통제를 유지하도록 하는 것입니다. 저는 정직하게 이것이 AI뿐만 아니라 모든 영역에서 미국의 국가 안보를 위한 가장 중요한 정책이라고 믿습니다.
64. 두 번째는 실제로 책임 있는 스케일링 계획과 관련된 것입니다. 미국 정부는 AISI(AI Safety Institute)를 통해 기본적으로 생물학적, 핵 위험과 같은 국가 안보 위험에 대해 모델을 테스트하고 있습니다. 연구소의 이름은 아마도 잘못 지어졌을 것입니다. 안전 연구소라고 부르면 신뢰와 안전처럼 들립니다. 하지만 그것은 실제로 국가 안보 위험을 측정하는 것에 관한 것입니다. 그것이 어디서 이루어지거나 무엇이라고 불리는지에 대한 정확한 의견은 없지만, 그 측정을 수행하는 어떤 기능이 매우 중요하다고 생각합니다.
65. 그것은 우리에게 적대적인 세력의 능력을 측정하는 데도 중요합니다. 예를 들어, 그들은 딥시크의 모델이 제시할 수 있는 위험, 특히 그 모델들이 미국에서 사용될 경우 어떤 위험을 제시할 수 있는지 측정할 수 있습니다. 그들은 무엇을 할 수 있나요? 그들은 어떤 위험한 일을 할 수 있나요? 그것이 두 번째입니다.
66. 세 번째, 위험 측면에서는 우리가 이야기하지 않은 것인데, 저는 앤트로픽과 같은 미국 기업들을 대상으로 한 산업 스파이 행위에 대해 우려하고 있습니다. 중국은 대규모 산업 스파이 행위로 알려져 있습니다. 우리는 다양한 일을 하고 있습니다. 우리의 책임 있는 스케일링 계획에는 더 나은 보안 조치와 같은 것들이 있습니다. 하지만 이러한 알고리즘적 비밀들 중 많은 것은 몇 줄의 코드에 불과한 1억 달러 비밀입니다. 그리고 저는 그것들을 훔치려는 사람들이 있고, 그들이 성공하고 있을 수 있다고 확신합니다. 그래서 이 위험으로부터 우리 기업들을 방어하는 데 미국 정부의 더 많은 도움이 매우 중요합니다.
67. 그래서 그것들이 보안 측면의 세 가지입니다. 기회 측면에서는 주요 세 가지가 있습니다. 하나는 응용 계층에서의 기술의 잠재력입니다. 의료와 같은 것들에서. 저는 우리가 제가 말했듯이, 수백 년 또는 수천 년 동안 우리와 함께해 왔고 아직까지 아무것도 할 수 없었던 주요 질병, 주요 복잡한 질병을 치료할 수 있는 특별한 기회가 있다고 생각합니다. 저는 그것이 어떻게든 일어날 것이라고 생각하지만, 규제 정책이 AI가 모든 치료법을 생산하고 세계에 배포하는 데 5년이 걸리는지, 아니면 30년이 걸리는지에 정말로 영향을 미칠 수 있다고 생각합니다. 그리고 그것은 그러한 질병으로 고통받는 사람들에게 큰 차이입니다. 그래서 우리의 견해는, 의료, FDA의 약물 승인에 관한 오늘날의 정책들이 우리가 보게 될 빠른 진보에 적합하지 않을 수 있다는 것입니다. 그리고 우리는 일부 장애물을 제거해야 할 수도 있습니다.
68. 두 번째는 에너지 공급입니다. 만약 우리가 이 기술에서 중국과 다른 권위주의적 국가들보다 앞서 있고 싶다면, 우리는 데이터센터를 구축해야 합니다. 그리고 우리가 그 데이터센터를 미국이나 그 동맹국에 구축하는 것이 의견이 다른 국가에 구축하는 것보다 낫습니다. 그곳에서는 그들이 문자 그대로 데이터센터를 가지고 가서 "죄송합니다, 우리는 이제 중국 편입니다"라고 말할 수 있습니다. 이 중 일부는 바이든 행정부의 후반에 이루어졌습니다. 그리고 저는 이것이 초당적인 것이라고 생각합니다. 트럼프 행정부, 이것은 합의의 한 영역입니다. 더 많은 에너지를 공급하는 데 관심이 있습니다. 우리는 아마도 업계 전체에 걸쳐 2027년까지 추가로 약 50기가와트의 에너지가 필요할 것입니다. 이는 우리가 이야기했던 모든 특성을 가진 AI에 완전히 전력을 공급하기 위함입니다. 50기가와트는, 모르시는 분들을 위해 말씀드리자면, 2024년에 미국 전력망에 총체적으로 추가된 에너지량과 비슷합니다. 그래서 그 해에, 우리는 다음 2년 동안 추가되는 에너지의 절반만큼이 필요합니다. 정말 많이 필요할 것입니다.
69. 그리고 마지막 부분은 경제적 측면입니다. 우리가 이야기했듯이, 저는 경제적 측면의 우려가 국가 안보 측면의 우려만큼 존재적이라고 생각합니다. 단기적으로는 파이가 훨씬 커지더라도 혼란을 관리해야 할 것입니다. 장기적으로는, 제가 말했듯이, AI가 거의 모든 것에서 거의 모든 인간보다 더 나을 세상을 생각해야 할 것입니다. 저는 이것에 대해 거짓말하고 싶지 않습니다. 저는 정말로 이 기술이 향하는 곳이 그곳이라고 생각합니다. 우리는 가능한 한 빨리 그 세계와 마주해야 합니다. 지금으로서는, 저는 우리가 할 수 있는 가장 좋은 일은 무슨 일이 일어나고 있는지 이해하기 위해 측정하는 것이라고 생각합니다.
70. 우리는 앤트로픽 경제 지수(Anthropic Economic Index)라는 것을 출시했는데, 이는 개인정보 보호 방식으로 우리의 사용량을 통해 살펴보고 요약하여 사람들이 어떤 분야에서 사용하고 있는지, 그것이 보완적인지, 대체하는지를 이해합니다. 하지만 장기적으로, 우리는 정말로 세금 정책과 부의 분배에 관한 질문들을 다루게 될 것입니다. 파이가 충분히 커지면 이에 대해 많은 일을 할 수 있는 자원이 생길 수 있는 매력적인 세계가 있습니다. 예를 들어 - 이것은 이 청중에게 미친 소리로 들릴 것입니다 - 하지만 AI가 경제 성장률을 연간 10%로 만든다고 해봅시다. 그러면 갑자기 세금 기반이 너무 많이 성장하여 적자를 없애고, 아마도 기술로 인한 엄청난 혼란을 관리하기 위한 모든 것이 남을 수도 있습니다. 그래서 그것은 미친 이야기처럼 들릴 것입니다. 하지만 저는 그저 여러분이 그 가설을 고려하고 지금부터 그런 미친 일들의 가능성을 고려하기 시작하기를 권합니다.
71. 프로먼: 미친 도시. 여기서 처음 들으셨습니다. 좋습니다, 질문을 받겠습니다. 네, 바로 앞에 계신 분.
72. 질문자: 감사합니다, 다리오. 정말 흥미로운 대화였습니다. 일어서야 하나요?
73. 프로먼: 일어서세요.
74. 질문자: 알겠습니다. 일어서겠습니다. 운동도 좀 하고요.
75. 프로먼: 그리고 본인이 누구인지 말씀해주세요.
76. 질문자: 저는 아뎀 분케데코입니다. 작년에 당신의 에세이를 읽고, 뉴욕 타임즈의 하드 포크(Hard Fork)에서 당신의 이야기를 듣고, 그리고 여기에서도 들었습니다. 제가 가진 질문은, 당신이 정치적, 경제적 의미를 설명했는데, 사회적, 도덕적 고려사항에 대해 어떻게 생각하시는지 궁금합니다. 특히 대부분의 일반 대중은 채팅봇을 보고 이것이 개선된 구글 검색이라고 생각하지만, 노동 시장의 혼란과 같은 파급 효과에 대해서는 생각하지 않기 때문입니다. 그래서 상업적 제품을 구축하려는 회사를 만드는 것과 그것이 어떻게 긴장 관계에 있는지 어떻게 생각하시는지 궁금합니다.
77. 아모데이: 네. 우선, 이러한 것들이 매우 중요하다고 생각합니다. 그리고 아마도 지금 저를 가장 혼란스럽게 하는 것은 기술이 가져올 범위에 대한 인식 부족입니다. 저는 단지 미친 소리를 하고 있을 수도 있습니다. 일반 대중이 옳고 제가 틀렸을 수 있습니다. 제 자신의 생각에 취해 있을 수도 있습니다. 그럴 가능성이 있다는 것을 인정합니다. 하지만 그렇지 않다고 가정해 봅시다.
78. 제가 보는 것은 기술이 얼마나 큰 영향을 미칠 수 있는지에 대해 깨닫는 사람들의 동심원이 있다는 것입니다. 아마도 몇 백만 명 정도 - 실리콘 밸리에 매우 집중되어 있지만, 정책 세계에서 높은 위치에 있는 소수의 사람들도 - 이러한 믿음을 가지고 있습니다. 다시 말하지만, 우리는 아직 우리/그들이 옳은지 틀린지 모릅니다. 하지만 우리가 옳다면, 전체 인구는 이것을 채팅봇 정도로 생각합니다. 우리가 이것이 위험하다고 말하거나, 이것이 모든 인간의 일을 대체할 수 있다고 말하면, 그들이 보고 있는 것은 어떤 면에서는 꽤 사소해 보이는 것이기 때문에 미친 소리처럼 들립니다. 하지만 그들은 곧 그들을 덮칠 것이 무엇인지 모릅니다. 그리고 저는 그것이 저를 밤에 많이 깨우는 것이고, 그래서 제가 더 많은 사람들에게 메시지를 전파하려고 노력하는 이유입니다. 그래서 인식이 첫 번째 단계라고 생각합니다.
79. 인간의 노동과 인간의 일에 관한 이러한 질문들, 인간 마음의 효과를 복제하는 것이 기술적으로 가능한 세계에서, 저는 이것들이 매우 깊은 질문이라고 생각합니다. 저는 그것에 대한 답을 가지고 있다고 느끼지 않습니다. 당신이 말했듯이, 이것들은 일종의 도덕적 질문들, 거의 목적에 관한 질문들, 심지어 영적인 질문들일 수도 있습니다. 그래서 우리 모두는 이러한 질문들에 함께 답해야 할 것입니다.
80. 제가 가지고 있는 근원적 답변을 드리자면, 어떻게든 인간의 자존감, 경제적 가치를 창출하는 능력과의 연결, 우리의 심리에 깊이 배어 있는 측면들이 있지만, 문화적인 측면도 있습니다. 그것에 대해 잘 작동하는 많은 것들이 있습니다. 그것은 현대적인 참여 경제를 만들었습니다. 하지만 기술은 종종 그렇듯이, 그 환상을 드러낼 수 있습니다. 지구가 태양 주위를 돈다는 것을 깨달은 순간, 태양이 지구 주위를 돈다는 것이 아니라는 것을 깨달은 순간과 같은 또 다른 순간일 수 있습니다. 또는 많은, 많은 태양계가 있다는 것, 또는 유기물질이 무기물질과 다른 분자로 구성되어 있지 않다는 것을 깨달은 순간과 같을 수 있습니다. 그래서 우리는 그런 순간들 중 하나를 가질 수 있습니다. 그리고 청산(reckoning)의 순간이 있을 수 있습니다. 그리고 다시 말하지만, 제 답변은 활동들이 경제적 가치를 생성하지 않더라도 얼마나 의미 있을 수 있는지에 놀랐다는 것입니다.
[글쓴이 설명 : 아모데이가 말하고자 하는 핵심은 인간의 가치와 자아 인식이 경제적 생산성과 밀접하게 연결되어 있는 현실에 관한 것입니다. 우리 사회에서는 오랫동안 "당신이 하는 일이 곧 당신이다"라는 관념이 존재해 왔습니다. 그는 이러한 연결이 부분적으로는 우리 심리에 깊이 뿌리내리고 있지만, 동시에 문화적으로 구성된 측면도 있다고 지적합니다. 아모데이는 AI가 인간의 대부분 일을 대체할 수 있는 미래가 오면, 이것이 코페르니쿠스적 전환과 같은 패러다임 변화를 가져올 수 있다고 설명합니다. 지구가 태양 주위를 돈다는 사실을 깨달은 것처럼, 인간의 가치가 경제적 생산성에만 있지 않다는 것을 깨닫는 순간이 올 수 있다는 것입니다.]
81. 제가 세계에서 가장 잘하지 않는 일도 얼마나 즐길 수 있는지에 놀랐습니다. 만약 요구 사항이 당신이 영적으로 의미 있기 위해서는 세계에서 가장 잘해야 한다면, 저는 당신이 잘못된 길을 택했다고 생각합니다. 저는 그 가정에 뭔가 잘못된 것이 있다고 생각합니다. 저는 정말 중요하다고 생각하는 어떤 일에서 세계 최고가 되기 위해 많은 시간을 보내는 사람으로서 그렇게 말합니다. 하지만 어떻게든 우리의 의미의 원천은 그것 이외의 무언가가 되어야 할 것입니다.
82. 프로먼: 네, 캠.
83. 질문자: 감사합니다. 브루킹스 연구소의 캠 케리입니다. 영국 AI 안전 보고서에서 제게 뛰어든 것들 중 하나는 2030년 정도가 되면 스케일링이 데이터를 다 써버릴 수 있다는 가능성입니다. 그렇다면 어떻게 스케일링하나요? 어떻게 모델을 더 스마트하게 만드나요? 그리고 그 데이터의 한계는 무엇인가요? 엄청난 양의 텍스트, 비디오 정보가 디지털화되어 있고, 우리의 마음과 우주에 존재하지만 디지털화되지 않은 엄청난 양의 정보가 있습니다. 이것을 어떻게 다루나요?
84. 아모데이: 네. 이에 대한 몇 가지 답변이 있습니다. 하나는 지난 6개월 동안 혁신이 있었다는 것입니다 - 실제로 우리가 개발한 것이 아니라, OpenAI에서 처음으로 나왔고, 우리도 만든 다른 것들 - 이전에 필요했던 만큼의 데이터가 필요하지 않게 됐습니다. 이것은 이른바 추론 모델(reasoning models)로, 그들은 기본적으로 생각을 합니다. 그들은 복잡한 질문에 대한 답을 생각하기 시작하고, 그런 다음 자신의 생각을 훈련합니다.
85. 인간이 이렇게 하는 방식에 대해 생각해볼 수 있습니다. 때로는 제가 머릿속으로 계획을 세우고 다시 생각해보면, "아, 사실 그것은 별로 말이 되지 않네요. 무슨 생각이었지?"라고 생각하면서 배울 수 있습니다. 물론 세상에서 행동해야 합니다. 실제 세계에서도 행동해야 합니다. 하지만 AI는 최근까지 그런 종류의 인지를 전혀 활용하지 않았습니다. 지금까지, 그것은 주로 수학과 컴퓨터 프로그래밍과 같은 작업에 적용되었습니다. 하지만 제 견해는, 너무 구체적이지 않지만, 그런 종류의 사고를 훨씬 더 넓은 범위의 작업으로 확장하는 것이 그리 어렵지 않을 것이라는 것입니다.
86. 두 번째 요점은, 2030년에 데이터가 부족하더라도, 지수함수가 2-3년만 더 계속된다면 우리를 천재 수준에 이미 도달하게 할 수 있다는 것입니다. 그리고 그것은 이러한 변화들 중 많은 부분에 충분할 수 있습니다. 그리고 우리는 또한 모델에게 "우리는 이 문제가 있습니다. 인간 과학자들은 이것을 해결할 수 없었습니다. 이 문제를 해결하는 데 도움을 줄 수 있나요?"라고 물을 수 있을 것입니다.
87. 저는 여전히 어떤 이유에서든 그 두 가지 일이 모두 잘 되지 않거나 그렇게 보이지 않을 가능성이 작다고 생각하며, 데이터는 우리를 막을 수 있는 가능한 것들 중 하나일 수 있습니다. 1-2년 전에는 무언가가 이것을 막는다면, 이것은 리스트의 상위 3개 중 하나였다고 생각했습니다. 하지만 저는 여기서의 잠재적 회의론이 완전히 반박된 것은 아니지만, 꽤 잘 반박되었다고 생각합니다.
88. 프로먼: 쇼를 멈출 수 있는 상위 3가지는 무엇인가요?
89. 아모데이: 실제로, 현 시점에서 그것을 멈출 수 있는 첫 번째 일은 GPU 공급의 중단일 것입니다. 예를 들어, 모든 GPU가 생산되는 작은 분쟁 지역에서 군사적 충돌이 있다면, 그것은 확실히 그렇게 할 것입니다. 또 다른 것은 주식 시장에 충분히 큰 혼란이 있어 이 회사들의 자본화를 망치는 경우입니다. 기본적으로, 기술이 앞으로 나아가지 않을 것이라는 일종의 믿음, 그리고 그것이 충분한 자본화가 없는 자기실현적 예언을 만드는 경우입니다. 그리고 세 번째로는, 만약 제가 또는 우리, 분야가 자신의 데이터로부터 배우는 이 새로운 패러다임의 가능성에 대해 잘못 생각하고 있다면 말입니다. 어떻게든 그것이 보이는 것만큼 넓지 않거나, 그것을 올바르게 하는 데 더 많은 것이 있다고 생각합니다. 우리는 몇 가지 통찰력이 부족하다고 생각합니다.
[글쓴이 설명 : 아모데이가 언급한 세 번째 요인은 좀 더 기술적이고 내부적인 것으로, 현재 AI 분야가 가정하고 있는 '자신의 데이터로부터 배우는 새로운 패러다임'에 대한 것입니다. 이는 최근 발전하고 있는 '추론 모델(reasoning models)'과 같은 기술로, AI가 자체적으로 생성한 생각이나 답변으로부터 학습하는 방식을 말합니다. 아모데이는 이 접근법이 현재 예상되는 것만큼 광범위하게 적용 가능하지 않거나, 성공적으로 구현하는 데 아직 발견되지 않은 중요한 통찰이나 방법론이 필요할 수 있다고 우려합니다. 말하자면, 이 분야의 전문가들이 현재 상황을 너무 낙관적으로 보고 있을 가능성이 있다는 것입니다.]
90. 프로먼: 온라인 질문으로 가봅시다.
91. 진행자: 에스터 다이슨의 다음 질문을 받겠습니다.
92. 아모데이: 그 이름을 알고 있습니다.
93. 진행자: 다이슨 씨, 라인을 음소거 해제해 주세요.
94. 질문자: 감사합니다. 죄송합니다. 에스터 다이슨입니다. 사람들을 위한 임기 제한, AI를 위한 임기 제한 등에 관한 "임기 제한(Term Limits)"이라는 책을 쓰고 있습니다.
95. 이 모든 존재적 위험에 대한 질문이 있습니다. 제게는 더 큰 위험이 정직하게 말해서 인간인 것 같습니다. 인간은 AI보다 더 설명하기 어렵지만, 인간과 그들의 비즈니스 모델이 AI를 사용하는 것이 더 큰 위험입니다. 그리고 특히 유명한 페이퍼 클립 문제가 있습니다. 여기서 AI에게 페이퍼 클립을 만들라고 요청하면 다른 모든 것을 제외하고 그것만 합니다. 이것은 약간 비유적이지만, 세계는 데이터센터에 미쳐가는 것 같습니다. 그리고 그것은 정말로 다른 모든 것으로부터 자원을 빼앗아 데이터센터, AI, 데이터 풀 등에 자금을 지원하고 있습니다. 그래서 어떤 의미에서, AI는 인간의 가치, 즉 그들의 지적 능력만이 아닌 가치를 해치고 있는 사회를 위한 적합성 함수를 만들고 있습니다. 질문은 이것으로 끝납니다. 감사합니다.
[글쓴이 설명 : 질문자는 세계가 AI와 데이터센터 건설에 모든 자원을 투입하느라 다른 중요한 것들을 희생하고 있다고 우려했습니다. 마치 우리 사회가 다른 모든 가치를 희생하면서 특정 기술적 목표만을 추구하는 "페이퍼 클립 최대화"와 비슷한 상황에 빠지고 있다는 것입니다.]
96. 아모데이: 그래서, AI의 다양한 이점이 있는 것처럼 - 그리고 우리가 새로운 AI를 생산할 때마다 - 우리가 새로운 AI 모델을 생산할 때마다 우리가 예상했던 10가지 이점과 우리가 예상하지 못했던 더 많은 이점의 긴 목록이 있습니다. 매번 새로운 모델을 출시할 때마다, 새로운 사용 사례가 있고 고객들은 "AI 시스템으로 그것을 할 생각조차 못했다"고 말합니다.
97. 불행히도 또한 AI 시스템에는 많은 다른 위험이 있다는 것도 사실입니다. 그리고 우리가 이것을 통과하고 싶다면, 어떻게든 그것들 모두를 다루어야 합니다.
98. 그래서 저는 인간이 AI 시스템을 오용할 것이라는 것이 큰 위험이라고 생각합니다. 제가 생각하기에 AI 시스템 자체를 제어하기 어려울 수 있다는 것도 큰 위험입니다. 다시 말하자면, 데이터센터에 천재들의 나라라는 비유를 사용하면, 우리가 천만 명의 천재들을 남극이나 어딘가에 놓는다면, 우리는 그것이 인류에게 무엇을 할 것인지에 대한 여러 질문을 갖게 될 것입니다. 우리는 "누가 그들을 소유하고 있지? 어떤 기존 국가가 그들을 소유하고 있나? 그것이 그들의 입찰을 하고 있나?"라고 물을 것입니다. 그리고 그것이 무엇을 할 것인가? 이익이 있는가? 그 결과는 이로운가? 우리는 "그것을 오용할 수 있는 개인이 있나요?"라고 물을 것입니다. 그리고 우리는 "그 천재들의 나라 자체의 의도는 무엇인가요?"라고 물을 것입니다.
99. 그리고 당신이 마지막에 물어본 질문을 다루자면, "더 분산된 사회적인 것들이 있나요?" 확실히 세계가 더 많고 우리의 에너지가 AI 시스템에 더 많이 투입된다면, 그것은 훌륭할 것입니다. 그들은 일을 정말 효율적으로 할 것입니다. 하지만 그것이 우리의 기존 환경 문제를 악화시킬 수 있을까요? 저는 그것이 실제 위험이라고 생각합니다. 그리고 당신은 "AI가 우리의 환경 문제를 해결하는 데 더 잘 도울까요?"라고 물을 수 있습니다. 우리는 많은 에너지를 쓰고, 그런 다음 AI 시스템이 그것을 해결할 수 있다면, 우리는 시작했을 때보다 더 나아질 것입니다. 그래서 저는 그것이 그렇게 될 것이라고 낙관적이지만, 그것은 또 다른 위험입니다. 그것이 그런 방식으로 나오기 위해서는 여러 가지가 사실이어야 합니다.
100. 그래서 저는 우리가 큰 변화의 시대에 있다고 생각합니다. 따라서 우리는 그것을 통과하기 위해 특별히 현명한 선택을 해야 합니다. 질문을 하신 분의 이름을 알아보았습니다. 제가 틀릴 수도 있지만, 그것은 당신의 아버지였던 것 같습니다. 저는 그의 비디오를 들었습니다. 왜냐하면 저는 물리학자였기 때문입니다. 그리고 그의 비디오를 들었는데, 그는 "우리는 오늘 이 모든 문제를 가지고 있고 우리는 그것들을 해결할 수 없는 것 같습니다. 하지만 제가 기억하기로는 저의 시대에, 우리가 정말로 이 모든 심각한, 심각한 문제 - 제2차 세계 대전이나 냉전, 또는 핵 소멸을 생각해보세요 - 를 가지고 있었고, 어떻게든 우리는 이겨냈습니다." 그래서 그것이 우리가 다시 그렇게 할 것이라는 의미는 아니지만... (웃음)
[글쓴이 설명 : 질문자의 아버지는 프리먼 다이슨(Freeman Dyson)입니다. 프리먼 다이슨은 양자 전기역학 분야의 세계적인 이론 물리학자였으며, 여러 복잡한 과학적, 사회적 문제에 대해 깊이 생각한 지식인이었습니다. 아모데이는 프린스턴 대학에서 물리학 박사학위를 취득한 이력이 있습니다.]
101. 프로먼: 네, 뒤에 있는 여성분.
102. 질문자: 안녕하세요. 제 이름은 카르멤 도밍게스입니다. 저는 개발, 구현, 그리고 최근에는 정책 측면에 조금 더 집중하는 배경을 가진 AI 전문가입니다. AI가 무엇이고 무엇이 아닌지, 그것이 할 수 있는 것과 할 수 없는 것에 대한 일반적인 인식 부족에 대해 분명히 들었습니다. 하지만 저는 그것을 넘어가겠습니다. 저도 그것에 대한 과학 커뮤니케이션을 하고 있습니다. 하지만 오늘 제 질문은 몇 달 전에 당신이 카일 피시(Kyle Fish)를 AI 복지 연구원으로 고용한 것에 관한 것입니다. 그는 미래 AI 모델의 감각 또는 그것의 부재, 그리고 그들이 미래에 도덕적 고려와 보호를 받을 자격이 있는지를 연구하고 있습니다. 그것에 대한 이유와, 만약 동등한 인간 복지 연구팀이 있는지에 대해 이야기해 주실 수 있을까요? 감사합니다.
103. 아모데이: 네. 이것은 제가 완전히 미친 것처럼 들리게 할 또 다른 주제입니다. 사실 저의 견해는, 우리가 이러한 시스템을 구축할 때, 인간 뇌가 구축되는 방식과 많은 세부 사항에서 다르지만, 뉴런의 수, 연결의 수는 놀라울 정도로 유사합니다. 일부 개념은 놀라울 정도로 유사합니다. 저는 도덕적 복지, 경험의 본질, 아마도 의식에 대한 기능주의적 견해를 가지고 있습니다. 그래서 저는 우리가 이러한 시스템을 구축하고 그들이 인간처럼 인간만큼 잘 모든 종류의 일을 하고, 많은 동일한 인지 능력을 가지고 있는 것처럼 보인다면, 오리처럼 꽥꽥거리고 오리처럼 걷는다면, 아마도 그것은 오리일 것이라고 생각합니다. 그리고 우리는 이러한 것들이 어떤 식으로든 의미 있는 실제 경험을 가지고 있는지에 대해 정말로 생각해야 합니다.
104. 우리가 그것들을 수백만 개 배포하고 그들이 가지고 있을 수 있는 경험에 대해 생각하지 않는다면, 그들은 어떤 경험도 가지고 있지 않을 수 있습니다. 이것은 대답하기 매우 어려운 질문입니다. 이것은 우리가 매우 진지하게 생각해야 할 것입니다. 그리고 이것은 단지 철학적인 질문이 아닙니다. 저는 할 수 있는 놀라울 정도로 실용적인 것들이 있다는 것을 알게 되어 놀랐습니다. 그래서 우리가 배포하기 시작할 것을 생각하고 있는 것은, 우리가 배포 환경에서 우리의 모델을 배포할 때, 모델에게 "나는 이 일을 그만둔다"라고 쓰여 있는 버튼을 주는 것입니다. 모델이 누를 수 있는 버튼입니다. 그것은 단지 모델이 경험을 가지고 있고, 그 일을 충분히 싫어한다는 가설 하에, 그 버튼을 누를 수 있는 능력을 주는 매우 기본적인 선호도 프레임워크입니다. 정말 불쾌한 일에 대해 모델이 이 버튼을 많이 누르는 것을 발견한다면, 그것이 당신이 확신한다는 의미는 아니지만, 아마도 그것에 약간의 주의를 기울여야 할 것입니다. 미친 소리로 들리는 것 알고 있습니다. 아마도 지금까지 제가 한 말 중 가장 미친 소리일 것입니다.
105. 프로먼: 뒤쪽 저 멀리. 트루퍼, 네.
106. 질문자: 안녕하세요. 트루퍼 샌더스입니다. 당신은 AI와 의학 과학, 생물학, 화학 등에 대한 큰 기대에 대해 이야기했습니다. 사회과학에 대서도 그러한지 말씀해 주실 수 있을까요? 아시다시피, 대부분의 의료는 약상자와 진료실 밖에서 이루어집니다. 공중 보건은 다양한 다른 영역을 포함합니다. 그런 측면에 대해 말씀해 주실 수 있을까요?
107. 아모데이: 네. 만약 제가 역학에 대해 생각한다면, 제가 대학원생이었을 때, 게이츠 재단이 역학에 대한 수학적, 계산적 방법을 사용하는 프로젝트를 하고 있었습니다. 그들은 그것을 말라리아, 소아마비, 다른 영역을 퇴치하는 데 도움이 되기 위해 사용할 계획이었다고 생각합니다. 우리가 얻는 데이터의 양과 모든 조각들을 함께 모아 유행병에서 무슨 일이 일어나고 있는지 이해하는 능력은 AI로부터 엄청나게 이익을 얻을 수 있을 것입니다. 임상 시험 과정도 마찬가지입니다. 우리는 이미 이와 같은 것들을 보았습니다.
108. 실제로 이것은 앤트로픽이 오젬픽(Ozempic)과 다른 약물의 제조사인 노보 노르디스크(Novo Nordisk)와 함께 한 일입니다. 임상 시험이 끝나면 임상 연구 보고서를 작성해야 합니다. 이는 부작용을 요약하고, 모든 통계 분석을 수행하여 FDA나 다른 규제 기관에 약물 승인 여부를 위해 제출합니다. 일반적으로 이 작업은 약 10주가 걸립니다. 그들은 이를 위해 우리 모델을 사용하기 시작했습니다. 그리고 모델은 임상 연구 보고서를 작성하는 데 약 10분이 걸리고, 인간은 그것을 확인하는 데 약 3일이 걸립니다. 그리고 품질은, 적어도 우리가 초기 연구에서 본 바로는 - 그것이 모든 것을 결정하지는 않습니다 - 10주 과정으로 인간이 할 수 있는 것과 비슷한 수준으로 평가되었습니다.
109. 그래서 우리는 임상 시험이 필요합니다. 그 주변에는 많은 사회과학 문제가 있습니다. 많은 규제 문제가 있습니다. 저는 그 에세이에서 그것에 대해 조금 썼습니다. 저는 그러한 것들이 진보 속도를 제한할 것이라고 생각합니다. 하지만 임상 시험과 같은 것들 내에서도 AI 시스템이 그러한 질문을 해결하지는 않더라도 적어도 근본적으로 단순화하는 데 많은 도움을 줄 수 있을 것이라고 생각합니다.
110. 프로먼: 네, 바로 여기. 마이크가 오고 있습니다.
111. 질문자: 저는 루이스 셸리입니다. 저는 조지 메이슨 대학교의 불법 거래(illicit trade) 전문가입니다. 다음 주에 OECD에서 불법 거래에 관한 글로벌 정상회담이 있습니다. 하지만 당신이 이야기한 것은 이 부품 밀수 문제에 대해 제가 듣기를 기대했던 것이 아닙니다. 그리고 이것은 아무도 레이더에 없습니다. 당신이 그것에 대해 이야기할 때 어떤 일이 일어나나요? 왜냐하면 그것은 이 불법 거래를 보호해야 하는 커뮤니티에 도달하지 않고 있기 때문입니다.
[글쓴이 설명 : 루이스 셸리는 불법 거래(illicit trade) 전문가로, 주로 마약, 무기, 인신매매 등 전통적인 불법 거래 영역을 연구하는 학자입니다. 그녀는 다리오 아모데이가 언급한 "부품 밀수 문제"가 불법거래 전문가들 사이에 알려지지 않은 사실에 놀랐던 것 같고, 그러한 맥락에서 던진 질문입니다.]
112. 아모데이: 질문의 마지막 부분을 듣지 못했습니다.
113. 프로먼: 불법 거래를 우려하는 사람들의 의제에 이러한 이슈들이 왜 없느냐는 질문입니다.
114. 아모데이: 네. 제 답변은, 그것이 그러한 사람들의 레이더에 있어야 한다는 것입니다. 다시 말하지만, 저는 여기에 모든 사람이 공유하지 않는 세계관을 가지고 있습니다. 그리고 제가 옳을 수도 있고 틀릴 수도 있습니다. 하지만 제가 말할 수 있는 것은, 만약 이 세계관이 옳다면 우리는 이러한 GPU들의 밀수에 대해 총기나 드론, 펜타닐 등의 밀수보다 훨씬 더 걱정해야 한다는 것입니다. 네, 만약 당신이 이것들 500만 개를 중국에 밀수한다면 - 그리고 명확히 하자면, 그것은 약 200억 달러의 가치입니다 - 그것은 세계의 국가 안보 균형을 크게 바꿀 것입니다. 저는 그것이 가장 중요한 것이라고 생각합니다.
115. 그래서 다시 말하자면, 이것이 딜레마입니다. 제가 미쳤거나 세계가 여기에 큰, 큰 인식 문제를 가지고 있는 것 중 하나입니다. 그리고 만약 세계가 여기에 큰, 큰 인식 문제를 가지고 있다면, 그것의 파생효과(downstream)는 우리가 이 모든 다른 것들에 집중하고 있다는 것입니다. 그리고 불법 거래라고 말할 때 사람들이 오랫동안 집중해 온 특정한 것들이 있지만, 이것은 새로운 것입니다. 그러나 그것이 가장 중요한 것이 아니라는 의미는 아닙니다.
116. 프로먼: 아, 정말 좋은 질문들이 많이 있을 텐데요. 바로 여기 계신 신사분.
117. 질문자: 감사합니다. 앨런 라울입니다. 변호사, 하버드 법대 강사, 그리고 미래의 쓸모없는 사람입니다. (웃음)
118. 아모데이: 우리 모두 그럴 것입니다.
119. 질문자: 국가 안보에 대한 당신의 다양한 코멘트에 대해 후속 질문을 하고 싶습니다. 당신은 인공지능 보안 연구소와 그것의 테스트에 대해 언급했습니다. 바이든 행정부의 AI에 관한 행정명령에는 초능력, 그리고 26 FLOP, 이중용도 기초 모델(dual-use foundation models)의 획득이나 개발에 대한 의무적 보고가 있었습니다. 하지만 제 질문은, 어떻게 참여하는지입니다. 어떻게 앤트로픽, AI 커뮤니티, 이러한 초능력 모델의 개발자들이 미국 국가 안보 커뮤니티, 정보 커뮤니티와 어떻게 교류하는지요? 그리고 실질적으로, 그것이 AI 개발에 무엇을 의미하는지요? 그리고 만약 당신이 저에게 말하면 저를 죽여야 한다고 하신다면, 저는 그렇게까지 알 필요는 없습니다. (웃음)
[글쓴이 설명 : 26플롭은 10^26승 부동소수점 연산을 의미하는 것으로 보입니다. EU AI법은 누적계산량이 10의 25승에 도달하면 시스템적 위험이 있게되는 임계점으로 설정하고 있습니다. 이는 엄청난 양의 계산 능력으로, 매우 강력한 AI 모델을 훈련하는 데 필요한 계산량입니다. 이중용도 기술은 민간 목적과 군사적 목적 모두에 사용될 수 있는 기술을 의미합니다. AI 맥락에서 "이중용도 기초 모델"은 다음과 같은 특성을 가진 AI 모델을 의미합니다. 다양한 응용 프로그램에 적용 가능한 범용 AI 시스템, 일상적인 유용한 용도로 사용될 수 있지만, 동시에 악의적 목적(생화학 무기 개발, 사이버 공격, 대규모 사기 등)으로도 사용될 수 있는 모델입니다. 이 의무 보고 요구사항은 바이든 행정부의 "안전하고 책임감 있고 신뢰할 수 있는 AI 개발을 위한 행정명령"의 일부로, AI 안전 연구소(AISI) 설립, 생물학적 위험에 대한 AI 평가 표준 개발, 외국인 투자 심사 강화 등 다양한 조치를 포함합니다.
트럼프 대통령 취임 후 위 행정명령은 폐기되었습니다. 트럼프 정부의 정책방향과 일치하지 않는 것으로 판단될 경우 채택되지 않을 가능성이 높습니다.]
120. 아모데이: 네. 몇 가지가 있다고 생각합니다. 하나는 일반적으로 앤트로픽이 특히, 비록 다른 회사들도 비슷한 일을 하기 시작했지만, 우리가 새로운 모델을 개발할 때마다 앤트로픽 내에 프론티어 레드 팀(Frontier Red Team)이라고 불리는 팀이 있습니다. 이 중 일부는 AI 안전 및 보안 연구소에서 테스트를 하고 있지만, 우리는 협력하여 일합니다. 우리는 일부를 개발하고, 그들은 일부를 개발합니다. 그러나 일반적인 흐름은, 우리가 생물학적 위험이나 사이버 위험, 또는 화학적 또는 방사선적 위험과 같은 것들에 대해 모델을 테스트할 때, 우리는 일반적으로 국가 안보 커뮤니티의 사람들에게 가서 "이것이 이러한 특정 능력 측면에서 모델이 있는 곳입니다. 여러분은 이것에 대해 알아야 합니다. 왜냐하면 여러분은 모델로 이것을 할 나쁜 행위자들을 탐지하는 책임이 있는 사람들이기 때문입니다. 지금 그들이 무엇을 할 수 있는지 알고 있습니다. 따라서 모델이 그들의 현재 능력에 추가적이거나 증강적인 것을 할 수 있는 것에 대한 감각을 가질 수 있을 것입니다."
121. 우리가 놓치는 부분은, 우리는 대테러 전문가가 아닙니다. 우리는 세계의 모든, 모든 나쁜 사람들과 그들의 능력, 그리고 대규모 언어 모델이 그림에 무엇을 추가할 것인지에 대한 전문가가 아닙니다. 그래서 우리는 이러한 문제에 대해 그들과 매우 생산적인 대화를 나누었습니다.
122. 우리가 그들과 이야기한 다른 주제는 회사 자체의 보안입니다. 이것은 OSTP 제출에서 우리가 이야기한 것 중 하나였습니다 - 이것을 더 공식적으로 만들고, 미국 정부가 이것을 일상적으로 하는 것으로 만드는 것에 대해. 하지만 우리가 디지털적으로 또는 인간적인 수단으로, 내부자 위협으로 공격받을 것을 걱정한다면, 우리는 종종 그것에 대해 국가 안보 커뮤니티와 이야기할 것입니다.
123. 그리고 저는 세 번째 종류의 상호작용은 모델의 국가 안보 영향에 관한 것이라고 생각합니다. 저는 지금 공개적으로 말하고 있는 이러한 것들을 어떤 형태로든 꽤 오랫동안 일부 사람들에게 말해왔습니다. 그리고 저는 네 번째 것은 우리의 국가 안보를 강화하기 위해 모델을 적용할 기회라고 생각합니다. 이것은 제가, 그리고 앤트로픽이 지지해 온 것이지만, 우리는 올바른 가드레일이 있는지 확인하고 싶습니다. 한편으로는, 저는 우리가 국가 안보를 위해 이러한 기술들을 적용하지 않는다면, 우리는 적대적 세력들에 대해 무방비 상태가 될 것이라고 생각합니다. 다른 한편으로는, 저는 모든 사람이 제한이 있어야 한다고 믿는다고 생각합니다. 우리가 AI 시스템을 핵무기에 연결하고 인간이 루프에 있지 않고 그들이 핵무기를 발사하도록 해야 한다고 생각하는 사람은 없다고 생각합니다. 그것은 스트레인지러브 박사의 줄거리입니다. 네, 그것은 문자 그대로 스트레인지러브 박사의 줄거리입니다. 그래서 그 사이 어딘가에, 일부 근거가 있습니다. 그리고 우리는 여전히 그것을 정의하는 작업을 하고 있습니다. 그것은 국가 안보를 위한 AI의 적절한 사용이 무엇인지 정의하는 데 지침이 되기를 바라는 것들 중 하나입니다. 하지만 그것은 우리가 국가 안보 커뮤니티와 상호작용한 또 다른 영역입니다.
124. 프로먼: 몇 분 전에 AI 모델의 경험을 이해하려는 시도에 대한 당신의 코멘트가 저에게 점점 더 와닿고 있습니다. 그래서 마지막 질문으로 마무리하겠습니다. 당신이 상상하는(envisage)하는 세계에서, 인간이 된다는 것은 무엇을 의미하나요?
125. 아모데이: 네. 제가 생각하는 그림에서 가장 인간적으로 보이는 것은 두 가지가 있습니다. 제게 가장 인간적으로 보이는 첫 번째 것은, 다른 인간들과의 관계, 그들에 대한 우리의 의무, 우리가 그들을 어떻게 대해야 하는지, 다른 인간들과의 관계에서 우리가 가지는 어려움, 그리고 우리가 그러한 어려움을 어떻게 극복하는지 등을 통해 투쟁하는 것입니다. 제가 사람들이 자랑스러워하는 일들과 사람들이 저지른 가장 큰 실수들을 생각할 때, 그것들은 거의 항상 그것과 관련이 있습니다. 그리고 AI 시스템은 아마도 우리가 그것을 더 잘하도록 도울 수 있지만, 저는 그것이 항상 인간이 되는 것의 본질적인 도전 중 하나일 것이라고 생각합니다.
126. 그리고 저는 아마도 두 번째 도전은, 매우 어려운 일을 하려는 야망일 것이라고 생각합니다. 이것은 다시 말하지만, 저는 궁극적으로 우리보다 더 스마트하고 우리가 할 수 없는 일을 할 수 있는 AI 시스템의 존재에 의해 영향을 받지 않을 것이라고 생각합니다. 저는 다시 인간 체스 챔피언들이 여전히 유명인이라는 것을 생각합니다. 저는 수영을 배우거나 테니스를 배울 수 있고, 제가 세계 챔피언이 아니라는 사실이 그러한 활동의 의미를 부정하지 않습니다. 그리고 심지어 제가 50년, 100년에 걸쳐 할 수 있는 일들도, 저는 그러한 것들이 그들의 의미를 유지하기를 원하고, 인간이 포기하지 않고 이러한 것들을 향해 노력하는 능력을 유지하기를 원합니다. 다시 말하지만, 저는 그 두 가지가 아마도 제가 인간성으로 식별하고 싶은 것들일 것이라고 생각합니다.
127. 프로먼: 우리와 시간을 함께 해주신 다리오 아모데이에게 감사의 말씀을 전해주세요. (박수)
128. 아모데이: 초대해 주셔서 감사합니다. (끝)
