brunch

You can make anything
by writing

C.S.Lewis

by 서기슬 Nov 20. 2023

무엇이 그렇게 위협인가? AI 리스크와 AI 안전,

AI의 위험에 대해 강조하는 제프리 힌튼 옹은 '자의식 과잉'인가? 혹은 정말로 인류는 굉장히 위험한 모먼트에 있는 것인가? 그 답은 어려운 얘기지만, 그에 관련된 부수적인 질문들은 괜찮은 사고실험의 주제가 된다, 어차피 세상이 이미 디스토피아인데 뭐 그리 유난할 일인가 생각하다가, 이 생각을 풀어보기에 가장 편리한 집필 형식은 연소일기체라고 생각해서, 주말 여가생활로 의식의 흐름대로 끄적여보는 ChatGPT 얘기,

이 얘기를 너무 늦게 꺼낸 것 같은데, 그래서 제프리 힌튼 옹이 그렇게 '인류에 위협'이 된다고 했던 AI 위험은 무엇인가, 그 인터뷰들을 세세히 살펴보면, 역시나 터미네이터 세계관 같이 기계가 인류를 지배하는 상황이 꼭 핵심은 아닌데(하지만 또 시나리오로서 일어날 확률이 0은 아닌) 매체들이 헤드라인을 자극적으로 뽑은 것이고, 영문 인터뷰를 찾아보니 실제로는 굉장히 구체적인 얘기들을 한다, '대부분의 인간이 판별할 수 없는 수준의 교묘한 가짜뉴스', '다감각 인지과 추론을 겸비한 배틀 로봇', '인간이 온전히 제어할 수 없는 수준으로 모델 자체가 갖게 될 편향과 차별', '인공지능 대체로 인한 실업과 인간 소외' 같은 것들이다, 물론 또 여기에 '그건 대부분 AI가 없을 때에도 문제 되었던 원래 인간의 문제잖아'라고 말을 얹는 사람들이 있다면, 그에 대해선 절반 정도는 동의하고, AI 없이도 지금의 플랫폼에서 인간의 편향과 반지성을 강화하는 알고리즘은 대단히 유해한 편이라고 생각함, 그런데 AI 없이도 누군가는 가짜 뉴스 쇼츠를 한 달에 100개씩 만들고 있었는데, 이제 AI와 함께 1만개씩 찍어잴 수 있게 되는 것이다, 그리하여 나는 '악한 것은 기계가 아닌 인간'이라고 생각하지만, 한 편 제프리 힌튼이 지적한 문제는 대부분 기술의 발달로 크게 레버리징될 수 있기 때문에 큰 문제라고 인식하고 있으며, 역시나 앞서 얘기했듯 개인적으로는 총기, 마약, 해킹에 슈퍼 버프를 주는 급의 위험 수준이라고 생각하니 인류에 실존적 위협이긴 하다, 다만 기술주의자들끼리(심지어 공대 대학원 나와서 학회 컨퍼런스가 사회 생활의 대부분이었던 이들 아니던가) 토론을 하니까, 문제의 원인 파악도 솔루션도 기술기술한 얘기를 하지만, 정치적 사회적 방법까지 총동원하는 것도 고려해야한다는 생각도 하게 되었다, 그리고 '기존에 인류가 합의한 것들이나 잘 지키려고 해봐야하는 것 아닌가'가(기술이 학살에 남용되면 안 된다거나) 내가 지난 이틀동안 고자극 OpenAI 이사회 쿠데타 드라마를 관전하며 얻은 관점임, 사실 제프리 힌튼이 간접적으로 언급했지만, 미국의 DRAPA, 즉 국방연구국은 이미 AI의 '무기 적용'을 연구하고 있는 것은 거의 기정사실,

많은 사람들이 AI가 인류에게 가져올 위협에 대해, 'AGI가 정말로 출현하는가?' 혹은 '특이점이 오는가?' 같은 또 질문의 답을 충분조건에 놓고 설명하려고 하지만, 일단 나는 그에 동의하지 않는다, AI의 위험성에 대한 질문은 다른 모든 플랫폼 기술이나 자동화 기술이 가져오는 부작용과 같은 맥락에서 이해하는 것이 좋다는 것이 이 글을 쓰기 시작한 이유 중 하나이다, AI가 그 만큼 덜 특별하다는 주장을 하려는 것도 아니고 실은 나는 소위 생성형 인공지능 기술이 다른 모든 지능화 기술에 비해 비약적 발전이라고 부를만한 진보라고 믿고 있으나, 그럼에도 불구하고 '틱톡이랑 인스타그램만 갖고도 이렇게 인류에게 해로운데', 인류는 이미 충분히 기술 때문에 망가지는 방향으로 가고 있는 것 아닌가? 그 문제를 먼저 충분히 풀면서, AI가 가져 올 특이점에 대한 논의를 해야한다는 생각,

오펜하이머 어쩌고 얘기를 하는 사람도 많은데, 역사 이래 핵폭탄보다 훨씬 더 많은 인간은 살상한 무기는 AK47임을 늘 잊으면 안 된다,

CAIS는 Center of AI Safety라는 비영리기관으로, 현재까지 AI 안전에 관해 가장 활발하게 활동하고 있다, CAIS의 논리 중 제법 설득력 있게 다가온 것은 고성능 GPU의 생산, 유통, 사용을 추적하자는 것이었다, 표현이 귀찮으니 AI에 의한 위협을 AI 리스크, 그 반대항을 AI 안전이라고 지금부터 써보자, 나는 거듭해서 AI 리스크가 마치 특이점이니 초지능이니 이런 논의와 엮이면 얘기가 불필요하게 복잡해지고 본질을 흐릴 여지가 있기 때문에, 현재의 AI, 즉 거대언어모델 기반의 생성형 인공지능 기술을 놓고, 이것이 범죄나 폭력에 광업위하게 쓰일 수 있는 도구적 기술인가 혹은 당장 범죄나 폭력에 쓰이지 않아도 효능 대비 심각한 부작용을 발생시킬 기술인가에서 시작하여, 그에 관한 아주 '일반적인' 규제 논의를 검토해야한다는 관점을 갖게 되었다, 그렇다면 GPU 추적은 괜찮은 아이디어이다, 생산 자원 혹은 화폐에 대한 규제는 인류가 공존을 위해 취하고 있는 꽤 성공한 전략이기 때문이다,

2023년인데 제노사이드 협약도 못 지키고, 정치적 종교적 이유 때문에 학살을 방관하고 있는 서방국가들이 인류의 안전과 진보에 대해 잘났다고 제대로된 솔루션을 수행할 수 있을까 싶지만, 그래도 비교적 인류가 발명하고 발견해낸, 인류 헌법에 가까운 것들은 기술문명에서 앞서 나갔던 몇몇 서구 국가들에 의해 그 준수가 감시되거나 적용이 유지보수되고 있다, 결국 인류사는 정치의 힘을 흐르기 때문에, 그러므로 밉든 곱든 그 서방국가들의 힘에 의지할 수 밖에 없다고 생각한다, 아시다시피 일명 제노사이드 협약의 본명은 집단살해죄 방지와 처벌에 대한 협약이고, 비준된 이래로 전쟁범죄로 인한 인간 대량 사망에 대한 예방 효과가 실제로 상당했다고 여겨지고 있다, 세계인권선언과 같은, 비교적 인류 헌법에 가까운 합의가 시작된 이래로, 'ㅅㅂ 그래도 우리가 인간인데 괴물은 되지 말자' 같은 취지에서 공감도 얻고 실행도 준수했던 'UN 고문방지 협약' 같은 것도 있고, 역시나 여전히 제3 국가의 취약한 안전망에도 불구하고 '아동 노동은 나쁜 거야'라는 공감대로 그럭저럭 많이 인류의 삶을 개선시킨 'UN 아동권리 협약'도 있고, 이런 식의 협약이 각 국가의 국내법과 정치에 작동하여 그래도 인류를 조금씩 좀 더 문명과 인간됨으로 이끌고 가고 있다는 점을 잘 떠올려야 한다, 물론 '장애인 권리에 관한 협약' 같은 것도 실행은 중구난방인 것을 보면 인류애가 파사삭 사그라들기도 하지만, 양비론이나 무용론은 정말 현실 개선에는 도움이 안 되니까, 일단 '그래도 교훈을 되새겨 앞으로 잘해보자' 쪽으로 생각해보기로,

그리하여 '범죄를 막으려면 돈줄을 끊어야지'를 인류가 깨닫고 수행하고 있는 것이, 각 국가의 FIU, 즉 금융정보분석기구이고, 전세계 FIU들을 연결하는 Egmont Group이 있고, 다시 이에 대한 감시 역할을 하는 FATF, 즉 국제자금세탁방지기구가 이고, 이들과 은행의 공조는 실제로 테러리스트나, 국제 마약조직의 자금 흐름 등을 비교적 잘 통제하고 있는 것으로 알려져 있다, 그러니까 테러리스트를 막으려면 그들을 무력으로 진압할 수도 있고, 정치적으로 와해시킬 수도 있고, 온갖 공작을 펼칠 수 있지만, 자원 흐름을 통제하는 것이 주요하거나 혹은 반드시 병행되어야 한다는 것을 인류가 깨달았고 이게 괜찮은 방법이었다는 것이다, 모든 AI 개발자들이 잠재 테러리스트나 혹은 테러리스트 옹호자라서가 아니라, 진짜 테러 조직이 자기들 IDC 구축하고 오픈소스 활용해서 '나쁜짓 of 나쁜짓'을 하려고 작정하면 그것을 어떻게 통제할 것인가는, 그래도 아직까지는 GPT4급의 LLM을 제대로 학습시키거나 작동시키려면 천만원짜리 GPU가 최소 수백장에서 만장 단위로 필요한데, 이걸 규제해야하는 것이 효과적인 방법이라는 것이다, 물론 여기에는 수많은 중간 합의가 필요하다, GPU의 판매나 유통이 '그런 자원'이라는 것을 먼저 합의해야하니까,

그런데 인류는 아주 똥멍청이가 아니라서 원래도 규제하고 검역한다, 마약 재료의 유통은 물론이고, 대부분의 의약품에 해당하는 것도 독성이 있는지 각 나라의 FDA가 철저히 검증하며, 전기 제품도 안전 규제와 규격이 있고, 총기도 화약도 규제한다, 자동차를 만들어도 안전 기준이 있고, 웹서비스 안들어도 개인정보보호법 때문에 뚜드려 맞을 것을 항상 각오해야한다, 범죄적 위험이 아니라고 하더라도 전염병이나 환경 문제에 공동으로 대응한다, 그러니까 특이점이니 초지능이니 어쩌구까지 가지 않아도 우리는 늘 '안전'을 위해 진보해왔다는 얘기, 이쯤에서는 평생을 AI 연구에 바친 학자들의 자의식 과잉을 빼더라도, '안전이 먼저다'라는 논리가 아주 잘못되지는 않았다는 것이다, 안전 규제 없는 기술의 진보가 얼마나 유해한지는 솔직히 토론의 대상이 아니라고 생각한다, 인간이 학습 효과가 있어야지, 토론이 끝난 문제에 대해 자꾸 챌린지하면 그게 바로 유해함이 되는 부분이다, 앞으로 어떤 방향으로 가야하는가를 철저히 토론해야 하지만 자꾸 뒤로 가자는 얘기는 위험한데, 한 번 더 강조하자면, 나는 '안전 규제 없는 기술의 진보가 정말로 유해한가'는 토론의 대상이 아니라고 생각한다, 안전 규제는 당연하다는 것을 대전제로 모든 것을 시작해야한다,

그러니까 내가 생각할 때에 진짜 인류를 위협하고 있는 것은 단연코 반지성이다, 유발 하라리가 논리가 취약해서 욕은 먹어도 참 전세계에 괜찮은 영향을 주었다고 생각하는 점은, '인류 단위의 관점'을 교양 수준에서 보편화시켰다는 점이다, 그 인류가 꾸역꾸역 쌓아온 교양과 지성이 있는데, 그걸 뒤로 보내려는 대중과 정치의 움직임이 반지성이다, AI의 진짜 위협은 반지성 인간을 계속 만들어내는 것이고, 나는 세계적 추세를 보면 누군가는 이미 플랫폼 기술과 가짜뉴스를 통해 나름의 목적으로 이걸 성공적으로 수행하고 있다고 생각한다, 예를 들어서, 인류가 '이건 언뜻 보면 좋을 수도 있고 나쁠 수도 있지만, 결국 역사를 보면 존나 나쁜 거야'라고 고통과 피해를 거쳐서 깨달은 것 중에 하나가 '독과점'이다, 그래서 미국과 유럽은 반독점법의 적용과 처벌이 강력해서, 난다 긴다하는 기업들도 반독점 얘기만 나오면 벌벌 떨어야 하는 정도이다, 그런데 젊은 애들이 자꾸 이상한 뉴스 같은 것을 보다보면, 이걸 갖고 자꾸 도돌이표로 '좋은 독점은 좋은 것 아냐?' 이렇게 긁어버리기 시작하여 뒤로가는 얘기가 되는데, 조선반도에서만 숱하게 나타나는 문제가 아니라 전세계적으로 심각한 문제라고 생각함,

일단 ChatGPT 프롬프트를 어설프게 써보고 '뭐야, 얘는 헛똑똑이네'하면서 이게 무슨 인류의 위협에 되겠냐고 과대평가라는 의견을 취하는 분들의 견해는 기각하고 다음 논의로 넘어가고 싶은데, 나는 '기술의 남용과 무기화'와 '중간지능의 대체'는 대단히 터미네이터의 스카이넷까지 가지 않더라도 충분히 발생할 수 있는 실질적 위협이고, GPT4가 다음 세대로 넘어가면 곧 최소 그 두 가지 위협에 온전히 도달한다고 생각하고 있다, 이전에도 몇 번 이런 비슷한 얘기를 썼지만, 헛똑똑이론을 펼치는 사람은 GPT3.5를 한국어로 1회에 2,000자 미만의 프롬프트로만 사용해보았을 확률이 대부분이라 생각함, '기술의 남용과 무기화' 문제는 어떤 기술이든 나쁜 사람이 나쁘게 사용하려고 작정하면 그 기술의 우수성보다 훨씬 위험해진다는 관점이고, '중간지능의 대체'는 인류 평균 IQ가 100인데 어지간히 헛똑똑이라도 평균 미만에겐 큰 위협일 수 있다는 관점이다,

AK47은 무엇인가, 돌격소총이라고 불리는 무기 장르인 이 품종은, 여러 과대평과와 도시전설을 제외하고서라도, 저렴하고, 살상력이 높고, 다양한 환경에서 잘 작동하고, 무엇보다도 누구라도 적은 시간의 훈련으로도 살상력을 획득할 수 있을 만큼 다루기 쉬워서, 게릴라와 테러리스트의 무기라고 알려져 있기도 하다, 전 세계에 레저용이 아닌 전투용 '총'이라고 부르는 모든 물건의 10~20% 정도를 AK47과 그 아종이 차지하고 있으며, 규제할 수도 없이 세포처럼 퍼져서 앞서 언급했듯 핵폭탄보다 훨씬 많은 인간을 사망에 이르게 했는데, 통계가 어떤 식이냐면, 지금까지 역사 이래 핵폭탄에 의해 죽은 총 인원이 N이라고 치면, AK47은 2-3년에 N명씩 지금도 죽이고 있다, AK47 그 자체는 성능이 좋은 도구이자 기술의 산출물일 뿐이고, 물론 살인의 대부분은 분쟁과 정치가 원인이다, 해적이나 강도와 같은 생계형 범죄의 비중도 무시할 수 없다, GPT4와 그 이상의 모델이 약용되면 그만한 유해함이 될 수 있는가에 대한 나의 관점은, 총기, 마약, 해킹 등을 아주 편리하게 보급하는 도구적 기술의 급은 된다는 것,

샘 알트만을 몰아내려고 했던 일리야 수츠케버를 마치 자의식 과잉이라고 까는 것 같지만, 그래도 조금은 심정적으로 지지해고 싶은 부분이 있다면, 샘 알트만은 그런 면에서 감시의 다각화나 기술 발전의 투명화보다, 속도를 위해 안전을 희생하고 특히나 시장 과점을 추구하려 했다는 의지를 숨기지 않았다는 것이다, 미국 기술창업계의 '효율적 이타주의자'들은 그 대표주자 중의 한명이 거하게 횡령으로 해먹고 나서 사그라들었지만, '내가 똑똑하고 선하니까 과점한 후에 재분배할거야'라는 위험한 발상은 모르긴 몰라도 인류 곳곳에 싹트고 있을 것이다, 여러번 강조하지만 과점은 나쁘고 기초 안전은 당연 중요하다,

마지막 남은 얘기는 '중간 지능의 대체'이다, 이런 PC하지 못한 언급 자체는 내 일기장이니까 쓸 수 있는 얘기지만, 무력하거나 무용한 인간과 공존하는 문제는 원래 AI와 별개로 인류가 풀어야했던 문제이고, 국민 수능 평균 5등급, 전세계 IQ 평균 100인데, '지능'을 보완하거나 대체하는 무언가의 등장으로 인해, 초지능까지 가지 않아도 수많은 이들이 실존적 위험에 있다는 것이 내 생각이다, 누군가는 장애를 지닌 이들이나 저지능자를 위해 AI의 활용이 훨씬 좋은 보완 도구가 될 수 있다고 생각하고, 그런 의견에 일부 동의하지만 역시나 기술은 나쁘게 쓰고 착취하려고 마음 먹으면 그런 악의를 레버리징할 수 있다는 반대항이 늘 함께 간다는 것을 늘 잊으면 안 된다, 최근에야 조선반도에서도 여러 매체를 통해, 발달장애라거나 그 주변에 대한 문제가 가시화되고, 최근에는 특히나 '경계선 지능'이나, 사각지대에 있는 이들에 대한 리터러시가 늘어나고 있는데, 원래도 우리는 인간으로서 또 다른 인간을 보살피며 사는 문제에 대해 많은 숙제를 갖고 있었다, 좋은 쪽으로 생각해보자면, 그 이전에도 우리는 좀 모자라는 아이가 있으면 깍두기로 끼워서 함께 놀아주기도 했고, 또 나쁜 쪽으로는, 그 이전에도 조금 지능이 떨어지는 바보같은 아저씨는 염전에서 노예처럼 살았다, 인간이 인간을 보살폈거나, 인간이 인간을 괴롭혔거나, 결국 둘 중 하나였다, 선악의 양면은 함께 있고, 우리 모두가 행복해질 수 있다는 희망도 있지만, '나는 세상물정 다 아니까 괜찮은데?'라고 스스로 생각했던 IQ 85가 자기도 모르는 사이에 고도의 착취를 당하며 사는 디스토피아라는 가능성도 늘 따라다닌다, 그러니 '똑똑한 내가 잘 벌어서 분배하고 세상의 문제도 효율적으로 해결해보겠다'는 샘 알트만의 발상은 언뜻 교만한 것 같기도 한데, 또 그 본인의 선의 자체를 대단히 의심하고자 하는 것은 아니다, 오히려 진짜 절대 간과하면 안 되는 것이 어디에나 '어둠의 샘 알트만'이 있고, 반군은 효율적 살상 무기를 고도화하는 데에 능하고, 불법도박 사이트를 운영하는 어둠의 개발자는 보안 기술의 스페셜리스트이며, 미국의 몇몇 지역사회는 펜타닐 때문에 망가지는 일 같은 것이 수시로 현재진행형이라는 것, 나는 이런 면에서 '중간 지능의 대체' 측면에서는 제프리 힌튼 옹이 말한 것처럼, 이게 인류에게 존재적 위험이 될 수 있다는 쪽에 좀 더 가까운 생각을 갖고 있다, 다만 그러니 AI의 IQ 수준을 통제하자 같은 것은 말도 안 되는 얘기이고, '사회와 공동체와 합의는 다양성과 포용성을 위해 무엇을 해낼 수 있는가'를 함께 토론해야 한다는 얘기이다,

한편 생태계의 본질은 그 자체의 진화나 진보보다는 공존과 균형, 자정 작용 같은 것이라고 생각해서, AI의 위험이 생태계를 유지에 위해가 되지 않는 수준의 제어를 모두가 고민해야한다는 것, 펜타닐 때문에 젊은 애들이 워낙 죽어 나가니까 비싸게 팔아야 하는 코카인 중독자들이 다 좀비가 되어버려서 시장이 줄어들까봐 심지어 범죄조직인 마약 카르텔 마저도 펜타닐 판매상을 규제하는 자경단처럼 활동하는 것이 인간 생태계의 오묘함인데, 생태계에 위협이 된다고 판단되는 AI 위험에 대해 누군가 들고 일어나서 핏대 세우고 쿠데타 일으키는 것도 이해는 된다는 생각, 스파이더맨의 명대사처럼 세상 모든 일에는, 큰 힘에는 큰 책임이 따른다, 기술이라고 생각했던 것들은 생각 외로 사업이었고, 신념이라고 생각했던 것들은 생각 외로 정치였음, 거듭 강조하지만 그래서 K패치 적용해서 AI 규제 당국 만들고 법안 통과시켜야한다는 얘기가 아니라, 지금 상존하는 범죄나 갈등이나 제대로 해결하자는 방향에서 AI 위험을 제어할 수 있다는 것, 틱톡 쇼츠 릴스를 다 막을 수는 없지만, 언론의 자유부터 보호하고 명시적으로 탐지 가능한 가짜뉴스 생산자에 대한 처벌 확실성부터 강화해야, AI에게 지배 당하지 않는 인류가 되는 것 아닐까, 모델의 발전 속도를 억지로 늦추는 것은 현실적이지 않지만, AI 안전에 대한 연구에 더 많은 자원을 할당하는 것은 길게 보면 인류 전체이거나 개별 사업 양쪽 모두에 효율적인 투자일 것,

2023년 11월 씀,

keyword