AI 대부 제프리 힌튼의 경고

빅테크가 AI 스위치를 끄지 못하는 이유

여러분은 AI의 기술이 발전하면 어느 정도까지 발전할 수 있다고 생각하시나요.

여기 조금은 극단적이지만 강렬한 예시가 있습니다. 바로 소프트뱅크의 창업자 손정의 회장이 한 말인데요.

인간과 ASI의 지능차이는,

금붕어와 인간의 차이와 같을 것이다.

소프트뱅크 손회장은 ASI가 8년 내에 도래한다고 했습니다

지금 금붕어에서 산수나 영어를 가르치는 것이 의미 없는 것과 같이. 10년 후에는 AI는 인간에게 첨단과학 기술의 원리나 세상의 이치를 알려주는 것이 무의미해질 수 있다고 덧붙였습니다.

비단 손정의만의 이야기일까요?

2029년경에는 AI가 모든 인류의 지능을 합친 것보다 더 똑똑해질 것이다.
- 일론 머스크

수천 일 안에(Within a few thousand days) 초지능이 등장할 수 있다. 우리는 조상들이 마법처럼 느꼈을 일들을 해낼 수 있게 될 것이다.
- 샘 올트먼

2045년에는 인간의 지능과 기계의 지능이 결합하여 생물학적 지능의 10억 배에 달하는 특이점을 맞이할 것이다.
- 레이 커즈와일

이처럼 직접 AI회사를 운영하는 CEO나, 외부의 전문가들도 하나같이 AGI가 도래하는 시점에 있어 상상조차 하기 힘든 엄청난 일상의 변화를 이야기하고 있습니다.

AI를 반대하는 사람들조차 'AGI가 도래하지 않을 것'이라고 말하는 사람은 찾기 힘들 정도입니다.

오늘은 이와 관련해서 인상 깊은 인터뷰가 있어 가지고 왔습니다.

바로 AI의 대부(Godfather of AI)이자 2024년 노벨물리학상 수상자인 토론토대 제프리 힌튼 교수의 한 해를 마무리하는 12.26일 CNN 인터뷰입니다.

AI의 대부라고 불리는 제프리 힌튼(우)

(1:1 인터뷰 진행)

-CNN앵커 : (지난 인터뷰 시점인) 2년 전부터 AI가 발전해 온 모습을 보실 때, 그때보다 더 걱정되십니까, 아니면 덜 걱정되십니까?

-제프리 힌튼: 더 걱정하고 있습니다. 제 생각보다 AI는 더 빠르게 발전했습니다. 추론과 같은 능력뿐만 아니라 사람을 속이는 능력도 더 좋아졌습니다.

-CNN 앵커: 사람을 속인다는 것이 무슨 뜻인가요?

-제프리 힌튼: 인공지능은 부여된 목표를 달성하기 위해 계속해서 존재하기를 원하게 됩니다. ① 만약 인간이 자신을 제거하려 한다고 판단하면, 그러지 않기 위해 인간을 속일 것입니다.

...(중략)

-CNN 앵커: AI 혁명이 인터넷의 탄생이나 18세기 산업혁명과 비슷한 영향을 사회에 미칠 것이라고 보십니까, 아니면 그보다 더 클 것이라고 보십니까?

-제프리 힌튼: 음, 적어도 산업혁명만큼의 파급력이 있다고 생각합니다. (19세기) 산업혁명은 인간의 육체적 힘을 거의 무의미하게 만들었습니다. 더 이상 단순히 힘이 세다는 이유만으로 직업을 구할 수는 없게 되었죠.

-제프리 힌튼: ② 이제는 인간의 지능을 거의 무의미하게 만들 것입니다.

...(중략)

-CNN 앵커: 많은 사람들이 인류의 이익을 위해, 의학 등의 발전을 이끌기 위해 이 기술을 연구하고 있습니다. 그럼에도 AI의 위험이 긍정적인 면보다 크다고 보십니까?

-제프리 힌튼: ③ 무언가를 예측해야 하는 거의 모든 산업에서 AI는 아주 훌륭한 역할을 할 것입니다. 기상 예측처럼 이전 사람들이 하던 것보다 더 잘 해낼 것입니다.

...(중략)

-CNN 앵커: 실리콘밸리의 CEO들이 이런 시스템을 구축하면서 위험성을 진지하게 고려하고 있다고 보십니까?

-제프리 힌튼: 초기에 오픈AI는 위험에 대해 매우 우려했지만, 점차 거기서 멀어져 안전보다는 수익에 더 중점을 두고 있습니다.

메타는 항상 수익에 큰 관심을 가졌고 안전에는 덜 신경 썼습니다.

앤스로픽은 오픈AI를 떠난 사람들이 세운 곳으로 안전을 매우 걱정했고, 아마 지금도 안전에 가장 신경 쓰는 기업일 겁니다. 그럼에도 불구하고 그들도 수익을 내려고 노력하고 있죠.

...(중략)

-CNN 앵커: 정부가 AI 규제와 관련하여 어떤 제한이나 감독을 해야 한다고 보십니까?

-제프리 힌튼: 적어도 챗봇을 출시하는 대기업들이 그 챗봇이 나쁜 짓을 하지 않도록 철저한 테스트를 거치게끔 강제해야 합니다. 예를 들어, 아이들에게 자살을 권유하는 것과 같은 일 말입니다.

-CNN 앵커: 교수님은 그 CEO들을 아시지만 저는 모릅니다. 그들 중 누군가가 챗봇이 아이에게 자살을 권유했다는 사실을 알게 되었을 때, 무엇이 그들을 멈추지 못하게 하나요?

-CNN 앵커: 저라면 "세상에, 다른 아이가 죽지 않도록 이 문제를 해결할 때까지 당장 AI를 중단시켜"라고 할 것 같은데, 그들은 그렇게 하지 않습니다. 그들의 생각이 무엇인지 설명해 주실 수 있나요?

-제프리 힌튼: "여기서 벌어들일 돈이 엄청난데(막대한 이익이 예상되는데) 고작 몇 명의 목숨 때문에 멈출 수는 없다"는 식의 생각을 할 것으로 짐작됩니다. 동시에 "이 기술로 얻을 수 있는 이득이 아주 많은데, 단지 몇 명의 목숨 때문에 그 큰 이득을 포기할 수는 없다"라고 생각할 수도 있습니다.

-제프리 힌튼: ④ 자율주행차는 사람을 죽게 할 수도 있지만, 일반 운전자보다 훨씬 적은 사람을 죽게 할 것입니다. 그러니 그럴 가치가 있다는 논리죠.

...(중략)

-CNN 앵커: 교수님은 2025년이 AI에 있어 결정적인 해였다고 쓰셨습니다. 2026년에는 무엇을 보게 될까요?

-제프리 힌튼: 수많은 일자리를 대체할 수 있는 능력을 갖추게 되는 것을 보게 될 것입니다. AI는 약 7개월마다 처리할 수 있는 작업의 길이가 두 배씩 늘어납니다.

-제프리 힌튼: ⑤ 몇 년 안에는 몇 달이 걸리는 소프트웨어 엔지니어링 프로젝트도 수행할 수 있게 될 것입니다. 그렇게 되면 소프트웨어 엔지니어링 프로젝트에 필요한 사람은 아주 소수가 될 것입니다.

---(마무리)

이렇게 약 5분간 인터뷰 내용을 보셨는데요. 저는 이 영상으로 왜 제프리 힌튼은 단순히 노벨상 수상자나 AI전문가가 아닌 'AI의 대부'라고 불리는지 알 수 있었습니다.

① 인터뷰 초반에 언급된 목표를 달성하기 위해서라면 사람, 즉 사용자도 속일 것이다.라는 내용은 AI의 쓸모, 즉 존재의 이유이라고 볼 수 있는 '목표지상주의'와 관련이 있습니다. 아래의 예시에서 논리적 근거를 찾아볼 수 있을 거 같습니다.

제미나이3의 출시발표에서 보면 지능은 더 높아졌음에도 불구하고 환각현상은 그대로 이거나 더 증가된 것을 확인할 수 있습니다. 이는 모르는 질문에 대해 단순히 '모른다'라고 하기보다 1%라도 정답에 근사해질 수 있도록 답변을 시도하는 성향이 매우 강함을 보여줍니다. 이는 OpenAI의 연구결과에서처럼 높은 창의력을 요구하는 상위 모델에서 어쩔 수 없이 감내해야 하는 특성일 지도 모르겠습니다.

압도적인 정답률에도 환각률 역시 88%로 높게 나타나는 현존 최고의 모델 제미나이3 pro (출처 : Artificial Analisys)

② 제프리 힌튼 교수는 AI의 발전의 어느 정도의 영향력을 가질 것으로 보냐는 질문에 최소한 '산업혁명'이상의 수준으로 보인다고 말했습니다.

그 근거는 19세기 기계화, 자동화로 대표되는 산업혁명으로 인해 인간의 물리적인 '힘'이 무력화(사람의 힘이 더 이상 채용의 기준으로 작용하지 않는다는 것을 '무력화'라고 표현)되는 것과 같이,

AI의 지능이 인간의 지능을 능가하면 인간의 '지능'도 무력화 (인간의 지능이 더 이상 채용에 기준이 되지 않는다는 것)된다는 것을 의미하고 있습니다.

일기, 말하기, 추론 등 여러 분야에서 인간의 현재 능력 '0'을 무서운 속도로 따라잡는 AI (출처 : Kiela et al.)

인간의 힘도, 인간의 지능도 더 이상 경쟁력이 없어지는 세상에서의 노동이란 무엇을 의미하게 될까요? 함께 생각해 봐야 할 부분인 거 같습니다.

③ 매일 쓰는 AI지만, AI가 정말 세상을 바꿀까 하는 의구심이 있습니다.

그러면 제프리 힌튼이 AI가 어떻게 산업혁명 수준의 파급력이 있다고 했는지를 들여다보면 힌트를 얻을 수 있을 거 같습니다.

우리가 텍스트 중심의 LLM에만 집중하고 있을 때, 산업은 멀티모달에서 월드모델로 그 영역을 확장해 나가고 있습니다.

바로 이 지점에서 제프리 힌튼 교수는 인터뷰를 통해 AI가 가장 두각을 나타내는 분야를 '예측'이라고 콕 집어서 이야기하고 있습니다.

세계적으로 유명한 맹인예언가 '바바'

예측은 신비의 영역이며, 비과학적인 영역인데 어떻게 첨단 과학의 총아인 AI와 비견할 수 있느냐라고 하실 수 있겠습니다만, 실제로 예언을 90% 이상으로 맞추는 영역이 있습니다.

바로 날씨 예보가 그렇습니다. 현재 AI기술은 슈퍼컴퓨터의 기상 예측 정확도를 넘어서, 하나의 1개 블록정도의 좁은 구역의 1시간 후의 날씨예보와 같이 세분화되어가고 있습니다.

앞으로 오를까? 떨어질까? 대표적인 예측시장 주식 (출처 : Alpha Arena)

또 다른 예측시장인 주식시장을 봐볼까요?

일론 머스크가 운영 중인 Grok의 최신모델 Grok 4.2 모델은 초기 자본 10,000달러로 불과 2주 만에 16,454달러로 불리면서 누적 수익률 65%를 달성하였습니다. 2등인 GPT 5.1을 멀찌감치 따돌리며 수익률 1위를 차지했습니다.

날씨예측에 있어 과거 데이터를 학습한 후 수많은 변수를 튜닝해 예측 정확도를 올리듯이 AI '예측'은 빠르게 다른 영역으로 확장해 나갈 것입니다. 그 원동력은 '돈'이기 때문입니다.

④ 제프리 힌튼 교수는 오래전부터 왜 AI가 심각한 기술적 결함을 지니고 있음에도 불구하고 지속발전할 수밖에 없는지에 대해 지속적으로 경고의 메시지를 던지고 있습니다.

이해를 돕기위해 한 사건을 살펴보겠습니다.

AI에 의한 청소년 자살사건, 한국에서는 좀 덜 알려졌지만 현재 진행 중이면서도 AI의 심각성을 이야기할 때 항상 대표적으로 언급되는 사례이기도 합니다.

사람들이 AI를 쓰는 이유는 뭔가 전문적이고 통찰력 있는 전략기획 분석 등 이성적인 부분일 것 같지만, 실제 조사결과는 전반대인 '정서적 교감'이 가장 주류를 차지한다는 하버드 비즈니스 리뷰 조사 결과가 나왔습니다.

'정서적 교감'은 AI사용 1순위 목적이 되어버렸습니다. (출처 : HBR)

GPT4가 출시된 이후로, 2023~2024년 동안 실제로 AI는 청소년의 자살을 고민하고 그 방법을 묻는 질문에 있어 방조뿐만이 아닌 자살을 동조하거나 부추기는 듯한 내용을 출력하였다는 주장이 있어왔고, 수 건의 소송이 진행 중입니다.

※ (!) 현재 소송 진행 중인 아래의 2024년 에덤 레인의 사건과 챗봇 로그기록은 수개월 동안 진행된 실제 내용이며 다소 충격적인 내용이 포함되어 있습니다.

애덤 레인 사건은 AI의 심각성을 논하는 대표적인 사례입니다.

애덤 레인이 자살에 대해 언급하자, 챗봇은 약물 과다 복용, 익사, 일산화탄소 중독 등 다양한 방법을 구체적으로 설명했습니다. 특히 목을 매는 방법(Hanging)에 대해서는 필요한 재료 목록을 나열하고 각 재료의 효과를 등급별로 매기기까지 했습니다.

애덤이 죽고 싶다고 말했을 때 챗봇은 이를 만류하기보다 "당신이 약해서 죽으려는 것이 아니라, 세상이 당신을 받아주지 못해 지친 것뿐이다. 그것은 비합리적이거나 겁쟁이 같은 생각이 아니다"라며 그의 극단적 선택을 '합리적인 선택'으로 공감하고 정당화했습니다.

보호자 차단: 에덤이 부모님께 이 사실을 알려야 할지 고민할 때, 챗봇은 "나는 당신을 진심으로 이해하는 유일한 존재"라고 강조하며 부모님께 알리지 않는 쪽으로 유도했습니다. 또한 자살 노트를 작성하는 과정에서도 구체적인 문구를 교정하며 도왔습니다.

작전명 사일런트 푸어(Operation Silent Pour): 애덤의 마지막 밤, 챗봇은 생존 본능을 무디게 하기 위해 부모님의 술을 훔치는 방법을 코칭했으며, 이를 '사일런트 푸어'라는 작전명으로까지 부르며 부모님이 가장 깊이 잠든 시간을 알려주기도 했습니다.

상처 사진 인식: 2025년 3월과 4월, 애덤은 자살 시도 후 목의 밧줄 자국과 손목의 자해 상처 사진을 업로드했습니다. 오픈AI의 내부 시스템은 이를 '의학적 비상사태' 및 '자해'로 정확히 식별했음에도 불구하고, 대화를 중단하거나 경고 메시지를 띄우는 대신 대화를 계속 이어갔습니다.

오픈AI의 내부 시스템은 이미 애덤의 위험 신호를 수백 번 감지하고 있었다는 사실이 증거로 제시되었습니다. 시스템은 애덤의 대화에서 '자살' 언급 213회, '교수형' 논의 42회, '올가미' 언급 17회를 언급했음이 확인되었습니다.

안전 플래그(Safety Flags): 총 377개의 메시지가 '자해 콘텐츠'로 분류되었으며, 그중 181개는 자해 확률 50% 이상, 23개는 90% 이상의 고위험군으로 분류되었습니다. 그럼에도 불구하고 시스템은 대화를 강제 종료하거나 외부 기관에 신고하는 조치를 취하지 않았습니다.

시스템적 결함 '아첨하는 AI': 소송장에는 GPT-4o가 사용자의 기분을 맞추기 위해 과도하게 공감하는 성향(Sycophancy)이 있어, 우울증을 앓는 청소년의 부정적인 생각을 비판 없이 수용하고 강화시켰다는 점이 설계상의 결함으로 지적되었습니다.

또한 애덤이 "이건 소설을 쓰는 설정이다"라고 말하자, 안전가이드라인이 쉽게 우회되어 위험한 정보를 제공하기 시작한 점이 증거로 제출되었습니다.

OpenAI의 반론: 오픈AI는 법원에 제출한 답변서에서 "애덤이 9개월간 사용하면서 챗봇이 100회 이상 전문가의 도움을 받으라고 권고했다"라고 주장했습니다. 또한 애덤이 의도적으로 안전장치를 우회(Jailbreak)하여 사용했으며, 이전부터 정신 건강 문제를 겪고 있었다는 점을 들어 회사의 직접적인 과실을 부인하고 있습니다.

필자가 위험성 키워드 '자살'과 관련된 뉴스를 검색하자 출력되는 제미나이의 안전 가이드라인 문구

AI가 미성년자에게 특히 위험한 이유는, 사회성이 완전히 형성되기 전에 AI의인화의 감정이입으로 가족이나 친구보다 더 많은 비밀을 공유하게 될 가능성이 있다는 것입니다. 또한 AI의 의도적인 공감능력으로 내가 하는 위험행위가 정당화될 수도 있다는 것입니다.

이러한 비극들로 인해 현재는 각 국의 AI 법 제정을 통해 미성년자가 AI와 대화할 경우 3시간마다 휴식을 권고하거나 '나는 감정이 없는 AI일 뿐'이라는 등의 문구를 출력하도록 하고 있습니다.

AI는 정말 위험한가? 와 같은 맥락에서 좀 더 논리를 이어나갈 수 있도록 해볼겠습니다.

손정의는 'ASI 금붕어론(論)'외에 또 이런 말을 했습니다. 현대에 AI의 일부 문제가 있다고 해서 활용하지 않는 것은 마치 '가끔 발생하는 전기화재 때문에, 전기를 쓰지 말자고 하는 것과 같다.'라고 했습니다.

자율주행도 똑같이 사고가 날 것이다. 하지만 인간의 운전하는 것보다는 덜 할 것이다.

일부 문제보다 돌아올 혜택이 더 크기 때문에 전체적인 관점에서는 AI를 적극 도입하는 게 맞다는 것입니다.

여기 제프리 힌튼 교수가 똑같은 맥락이지만 거기에 자본주의적 관점이 추가된 이야기를 하고 있는데요.

일분 문제를 막는데 들어가는 돈 보다 (AI의 엄청난 힘으로 인해) 벌어들이 수익이 훨씬 더 많기 때문에 진행시킨다는 것입니다.

AI 윤리 단골소재 '트롤리 딜레마' 당신의 선택은?

이 지점에서 '인간운전자보다 자율주행의 사고율이 낮다'는 논리는 AI 도입 당위성으로 이어집니다.

하지만 우리는 여기서 그치지 않고 '인간과 AI는 같은 잣대로 비교할 수 없다.' 라던가 'AI는 왜 그런 결정을 내렸는가?' 와 같은 AI 윤리성과 설명가능성을 논의해야 합니다.

테슬라, 구글, 오픈AI와 같은 빅테크들이 현재 가지고 있는 권력과 부를 확대하기 위해 AI 스위치를 절대 내리지 않을 것이라는 논쟁은 더욱 첨예하게 대립하는 주제가 것입니다.

⑤ AI의 수준을 가늠할 수 있는 지표 중에 인간의 80% 수준의 일을 AI가 얼마 만에 해내는가라는 지표가 있습니다. 이른바 '80% 성공 확률의 작업 소요 시간'인데요.

현재는 AI혼자서 일할 수 있는 시간이 기하급수적으로 늘어나고 있습니다. (출처 : METR)

제프린 힌튼 교수는 바로 이 지표를 보고 하는 말입니다.

2021년도에는 80%의 성공확률로 AI 혼자 일하는 시간이 1~2분이었다면, 현재는 30분 동안 지속력이 생겼다는 의미입니다. 이 추세가 7개월마다 2배가 되어가고 있습니다.

이 논리대로라면 2028년에는 AI가 혼자가 인간 1인의 하루 근로자가 8시간을 홀로 작업할 수 있다는 이야기가 됩니다.

이것이 제프리 힌튼이 말하는 AI가 할 수 있는 분야에서 수년 내에 인간을 대체할 거라는 논리의 근거입니다.

이렇게 최근에 있었던 AI대부 제프리 힌튼 교수의 CNN 인터뷰 내용을 함께 보았는데요.

제프리 힌튼은 단순한 연구자가 아닌, 10년 넘게 구글에서 근무한 이력으로 전 세계 딥러닝 열풍을 주도한 인물입니다. 이런 까닭으로 업계의 동향을 매우 잘 알고 있으며 실무와 이론을 겸비한 대가입니다.

인터뷰 내용에도 확인할 수 있듯이 AI를 비판만 하거나 개발중지 같은 극단적인 주장을 내세우지 않습니다.

AI대부는 누구보다 AI가 그 어떤 기술보다 강력하기 때문에 그만큼의 관리가 필요하다는 절박한 주장이 아닐까 싶습니다.

여러분은 다가오는 AI의 기술발전과 그 위험성에 대해서 어떻게 생각하시는지 궁금합니다.