brunch

You can make anything
by writing

C.S.Lewis

by delight May 06. 2024

AI 개발의 현실적인 한계가 다가오고 있다

학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 의미 전달이 애매한 일부 문장은 삭제했습니다. 이번에는 독립 저널리스트인 Will Lockett가 미디엄에 공유한 글을 정리한 것입니다.

지난 몇 달 동안 AI를 둘러싼 과대 광고가 넘쳐났다. 테슬라가 1~2년 안에 완전히 스스로 운전하고, 내년에는 AI가 인간보다 더 똑똑해질 것이며, 2040년에는 10억 대 AI 기반 로봇 군단이 인간 노동자를 대체할 것이라는 등은 올해 현재 엘론 머스크가 한 AI 관련 약속들일 뿐이다.

AI 산업 전체가 이같은 예측과 약속으로 가득 차 있고, AI 개발은 인간이 멈출 수 없는 기하급수적인 궤도를 달리고 있는 것처럼 느껴진다 .하지만 이는 사실과 거리가 멀다. AI는 수익률 감소라는 개발 한계에 부딪히기 시작하면서 이러한 화려한 약속은 완전히 공허한 것이 되고 있다.

이 문제를 이해하려면 AI 작동 방식에 대한 기본 원리를 이해해야 한다. 최신 AI는 딥러닝 알고리즘과 인공 신경망(artificial neural networks)을 사용해 데이터 트렌드를 찾는다. 그리고 이들 데이터에서 추론하거나 동일한 추세선을 따라 새로운 데이터를 생성할 수 있다. 이는 분석을 위해 방대한 양의 데이터를 입력해 이러한 추세를 찾을 수 있도록 AI를 '학습'시키는 것에서 시작된다. 이후 AI에 결과를 쿼리할 수 있다. 이 기본 개념은 컴퓨터 비전, 자율 주행 자동차, 챗봇 및 생성AI의 원동력이다.

지난 몇 년 동안 AI 능력은 크게 향상되었다. 이는 부분적으로는 더 나은 프로그래밍과 알고리즘 개발 덕분이지만 90%는 AI가 훨씬 더 큰 데이터셋을 학습한 것에 따른 것이이다. 이를 통해 데이터 트렌드를 더 정확하게 이해할 수 있고, 따라서 더 정확한 결과를 도출할 수 있다. 하지만 문제는 데이터와 필요한 연산 능력 측면에서 AI 학습의 수익(returns) 급격히 감소하고 있다는 점이다.

데이터부터 살펴보자. 개와 고양이를 인식하도록 설계된 간단한 컴퓨터 비전 AI를 구축하고 100마리 개와 고양이 이미지, 동영상을 사용해 학습시킨 결과 60% 확률로 정확하게 식별할 수 있다고 가정해 보자. 훈련 이미지와 비디오 수를 200개로 두 배 늘리면 인식률이 향상되지만 65% 정도로 소폭 향상될 뿐이다. 훈련 이미지와 비디오 수를 다시 두 배로 늘려 400개로 늘린다면 인식률은 67.5%로 보다 향상될 것이다.

데이터셋이 커질수록 전체 데이터셋에 적합한 새롭고 신선한 트렌드와 연결 고리를 찾는 것은 점점 더 어려워진다. 더 큰 데이터셋에서 이러한 새로운 트렌드와 연결고리를 찾아내면 AI는 더 나은 능력을 발휘할 수 있다. 이에 따라 우리는 AI 학습의 수익이 감소하는 지점에 도달함에 따라 AI를 일정 수준까지 향상시키는 데 필요한 학습 데이터 양이 급격히 증가하는 것을 목격하고 있다.

하지만 또 다른 문제가 있다. AI 학습은 엄청난 연산량을 필요로 한다. AI는 이러한 연결과 추세를 찾기 위해 각 개별 데이터 포인트를 세트 내 다른 모든 데이터 포인트들과 비교해야 한다. 즉, AI 학습 데이터베이스에 데이터를 추가할 때마다 해당 데이터베이스에서 AI를 학습시키는 데 필요한 계산 작업의 양이 기하급수적으로 증가한다. 따라서 계속 발전하는 AI를 학습시키는 데 필요한 방대한 양의 데이터를 확보할 수 있다고 해도, 결국에는 이를 위한 물리적 컴퓨팅 성능과 에너지의 양이 불가능할 정도로 커질 것이다.

안타깝게도 학습 데이터셋 증가에 따른 수익 감소와 데이터셋 사용에 필요한 컴퓨팅 파워의 기하급수적인 증가가 AI 개발에 상한선(hard ceiling)을 강요하는 단계에 이르렀다는 증거가 있다.

OpenAI GPT4를 예로 들어보자. GPT4가 GPT3 대비 개선된 폭은 GPT3가 GPT2 대비 개선된 폭보다 작았다. 더 정확해졌음에도 불구하고 여전히 챗GPT와 같은 사실에 대한 착각과 이해 부족이라는 문제를 안고 있다.

현재 OpenAI는 AI 개발 방식에 대해 함구하고 있지만, 전문가들 조사에 따르면 GPT3는 GPT2보다 약 78배 더 큰 훈련 데이터셋을 사용했고 GPT4는 GPT3보다 571배 더 큰 데이터셋을 사용했다. 하지만 이렇게 훈련 데이터셋 크기가 크게 증가했음에도 GPT4에는 여전히 사용을 크게 제한하는 중대한 결함이 있다.

일부 추산에 따르면 GPT4 원래(Raw) 훈련 데이터셋은 45TB 일반 텍스트로 구성돼 있다. 즉, 다음 버전이 GPT4가 GPT3에 비해 개선된 만큼 좋아지려면 학습 데이터셋이 수만 TB가 되어야 한다는 뜻이다. OpenAI가 이 정도 일반 텍스트 데이터를 수집하고 준비하는 것은 비현실적인 일이다. 그러나 실제로 이 데이터셋을 사용해 AI를 학습시키려면 너무 많은 에너지를 사용해야 하므로 그 비용은 실행 불가능한 것일 수 있다.

이는 과장된 말이 아니다. OpenAI CEO인 샘 알트먼은 첨단 AI를 실현하기 위해서는 핵융합과 같은 에너지 혁신이 필요하다고 말한 바 있다. 안타깝게도 핵융합이 실현되더라도 이번 세기나 심지어 다음 세기에도 현재 에너지보다 저렴할 가능성은 높지 않다. 사실, 어떤 형태 에너지도 현재 우리가 가지고 있는 에너지보다 훨씬 저렴해질 가능성은 없다. 따라서 AI 에너지 문제에 대한 이 제안은 매우 잘못된 해결책이다.

이러한 관점은 몇 가지 매우 중대한 연구 결과를 통해 뒷받침된다.매사추세츠 애머스트 대학교 한 연구에서는 이미지 인식 AI 성능을 95% 이상 정확도로 향상시키는 데 드는 계산 및 에너지 비용을 조사했다. 연구팀은 이러한 모델을 훈련하는 데 1000억 달러 비용이 들고 뉴욕시가 한 달 동안 배출하는 탄소 배출량과 맞먹는 양이 발생한다는 사실을 발견했다.

이는 여전히 5% 확률로 치명적인 오답을 내는 AI를 위한 수치라는 점을 염두에 두어야 한다. 이 연구는 또한 정확도를 99%로 높이려면 기하급수적으로 더 많은 비용과 탄소 배출이 필요하다는 점을 강조했다. 이것이 바로 Tesla가 현재 접근 방식으로는 완전한 자율 주행 자동차를 개발하지 못하는 이유다. 오토파일럿과 FSD는 이런 유형 AI 컴퓨터 비전을 통해서만 주변 환경을 감지할 수 있으며, 완전 자율주행을 위해서는 이미지 인식 정확도가 100%에 가까워져야 한다. 이 연구에서 알 수 있듯이, 테슬라조차도 AI를 그 정도 수준으로 끌어올리기 위해서는 훨씬 더 많은 돈이 필요할 수 있다.

즉, AI 업계가 AI 학습과 연산 부하를 더 효율적으로 처리할 수 있는 방법을 찾지 못하면 이 한계를 극복할 수 없을 것이며, AI 개발은 완전히 정체될 것이다. 현재 아날로그( analogue) 및 양자 기술을 통합한 훨씬 더 효율적인 AI 하드웨어와 훨씬 적은 학습 데이터셋이 필요한 새로운 AI 아키텍처와 같은 가능한 해결책이 곧 등장할 것이다. 그러나 이러한 개념은 아직 초기 단계에 있으며, 현실 세계에서 사용되기까지는 수십 년이 걸릴 수 있다.

요컨대, 향후 몇 년 동안 AI가 기대에 크게 미치지 못할 수 있다는 점에 대비해야 한다.

keyword