생성AI 열기가 좀 가라 앉으면 벌어질 일들
학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 의미 전달이 애매한 문장은 삭제했습니다. 이번에는 Vishal Rajput이 미디엄에 공유한 글을 정리한 것입니다.
지난 수십 년 동안 AI보다 더 큰 노이즈(noise)을 낸 것은 없다고 생각한다. 자세히 보면 대부분이 완전히 무시했던 몇 가지 좋은 돌파구들이 있었지만 많은 것들은 단지 노이즈일 뿐이다. AI를 둘러싼 과열(hype) 사이클은 새로운 현상이 아니며 AI에만 국한된 것도 아니다. 우리는 많은 새로운 기술들에서 이러한 현상을 봐왔다.
ChatGPT 출시로 모든 것이 크게 바뀌었고, AI는 모든 비즈니스에서 화두가 됐다. 그러나 노이즈가 항상 좋은 것은 아니며, 이러한 과열 속에서 많은 중요한 것들은 간과되고 있다. 이번에는 AI 기술과 비즈니스 측면에서 어떤 일이 일어나고 있는지 살펴보자. 이번 글에서는 주로 생성 AI만 다룬다. 지난 1년 동안 가장 많은 과열이 있었던 것이기 때문이다.
LLM에 대한 관점은 크게 세 가지로 나뉜다. 자세히 살펴보자.
입장1 (회의론)
촘스키와 같은 몇몇 과학자들은 LLM을 지능과 전혀 다른, 고도로 발전된 통계 도구로 간주한다. 이들 기계는 너무 많은 데이터를 봤기 때문에 우리가 제기할 수 있는 모든 질문에 답을 줄 수 있다는 관점이다. 수학적으로, 이들 기계는 우리가 생각해낼 수 있는 모든 질문에 대한 조건부 확률을 계산했다.
나의 견해: 여기서 결함은 데이터 모델링이 인지적 측면에서 특정 측면을 모방하는데 있어 미묘한 방식들을 과소평가하는 것일 수 있다. 이것은 진정한 이해와는 다르다. 우리는 끊임없이 다양한 감각을 통해 데이터를 공급받고 있다. 따라서 이해와 이해의 모방을 구분하려면 다른 유형 지능을 개발해야 할 수도 있다.
입장2(희망적인 통찰,Hopeful Insight)
일리야 수츠케버(ChatGPT 창시자)와 힌튼은 LLM이 인간 경험을 반영하는 내부 모델을 개발했다고 주장하는 것 같다. 그들 입장은 인터넷상에 있는 텍스트가 인간 생각과 경험을 반영하는 표현이기 때문에, 이 데이터에 대한 다음 토큰을 예측하도록 학습으로써 이러한 모델이 어떻게든 인간 세계와 경험에 대한 이해를 구현했다는 것이다. 이들 모델은 진정한 의미에서 지능적이 되었거나, 적어도 지능적으로 보이며 인간이 하는 것처럼 월드 모델을 구현했다.
나의 견해: 이것은 복잡한 데이터 처리를 진정한 이해로 오해한 것이고 이러한 모델에 의식적인 경험이나 자기 인식이 없다는 점을 간과해 LLM의 깊이를 과장하는 것일 수 있다. LLM이 이러한 내부 세계 모델을 구축했다면, 왜 이러한 내부 세계 모델과 일치해야 하는 비교적 간단한 작업에서 실패하는 것일까?
입장3(실용주의)
르쿤과 캄밤파티를 비롯한 많은 과학자들은 LLM을 강력한 보조 도구로 간주하지만, 인간과 같은 지능을 가진 독립체 또는 경험이나 내부 세계 모델 측면에서 인간 지능에 근접한 것으로는 보지 않는다. LLM은 기억력과 검색 능력 면에서는 인상적이지만, 진정한 추론과 이해 능력은 부족하다. 이들은 LLM이 의인화되거나 인간과 같은 지능을 가진 것으로 오해되어서는 안 된다고 생각한다. LLM은 글쓰기와 같은 작업을 돕는 “인지적 보조 장치”로서 탁월하지만, 인간과 유사한 시스템2 사고와 같은 심층적인 추론 프로세스는 부족하다.
LLM은 인간 시스템 1(반사적 행동)과 유사하지만 시스템 2(숙고적 추론) 요소는 부족하다. 심층적이고 숙고적인 추론과 근본 원리에 기반한 문제 해결 능력을 갖고 있지 않다. 이들은 미래 AI 발전은 근본적으로 다른 원리에 의존할 것이며, AGI 출현은 단순히 확장을 통해 달성될 수 없다고 믿는다. 르쿤은 심지어 다음과 같이 말했다. LLM에 관여하지 말라.
나의 견해: LLM과 관련된 모든 발전들에서 일부 요소는 분명 차세대 시스템 일부가 될 것이다. 미래 시스템에 무엇이 포함될지는 정확히 알 수 없지만, 과거 발전 일부 잔재는 분명 그 일부가 될 것이다.
추세 트렌드는 근거 없는 추측이다
AI는 다른 분야와 다르지 않다. 어떤 지수적 추세도 무한정 지속될 수 없다는 것은 확실하다. 그러나 기술 추세가 정체될 때를 예측하기는 어려울 수 있다. 성장이 점진적으로 멈추는 것이 아니라 갑자기 멈추는 경우에는 더욱 그렇다. 추세선 자체에는 정체될 것이라는 단서가 없다.
2000년대 CPU 클럭 속도와 1970년대 비행기 속도가 대표적인 사례들이다. CPU 제조업체들은 클럭 속도를 더 높이는 데 비용이 너무 많이 들고 대부분 무의미하다고 판단했다. (CPU가 더 이상 전체 성능에 병목 현상이 아니었기 때문이다). 그리고 이런 차원에서 경쟁을 중단하기로 결정했고, 이로 인해 클럭 속도에 대한 상승 압력이 갑자기 사라졌다. 비행기의 경우 얘기는 좀 더 복잡하지만, 속도보다 연료 효율성을 우선시하는 시장으로 귀결된다.
합성 데이터는 생성AI에서 지속적인 확장을 위한 방법으로 종종 제시된다. 다시 말해, 현재 모델을 사용해 차세대 모델을 위한 학습 데이터를 생성할 수 있다는 것이다. 그러나 우리는 이것이 오해라고 생각한다. 개발자들이 학습 데이터 양을 늘리기 위해 합성 데이터를 사용한다고는 생각하지 않는다.(또는 사용할 수 있다고 생각하지 않는다.). 무작위로 생성된 합성 훈련 데이터가 고품질 인간 데이터를 사용하는 것과 동일한 효과를 낼 가능성은 거의 없다.
2016년 바둑 세계 챔피언을 이긴 알파고와 그 후속 모델인 알파고 제로와 알파제로처럼 합성 학습 데이터가 매우 성공적인 사례도 있다. 그러나 이런 방식이 모든 문제에 적용되는 것은 아니다.
우리는 현재 시스템이 실제로 얼마나 좋은지 나쁜지 전혀 알 수 없다?
현재 최첨단 에이전트 아키텍처는 복잡하고 비용이 많이 들지만, 경우에 따라 50배씩이나 저렴한 매우 단순한 기본 에이전트들보다 정확도가 높지 않다. 매개변수 수와 같은 비용에 대한 대략적인 수치는 주어진 작업에 가장 적합한 시스템을 식별하는 것이 목표인 경우 오해의 소지가 있다. 대신 직접적인 달러 비용을 측정해야 한다.
LLM은 확률적이다. 단순히 모델을 여러 번 호출하고 가장 일반적인 답변을 출력하는 것만으로도 정확도를 높일 수 있다. 일부 작업의 경우, 정확도를 향상시킬 수 있는 추론 연산량에는 제한이 없는 것처럼 보인다. 자동화된 코딩 평가 정확도를 향상시킨 Google Deepmind AlphaCode는 LLM을 수백만 번 호출할 때도 이러한 경향이 유지된다는 것을 보여주었다.
에이전트를 평가할 때 유용한 질문은 다음과 같다. 비용은 얼마였나? 비용 통제 비교를 하지 않으면 연구자들이 순위에서 1위를 차지하기 위해 막대한 비용을 들여 에이전트를 개발하도록 하는 결과로 이어질 수 있다.
실제로, 연구자들이 2023년 코딩 작업을 해결하기 위해 제안된 에이전트를 평가했을 때, 비용과 정확도 사이 균형을 시각화하면 놀라운 통찰력을 얻을 수 있다는 것을 발견했다. 가장 놀라운 결과는 HumanEval을 위한 에이전트 아키텍처가 보다 많은 비용이 들어감에도 우리의 보다 간단한 모델을 능가하지 못한다는 것이다. 실제로, 에이전트는 비용 측면에서 크게 다르다.: 거의 비슷한 정확도를 위해, 비용은 거의 두 배 정도 차이가 날 수 있다!
근본적인 문제는 다른 데 있다. 우리는 과학적인 이론이 없다
우리 시스템은 여전히 기본적인 오류를 범하고 있다. 오해하지 말라. 현재 시스템은 할 수 있는 일들 측면에서 훌륭하다. 나는 신경망이 작동한다는 사실에 매일 경외감을 느낀다. 일리아 수츠케버도 같은 말을 했다. 행렬 곱셈의 무리들이 이 모든 놀라운 일들을 할 수 있다.
문제는 우리가 비슷한 유형 시스템을 구축하고 있을 뿐이고, 실제 발전으로 이어질 수 있는 이론적 이해가 부족하다는 것이다. 실제로 LLM의 본질과 내부 작동에 대해 이야기하는 논문은 소수에 불과하다.
우리는 이러한 시스템을 이해할 수 있는 이론이 부족하기 때문에, LLM에 관한 연구 논문 대부분운 실제로 이 분야를 발전시키는 데 거의 쓸모가 없다. 이러한 시스템에 대한 고유한 메커니즘을 이해하지 못하면 진정한 지능형 시스템을 만들 수 없다고 생각한다.
나는 이 모든 것을 할 수 있는 단일 알고리즘은 없을 것이라고 생각한다. 하지만 다양한 시나리오에서 작동할 수 있는 다양한 유형 도구와 프로세스를 갖춘 지능적으로 설계된 기계 또는 알고리즘은 우리를 다음 단계의 지능으로 이끌 것이다.
경제적인 문제
AI의 가장 큰 문제는 경제성이다. 많은 사람들이 이러한 시스템을 만들고 이러한 기술을 기반으로 제품을 만드는 경제성을 이해하지 못한다.
많은 회사들이 AGI를 달성하겠다는 목표를 공개적으로 밝혔다. AGI를 구축하기 위해 7조 달러를 모으겠다는 샘 알트먼의 터무니없는 주장을 기억하나? 하지만 이제 그들 사명이 약간 변경된 것을 알 수 있다. 어떤 시스템도 적절한 사용 사례가 없으면 진공 상태에서 존재할 수 없다. 인류를 변화시킬 무언가를 구축하기 위해 단순히 돈을 투자할 수는 없다.
재정적인 측면을 좀 더 분석해 보자. 우리가 사랑하는 샘 알트먼에게 7조 달러를 기부한 후 AGI를 갖게 되었다고 가정해 보자. 정의에 따르면, AGI는 대부분 인간이 하는 모든 종류의 작업을 수행할 수 있다. 만약 그런 시스템이 구축된다면, 인간은 무엇을 할 수 있을까? 그들은 사고팔 수 있는 것이 아무것도 없을 것이다. 여러분이 이 AGI로 최고 제품을 만든다고 가정해 보자. 아무도 그것을 살 돈이 없을 것이고, 아무도 살 돈이 없다면, 이런 시스템은 살아남지 못할 것이다. 이런 시스템조차도 상당한 양의 자원을 필요로 할 것이다.
여러분 중 몇몇은 보편적 기본 소득(UBI)에 대해 논쟁을 벌일지도 모르겠지만, 그렇게 하려면 서비스와 제품을 판매해야 한다. 일자리가 없다면 어떻게 세금을 내고 UBI를 위한 충분한 재정을 마련할 수 있을까? AGI가 대규모로 배치되면 대부분의 인간이 일자리를 잃게 되어 한 국가의 전체 금융 순환이 붕괴될 것이다. 로봇이 욕구를 가진 소비자가 되지 않는다면, 경제 시스템은 전 세계적으로 붕괴될 것이다.
가상적인 AGI 사용 사례는 잊어버려려. 현재도 기업들은 AI라는 이름으로 모든 것을 판매하고 있다. 최근에 나는 농담 삼아 AI로 판매되지 않는 것을 말해 보라고 말했다. 스타트업 절반은 OpenAI API의 겉포장일 뿐이고, 사업성이 없고, VC 돈을 태우고 있을 뿐이며, 변화하는 추세가 이미 눈에 띄게 나타나고 있다. AI의 마법은 서서히 사라지고 있다. AI가 성장하고 있는 것처럼 보이는 다양한 차트를 제시할 수 있을 것이다. 그러나 더 이상 기하급수적으로 성장하고 있는 것은 아니다.
AI 버블이 붕괴되는 원인은 무엇일까?
AI 버블 붕괴 원인은 다음과 같은 여러 가지 요인에 의해 발생할 수 있다.
지속 불가능한 가치 평가. 지나치게 높은 가치를 지닌 AI 기업은 높은 가치 평가를 정당화할 만한 수익이나 성장 잠재력을 가지고 있지 않을 수 있다.
수익성 있는 수익원 부족. 많은 AI 회사들이 AI 투자로 인한 상당한 수익 증가를 보여주지 못하고 있다. 명확한 수익화 전략이 없다면, 지속적인 과도한 지출은 지속 불가능해질 수 있다.
규제 문제. AI 안전, 윤리, 데이터 프라이버시와 관련된 조사와 규제가 증가하면 AI 개발 추진력이 둔화되고 기업 가치 평가에 영향을 미칠 수 있다.
경제 침체. 광범위한 경제 침체는 AI에 대한 투자를 감소시켜 주가 하락을 더욱 악화시킬 수 있다.
AI를 통해 돈을 벌지 못할 기업은 없을 것이라고 말하는 것은 아니지만, 돈을 벌 수 있는 기업은 극히 일부에 불과할 것이다. NVIDIA와 같은 기업과 핵심 기술을 구축하는 다른 주요 기업들은 막대한 수익을 올릴 것이고, 나머지는 몇 년 안에 사라질 것이다. AI로 문제를 실제로 해결하기 전까지는 돈을 벌 수 없다. 현재 많은 기업들이 기술을 보유하고 있지만, 문제가 없는 상태에 있다. 성공적인 비즈니스를 구축하기 위해서는 그 반대여야 한다. 모든 비즈니스가 카테고리 창출에 해당되는 것은 아니다.
기억해야 할 또 다른 사항은 모든 기술이 적응에 의해 제한된다는 것이다. 사람들이 얼마나 빨리 그것을 파악하고 새로운 제품과 서비스를 창출하는 데 사용할 수 있는지에 달려 있다. 최근 업워크 리서치 인스티튜트(Upwork Research Institute)는 전 세계 최고 경영진, 정규직 직원, 프리랜서 2,500명을 대상으로 인터뷰를 진행했다. 그 결과, AI 영향력에 대한 낙관적인 기대와 많은 직원들이 직면한 현실이 일치하지 않는다는 사실이 밝혀졌다. 이 연구는 관리자의 높은 기대치와 AI를 사용하는 직원의 실제 경험 사이에 괴리가 있음을 확인했다.
최고 경영진 96%가 AI가 생산성을 향상시킬 것으로 기대하고 있음에도 불구하고, 이 연구에 따르면 AI를 사용하는 직원 77%가 AI가 업무량을 늘리고 예상되는 생산성 향상을 달성하는 데 어려움을 겪고 있다고 답했다. AI는 정규직 직원 업무량을 증가시킬 뿐만 아니라 생산성을 저해하고 직원들 번아웃을 촉진한다.
설상가상으로, AI를 사용하는 직원 거의 절반(47%)이 고용주가 기대하는 생산성 향상을 달성하는 방법을 모른다고 답했으며, 40%는 AI와 관련하여 회사가 너무 많은 것을 요구한다고 느꼈다. 근로자들은 생산성 요구 증가로 인한 부담을 느끼고 있으며, 정규직 근로자 3명 중 1명은 과로와 소진으로 인해 향후 6개월 내에 직장을 그만둘 것이라고 답했다. 이 연구가 얼마나 정확한지, 또는 특정 통계를 도출할 만큼 충분한 규모인지 여부는 모르겠지만, 내가 전달하고자 하는 것은 기술의 능력은 대중의 사용에 의해 제한된다는 것이다. 우리는 수학 분야에서 상당한 진전을 이루었지만, 그렇다고 해서 더 많은 사람들이 수학적으로 능숙해진 것은 아니다. 모든 기술은 사용자에 의해 제한된다.
AI 분야 다음 단계는 무엇일까?
확장성을 통해 더 많은 기능 향상을 기대할 수 없다는 가능성에 대한 한 가지 징후는 CEO들이 AGI에 대한 기대치를 크게 낮추고 있다는 것이다. 안타깝게도, 그들은 순진하게 “3년 안에 AGI”라는 예측이 잘못되었다는 것을 인정하는 대신, AGI가 의미하는 바를 너무 많이 희석시켜서 이제 의미가 없도록 함으로써 체면을 구하려고 한다. AGI가 애초에 명확하게 정의되지 않았기 때문에 여기에 도움이 됐다.
일반성을 이분법으로 보는 대신, 스펙트럼으로 볼 수 있다. 역사적으로 컴퓨터가 새로운 작업을 프로그래밍하는 데 필요한 노력의 양은 감소해 왔다. 우리는 이것을 일반성의 증가로 볼 수 있다. 이러한 추세는 특수 목적 컴퓨터에서 튜링 기계로 이동하면서 시작되었다. 이런 의미에서 LLM 범용성은 새로운 것이 아니다.
따라서, AI 분야 다음 단계는 AI와 관련된 제품 및 서비스에 대한 관심이 희석되는 것이다. 빠르게 돈을 벌기 위해 이 분야에 뛰어든 많은 사람들이 곧 매우 나쁜 상황에 처하게 될 것이다. 그들 중 많은 사람들이 다시 다른 분야로 전환할 것이다. 이 분야에 진정으로 관심이 있는 소수의 사람들만이 통제 가능한 AI 시스템을 구축하기 위해 남아 있을 것이며, 문제별로 특성화되고 설명 가능한 새로운 유형 시스템을 개발할 것이다. 나는 개인적으로 우리가 이해할 수 있고 예측할 수 있을 뿐 아니라 통제할 수 있는 시스템을 볼 수 있기를 바란다.
나는 진심으로 이러한 시스템에 대한 알고리즘적 이해가 더 발전되기를 바란다. 현재 시스템은 너무 취약해서, 언제쯤이면 충분히 신뢰할 수 있을지 알 수 없다. 나는 이러한 노력으로 큰 발전을 이룬 몇 가지 흥미로운 논문들을 다시 한 번 소개하고자 한다.
많은 응용 프로그램에서 신뢰는 중요한 요소다. 기계가 결정을 제대로 설명할 수 없다면 사용이 제한될 것이다. 신뢰 외에도 많은 문제들이 있다. 기계가 예상치 못한 행동을 할 때 어떻게 해야 할까? 어떻게 제어할 수 있을까? 기계 사고의 책임은 누구에게 있을까? 이것들은 대답하기 쉽지 않은 질문들이다. 솔직히 우리는 AGI가 아니라 인간을 더 생산적으로 만들어 주고, 삶에 대해 더 많이 생각하게 하고, 단절된 상태가 아닌 연결된 상태에 있다는 것을 느끼게 해 주는 인간 증강 지능이 필요하다.
AI 제품과 서비스의 무분별한 확산은 해결하고자 하는 것보다 더 많은 문제를 야기했다.
이 블로그를 두 가지 예로 마무리하겠다. 우선 AI친구들과 여자친구들(AI friends and girlfriends)이다. 이것은 AI의 가장 쓸모없는 사용 사례다. 절대 일반화되어서는 안 되며, 극단적인 정신 건강 문제가 있는 경우에만 권장되어야 한다. 이러한 규제 없는 공간은 정신적으로 훨씬 더 고통스럽고 단절된 집단을 만들어 낼 것이다.
두 번째는 교육에서의 AI다. 모든 AI 도구들을 사용해도 사람들은 더 똑똑해지지 않고, 오히려 주의 집중 시간이 훨씬 짧아지고 학습에 보내는 시간이 줄어들고, 정신이 산만해진다. 지금은 이러한 도구를 극도로 효율적으로 사용할 수 있는 사람이 거의 없다는 것을 알고 있다. 그러나 대부분의 경우, 절약된 추가 시간은 더 생산적인 일에 쓰지 않고 더 쓸모없는 일과 오락에 낭비된다. AI 도구를 통해 절약된 시간과 노력은 주로 산만함에 소비된다. 따라서, 대체로 아무것도 움직이지 않는다. GPT가 출시된 이후로, 대부분의 사람들은 좋은 작가나 소설가가 되지 못했다. 실제로는 그 반대다. 사람들은 언어와 글쓰기 기본조차 잃어버렸다.
