AI시대, 앞으로 다가올 10년 - Chapter 02

ChatGPT 발전의 역사.

안녕하세요. 전 OAI 연구원의 글 : 앞으로의 10년 (AI의 미래)의 분석 글입니다.

<<The Decade Ahead, 앞으로의 10년>> 중 오늘은 Chat GPT의 그동안의 성장과 앞으로의 성장에 대해서알아볼 예정입니다. 미래를 알기 위해서는 과거에 어떻게 발전했는지 들여다보는게 확률을 높이는 방법일수도 있습니다.

Summary

AGI by 2027 is strikingly plausible. GPT-2 to GPT-4 took us from ~preschooler to ~smart high-schooler abilities in 4 years. Tracing trendlines in compute (~0.5 orders of magnitude or OOMs/year), algorithmic efficiencies (~0.5 OOMs/year), and “unhobbling” gains (from chatbot to agent), we should expect another preschooler-to-high-schooler-sized qualitative jump by 2027.

위 요약에 따르면

AGI의 성장은 2027년 한번의 엄청난 도약이 예상 된다고 합니다.

그 이유는 총 3가지 이유 인데요.

1. Tracing trendlines in compute (~0.5 orders of magnitude or OOMs/year)

컴퓨팅 성능의 추세를 추적하면, 매년 약 0.5 로그 규모(OOM, Orders of Magnitude)씩 증가하고 있습니다.

컴퓨터의 성능의 발전이 극도로 이루어지는 패턴이 있다는 얘기인데요. 뒤에서 자세히 0.5로그의 규모까지 설명드리겠습니다.

2. Algorithmic efficiencies (~0.5 OOMs/year)

알고리즘 효율성은 매년 약 0.5 로그 규모의 개선이 이루어지고 있습니다.

알고리즘이 그동안 어떻게 얼마나 발전했는지 파헤쳐볼 생각입니다.

3. “Unhobbling” gains (from chatbot to agent)

챗봇에서 에이전트로의 전환과 같은 "제약 해제"를 통해 잠재력을 더 크게 발휘할 수 있습니다.

제약 해제? 라는 말이 헷갈리는데요. 규제 등 따위의 제도적, 정치적 이야기를 뜻하는 것 같습니다.

3가지 이유를 조금 더 면밀하게 분석해보겠습니다.

---

이유 1. Tracing trendlines in compute (~0.5 orders of magnitude or OOMs/year)

10년 전에 ChatGPT 같이 컴퓨터에게 말을 걸면 모든 것을 알려주는 인공지능 프로그램이 개발하고 있다고 주장했으면 과연 사람들은 반응은 어떠했을까요? 대부분은 미친 사람이라고 했겠죠.

하지만 10년 전부터 그 트렌드라인을 만들어오거나 예측해온 사람들이 있었습니다. 그리고 그들을 옳았습니다. but all they did was trust the *trendlines. The situational awareness 8 trendlines are intense, and they were right.

* trendline : 여기서 "트렌드 라인"은 인공지능 개발의 주요 요소들(컴퓨팅 파워, 알고리즘 효율성, 모델의 학습 능력 등)이 시간에 따라 일정한 속도로 발전하고 있다는 예측 가능한 경향을 의미합니다.

그리고 이렇게 주장합니다.

2027년까지 AI 모델이 AI 연구자나 엔지니어의 작업을 수행할 수 있을 가능성이 매우 높다.

ChatGPT는 현재 많은 상담원을 대체했습니다. 초창기 당시에 아무도 믿지 않았지만 상담원은 이미 많이 대체 되고 있습니다. 그리고 2027년에는 연구자 역할을 대체할 수도 있다는 생각입니다. 그 이유는 아래와 같습니다.

2018년부터 발전해온 ChatGPT의 effective compute 발전

effective compute라는 수치가 2018년부터 쭉 발전해오는 그래프를 볼 수 있습니다.

과거와 미래가 모두 발전되는 방향을 가르키고 있고 또 예측하고 있습니다.

2018년 ChatGPT-2는 미취학 아동

2021년 ChatGPT-3는 초등학생 수준

2023년 ChtgGPT-4는 똑똑한 고등학생 수준으로 발전해왔습니다.

effective compute가 도대체 뭘까요?

Effective compute는 하드웨어의 계산 능력과 알고리즘의 효율성을 함께 고려하여 간접적으로 측정합니다.

Effective Compute=FLOPS/s (하드웨어 성능)×알고리즘 효율성

어려운 수식입니다만, 하드웨어 성능의 발전과 알고리즘 효율성의 향상에 영항을 받는 계수입니다.

예를 들어 어떤 계산을 위해서 알고리즘 효율성으로 시간을 2배 단축시킨다고 하면 성능에서 엄청난 향상이 일어나게 됩니다.

그동안의 발전의 역사를 보았을 때, 앞으로의 5년간의 발전은 엄청난 발전이 생길거라는 예측이 됩니다.

데이터에 따르면 향후 4년간 약 100,000배의 효과적인 컴퓨팅 확장이 기대되며, 이는 또 하나의 GPT-2에서 GPT-4로의 질적 도약에 해당합니다. (We are racing through the OOMs extremely rapidly, and the numbers indicate we should expect another ~100,000x effective compute scaleup)

또 하나의 예를 들어보면

1998년부터 발전된 AI의 그래프는 2015년부터 다양한 분야에서 수직상승의 그래프를 그리며 상승합니다.

읽기, 이미지 생성, 추론, 스피치 , 코드 능력 등 다양한 분야에서 사람의 능력을 따라잡고 있습니다.

그리고 여기서 새로운 개념이 등장합니다.

OOM (Order of Magnitude)를 통해 미래를 예측할수 있다.

OOM은 Order of Magnitude의 약자로, 크기의 단계나 규모의 차이를 나타내는 용어입니다. 주로 수치가 10배씩 증가하거나 감소하는 비율을 표현할 때 사용됩니다. 그렇다면 1 OOM은 무엇을 뜻할까요?

1 OOM: 1에서 10 (10배 증가) = 10의 1승 배가 증가합니다.

2 OOM: 10에서 100 (100배 증가) = 10의 2승 배가 증가합니다.

3 OOM: 100에서 1,000 (1,000배 증가) = 10의 3승 배가 증합니다.

AI 연구에서 OOM은 발전 속도를 파악하거나 기술적 진보를 예측하는 데 사용됩니다.

몇몇 연구원들은 AI의 발전을 OOM이라는 단위를 사용하며 예측가능한 발전이 되도록 개선해왔습니다.

SoraAI의 발전 속도를 이미지로 보여주는 예시입니다. 32x Compute 발전을 통해서 엄청난 영상 생성 진보를 이루었습니다.

우리가 느끼는 성장의 성적적인 요소를 정량적으로 측정하는 것이 OOM 단위라고 생각하시면 됩니다. 현재 AI의 발전을 수치화 하면 15 OOM(즉, 1,000,000,000,000,000배의 효과적 컴퓨팅 확장)이 되고 있다고 합니다. 그리고 이 패턴은 지속적으로 유지된다고 합니다.

[ChapGPT 발전의 성장률 표]

1년, 2년 사이에 1~2 OOM을 이루고 있습니다. 이는 100배 정도의 발전을 얘기합니다.

ChatGPT 발전에 들어간 컴퓨팅 자원의 성장률 (발전 정도를 의미)

우리는 Epoch AI의 공개된 추정치를 사용하여 2019년부터 2023년까지 컴퓨팅 자원의 증가를 추적할 수 있습니다. GPT-2에서 GPT-3로의 확장은 빠르게 이루어졌고, 작은 실험에서 시작해 대규모 데이터 센터를 사용해 모델을 훈련하는 방식으로 확장되었습니다. GPT-3에서 GPT-4로의 확장에서는 현대적인 방식으로 전환되었습니다: 다음 모델을 위해 훨씬 더 큰 클러스터를 새로 구축해야 했습니다. 그럼에도 불구하고 극적인 성장은 계속되었습니다. 전체적으로 Epoch AI의 추정에 따르면, GPT-4 훈련은 GPT-2보다 약 3,000배에서 10,000배 더 많은 컴퓨팅 자원을 사용했다고 합니다.

아래 그래프가 그동안 이어져 온 오랜 트렌드입니다. 지난 15년간, 우리는 이세돌 바둑구단과 알파고의 대결을 본 순간부터 매년 0.5 OOMs씩 증가해왔습니다. 하지만 우리 일상에 미칠 수 있는 일들이 아니기 때문에 우리는 발전의 속도를 간과해왔습니다.

그리고 몇년이 지난 지금 우리는 ChatGPT는 우리 일상과 검색에 침투해있습니다. 5년 뒤에는 과연 어떤 세상이 펼쳐질까요.

여기까지가 OOM에 대한 간단한 내용이였습니다. 어려운 내용이기 때문에 기술적인 백데이터를 설명하기엔 너무나 어려운 것 같습니다. 뒤에서는 2. Algorithmic efficiencies 알고리즘의 발전의 역사에 대해서 조금 더 연재하도록 하겠습니다.