마이크론 3화: AI 데이터센터의 끝없는 갈증

마이크론이 미국 기업이라는 것의 의미

---

프롤로그: ChatGPT를 돌리는 데 필요한 것

당신이 ChatGPT에 질문을 하나 던진다. "오늘 날씨 어때?"

단 몇 초 만에 답변이 돌아온다. 자연스럽고, 정확하고, 때로는 유머까지 섞여 있다. 마치 사람과 대화하는 것처럼.

하지만 그 뒤에서는 어마어마한 일이 벌어지고 있다.

당신의 질문은 전 세계 어딘가에 있는 거대한 데이터센터로 전송된다. 그곳에는 수만 개의 GPU가 랙에 빼곡히 꽂혀 있다. 엔비디아 H100, A100, 그리고 곧 출시될 GB200. 이들은 초당 수조 번의 연산을 수행하며 당신의 질문을 이해하고, 학습된 데이터를 뒤지고, 최적의 답변을 생성한다.

그리고 그 GPU 하나하나에는 HBM이 붙어 있다.

엔비디아 H100 한 대에는 HBM3 80GB가 탑재된다. 차세대 H200은 HBM3 E 141GB다. GB200 시스템은 192GB를 넘어선다.

OpenAI의 ChatGPT 데이터센터에는 대략 수만 대의 GPU가 있다고 추정된다. 구글의 Gemini, 메타의 Llama, 아마존의 AI 서비스... 각각이 비슷한 규모다.

단순 계산을 해보자.

데이터센터 하나에 GPU 2만 대가 있다고 가정하자. 각 GPU에 HBM 100GB가 탑재된다면?

2만 대 × 100GB = 2,000TB = 2페타바이트(PB)

단 하나의 데이터센터에 필요한 HBM 용량이다.

그런데 구글, 마이크로소프트, 메타, 아마존, 오픈 AI, 테슬라... 이들이 각각 몇 개의 데이터센터를 짓고 있을까?

HBM 수요는 상상을 초월한다.

그리고 이 수요는 단 한 번으로 끝나지 않는다. 데이터센터는 계속 증설되고, GPU는 계속 업그레이드되고, AI 모델은 계속 대형화된다.

이것이 마이크론이 베팅한 미래다.

---

AI 데이터센터 수요의 실체: 학습과 추론, 그리고 끝없는 반복

AI의 메모리 수요를 이해하려면, 먼저 AI가 작동하는 두 가지 단계를 알아야 한다.

학습(Training) vs 추론(Inference)

학습(Training)은 AI 모델을 만드는 과정이다. GPT-4를 만들기 위해 오픈 AI는 인터넷의 방대한 텍스트 데이터를 학습시켰다. 이 과정에서 수천 대의 GPU가 몇 달 동안 24시간 내내 돌아간다. 학습은 엄청난 메모리를 요구한다. 데이터를 불러오고, 계산하고, 결과를 저장하는 모든 과정이 메모리에서 일어난다.

추론(Inference)은 학습된 모델을 실제로 사용하는 과정이다. 당신이 ChatGPT에 질문을 던지면, 그 답변을 생성하는 것이 추론이다. 학습보다는 메모리 요구량이 적지만, 사용자가 많아질수록 필요한 GPU와 메모리는 기하급수적으로 증가한다.

학습과 추론, 모두 HBM을 필요로 한다.

엔비디아 H100 한 대 = HBM3 80GB

엔비디아의 AI 가속기 H100에는 HBM3 80GB가 탑재된다. 차세대 H200은 HBM3 E 141GB로 용량이 증가했다. 곧 출시될 GB200 시스템은 192GB를 넘어선다.

한 대만 봐도 엄청난 용량이다. 하지만 진짜 문제는 규모다.

데이터센터 한 곳 = 수만 개의 GPU

마이크로소프트는 2024년 발표에서, 자사의 AI 데이터센터 한 곳에 수만 대의 GPU를 배치할 계획이라고 밝혔다. 메타도 2025년까지 60만 개 이상의 H100 GPU를 확보하겠다고 발표했다.

단순 계산을 해보자.

- 데이터센터 1곳 = GPU 20,000대

- GPU 1대 = HBM 100GB

- 데이터센터 1곳 = 2페타바이트(PB) HBM

구글, 마이크로소프트, 메타, 아마존이 각각 여러 개의 데이터센터를 운영한다면? 그리고 계속 증설한다면?

HBM 수요는 천문학적이다.

---

초기 폭발 vs 지속적 증설: 왜 HBM 수요는 멈추지 않는가

"그래, 지금은 AI 붐이니까 수요가 많지. 하지만 데이터센터 짓는 게 한 번으로 끝나면 수요도 줄어들지 않을까?"

이것은 많은 사람들이 하는 오해다. HBM 수요는 일시적 붐이 아니다. 구조적이고, 반복적이고, 지속적이다.

2024-2025: 초기 대규모 구축 (폭발적 수요)

지금은 AI 데이터센터 건설 초기다. 구글, 마이크로소프트, 메타, 아마존, 오픈 AI, 테슬라... 모두가 동시에 대규모 데이터센터를 짓고 있다.

이 단계에서는 초기 구축 수요가 폭발한다. 수만 대의 GPU가 한꺼번에 필요하다. 당연히 HBM 수요도 폭발한다.

SK하이닉스와 마이크론이 "2024년 HBM 완판", "2025년 물량도 거의 다 팔렸다"라고 발표한 이유가 바로 이것이다.

하지만 이것은 시작일 뿐이다.

2026-2030: 지속적 증설 + 교체 수요

데이터센터가 한 번 지어지면 끝일까? 아니다.

1. 데이터 증가율: 매년 30-40%

전 세계 데이터 생성량은 매년 30~40%씩 증가한다. AI가 보편화되면서 이 증가율은 더 가팔라질 것이다. 더 많은 데이터를 저장하고 처리하려면? 더 많은 GPU, 더 많은 HBM.

2. AI 모델 대형화: GPT-3 → GPT-4 → GPT-5

GPT-3는 1,750억 개의 파라미터를 가졌다. GPT-4는 1조 개 이상으로 추정된다. GPT-5는? 아마 10조 개를 넘을 것이다.

모델이 커질수록 필요한 메모리도 기하급수적으로 증가한다. 기존 GPU로는 감당할 수 없다. 업그레이드가 필수다. 새로운 GPU, 새로운 HBM.

3. GPU 교체 주기: 2-3년

GPU도 수명이 있다. 24시간 365일 최대 성능으로 돌리면 2~3년 후에는 성능이 저하되거나 고장 난다. 교체해야 한다. 새로운 GPU, 새로운 HBM.

4. 차세대 GPU 출시: H100 → H200 → GB200 → GB300

엔비디아는 매년 새로운 GPU를 출시한다. 성능이 좋아지면? 기업들은 업그레이드한다. 경쟁에서 뒤처지지 않으려면 최신 GPU를 써야 한다. 새로운 GPU, 새로운 HBM.

결론: HBM 수요는 일회성이 아니라 반복적이고 지속적이다.

데이터센터는 살아있는 유기체다. 계속 증설되고, 업그레이드되고, 교체된다. 그리고 그때마다 HBM이 필요하다.

---

AMD vs NVIDIA: CPU+GPU 통합 전쟁과 마이크론의 기회

AI 가속기 시장은 엔비디아의 독무대처럼 보인다. 하지만 최근 한 경쟁자가 빠르게 추격하고 있다.