우리는 너무 비싼 미래를 샀다 - 4

AI 거품과 각자도생의 청구서

by Gildong

제4화. GPU의 배신, 그리고 메모리의 복수


화려한 소모품과 지루한 필수재


지금 전 세계 자본시장에서 가장 뜨거운 티켓은 단연 엔비디아(NVIDIA)의 GPU다. H100 칩 하나가 수천만 원을 호가하고, 젠슨 황(Jensen Huang)의 가죽 재킷이 번쩍일 때마다 주가는 춤을 춘다. 마치 이 칩만 확보하면 미래의 부(富)가 보장될 것처럼 보인다.


하지만 축포가 터지는 동안, 냉정한 최고재무책임자(CFO)들의 계산기 위에서는 경고등이 켜지고 있다. 그들의 장부 위에서 그 비싼 GPU는 이미 '가장 위험한 자산'으로 분류되기 시작했다.


사자마자 고물이 되는 '미친 감가상각'


GPU의 가장 큰 배신은 '속도'에서 온다. 연산 속도가 아니라, '가치가 소멸하는 속도'다.


과거 반도체 장비의 교체 주기는 3~4년이었다. 하지만 AI 전쟁이 발발하자 엔비디아는 신제품 출시 주기를 1년으로 단축해 버렸다. 수천억 원을 들여 호퍼(Hopper) 기반의 H100 서버를 구축해 놨더니, 불과 1년 만에 블랙웰(Blackwell)이라는 괴물이 나와 이전 세대를 '구형'으로 만들어버린다. 곧이어 루빈(Rubin)이 나오면, 당신이 산 칩은 장부상 가치가 바닥으로 곤두박질친다.


이것은 투자가 아니라 '소모'다. 빅테크들은 칩을 사자마자 "미친 수준의 감가상각(Depreciation)"을 겪는다. AI 서비스로 돈을 벌기도 전에, 하드웨어 가치가 먼저 증발해 버리는 '자산 회전율의 붕괴'가 시작된 것이다. 엔비디아는 칩을 팔아 막대한 현금을 챙기지만, 그 칩을 산 고객들은 재무적 시한폭탄을 안게 된다.


비용 절감의 역설, 다시 메모리로


이 공포에서 탈출하기 위해 기업들은 몸부림친다. 더 적은 GPU로 더 똑똑한 AI를 만들기 위해 'MOE(Mixture of Experts, 전문가 믹스)' 같은 효율화 기술을 도입하고, 'CXL(Compute Express Link)'로 메모리를 공유하려 한다.


여기서 반도체 시장의 판을 뒤집는 흥미로운 '역설(Paradox)'이 발생한다. GPU 비용을 아끼려고 도입한 기술들이, 하나같이 '더 많은 메모리'를 요구한다는 사실이다.


거대한 AI 모델을 쪼개 필요한 부분만 쓰게 해주는 MOE 기술은 연산량은 줄여주지만, 모델 전체를 상주시킬 막대한 메모리 용량대역폭을 필요로 한다. 결국 AI 기술이 고도화될수록 중심축은 '연산(Compute)'에서 '기억(Memory)'으로 이동한다. GPU 투자가 줄어들어도, 메모리 수요는 줄어들지 않고 오히려 늘어나는 기현상이 벌어지는 것이다.


GPU는 선택재, 메모리는 필수재


이 흐름은 앞으로의 반도체 시장을 읽는 결정적인 단서를 제공한다.


만약 항간의 우려대로 'AI 거품'이 꺼진다면 어떻게 될까? 기업들은 가장 비싼 지출이자 감가상각이 빠른 GPU 구매부터 줄일 것이다. 하지만 이미 깔아놓은 AI 서버를 돌리고, 비용을 효율화하기 위해서라도 메모리는 계속 사야 한다.


화려한 조명을 받는 GPU는 시간이 지나면 갈아 끼워야 하는 '비싼 소모품(Expendable)'이 될 운명이다. 반면, 메모리는 어떤 칩을 쓰든 반드시 깔려 있어야 하는 '상수(Constant)'이자 '인프라'다.


2030년, AI 인프라의 진짜 병목(Bottleneck)은 GPU가 아니라 메모리가 될 것이라는 전망은 그래서 나온다.


파티가 끝나고 거품이 걷히면, 진짜 주인이 누구인지 드러난다. 가장 화려했던 주연배우(GPU)는 무대 뒤로 사라지고, 묵묵히 무대를 받치고 있던 조연(메모리)이 티켓값을 챙기는 '복수의 시간'이 다가오고 있다.


[다음 ] 제5화. 천하의 애플이 흔들린다