HBM 시리즈 2부
---
병목이 권력이다
30년 전 예언된 벽, 그리고 그것을 먼저 뚫은 자
1995년, 미국 컴퓨터 과학자 윌프(Wulf) 교수가 경고했다.
"프로세서는 점점 빨라지는데, 메모리는 그 속도를 따라가지 못한다. 언젠가 이 간극이 컴퓨팅의 근본적 한계가 될 것이다."
그는 이것을 '메모리 벽(Memory Wall)'이라 불렀다.
30년이 지났다. 그 벽이 드디어 산업의 지형을 바꾸고 있다.
생각해 보자. AI는 왜 그토록 많은 메모리를 필요로 하는가.
챗GPT가 질문에 답할 때, 내부에서는 수천억 개의 매개변수가 동시에 활성화된다. 이 매개변수들은 메모리 어딘가에 저장되어 있고, GPU는 그것을 끊임없이 불러와 계산한다. 연산 자체는 빠르다. 문제는 그 연산에 필요한 데이터를 메모리에서 GPU로 실어 나르는 속도다.
도로가 아무리 넓어도 진입로가 좁으면 차가 막힌다. GPU가 아무리 빨라도 데이터가 제때 들어오지 않으면 기다린다.
실제로 AI 작업을 수행할 때 GPU가 계산에 쓰는 시간은 전체의 2030%에 불과하다. 나머지 7080%의 시간, GPU는 데이터를 기다리고 있다.
엔비디아가 만든 세계 최고의 GPU가, 대부분의 시간을 그냥 기다리며 보내고 있다는 뜻이다.
이것이 병목이다.
HBM은 이 병목을 뚫기 위해 태어났다.
기존 메모리는 GPU 옆에 납작하게 붙어 있었다. 데이터가 지나가는 통로, 즉 버스의 폭이 좁았다. HBM은 발상을 바꿨다. D램을 수직으로 쌓고, 그 사이에 수천 개의 미세한 구멍(TSV, Through Silicon Via)을 뚫어 데이터 통로를 획기적으로 넓혔다.
납작한 평지를 고층 빌딩으로 바꾼 것이다. 좁은 골목 하나를 없애고 그 자리에 10차선 고속도로를 놓은 것이다.
엔비디아의 차세대 GPU '루빈'은 HBM4를 탑재해 초당 13 테라바이트 이상의 메모리 대역폭을 제공한다. 이전 세대 대비 약 3배 증가한 수치다.
초당 13 테라바이트. 1초에 약 3천 편의 영화를 전송하는 속도다. 그래도 AI는 더 달라고 한다.
여기서 권력의 구조가 드러난다.
AI 시대의 경쟁은 표면적으로는 연산 능력의 경쟁처럼 보인다. 누가 더 빠른 GPU를 만드는가. 누가 더 큰 모델을 훈련시키는가.
그러나 실제 병목은 연산이 아니라 데이터 이동이다. 반도체 전문가들은 "AI 인프라의 병목이 GPU에서 메모리로 이동하고 있다"라고 분석한다.
성능의 제약 요인이 연산력이 아닌 메모리 대역폭으로 옮겨가고 있다는 것이다.
무대 위의 배우보다, 그 배우에게 대사를 전달하는 속도가 공연의 수준을 결정한다.
반도체 장비 기업 KLA의 CEO는 공식 선언했다. "병목현상이 과거 첨단 패키징에서 메모리로 바뀌었다. 메모리가 가장 부족한 단계에 진입했다."
병목을 장악하면 어떤 일이 벌어지는가.
첫째, 가격 결정권이 생긴다.
HBM은 일반 DDR5 대비 판매 가격이 510배 높지만, 생산원가는 34배 수준에 그친다. 압도적인 마진이 구조적으로 보장된다. 그 결과 SK하이닉스의 영업이익률은 47%에 달했다. 철강이나 자동차 같은 전통 제조업의 마진이 보통 5~10% 수준임을 생각하면, 이것은 제조업이 아니라 독점 플랫폼의 수익 구조다.
둘째, 공급 일정이 권력이 된다.
한 전문가는 분석했다. "삼성이 HBM 공급에 참여하지 않았다면, 구글·AWS·마이크로소프트의 차세대 AI 칩 프로그램이 1~2분기씩 지연됐을 것이다."
세계 최대 빅테크 기업들의 로드맵이, 메모리 회사의 납품 일정에 묶여 있다. 꼬리가 몸통을 흔드는 셈이다.
셋째, 심지어 소비자 가격까지 움직인다.
HBM 생산에 집중하다 보니 일반 PC·스마트폰용 D램 공급이 줄었고, 범용 D램 가격이 폭등하면서 PC와 스마트폰 가격까지 오르는 상황이 됐다. AI라는 거대한 고래가 일반 소비자의 작은 연못 물을 다 마셔버리고 있는 셈이다.
AI 서버를 위한 메모리 선점 경쟁이 일반 소비자의 지갑에까지 손을 뻗은 것이다.
이것이 병목의 파급력이다. 한 지점을 장악하면, 그 파동이 산업 전체로 번진다.
노자는 말했다.
天下莫柔弱於水, 而攻堅強者莫之能勝.
세상에 물보다 부드럽고 약한 것은 없지만, 단단한 것을 공격하는 데 물보다 나은 것도 없다.
HBM은 반도체 산업의 물이다.
GPU처럼 화려하지 않고, 엔비디아처럼 유명하지 않다. 그러나 그것이 흐르지 않으면, 모든 것이 멈춘다.
그렇다면 이 병목을 누가 먼저 읽었는가. 누가 이 물의 흐름을 먼저 잡았는가. 그리고 그 자리를 차지했어야 할 기업은 왜 뒤처졌는가.
다음 편 → 3부 — 삼성은 왜 놓쳤나
그리고 2026년 삼성의 처절한 혁신으로 이어집니다. 기대해 주세요~