HBM에서 HBF로 발전하는 메모리 반도체

2024년부터 2026년 현재에 이르기까지 HBM (고대역폭 메모리)이 반도체 시장의 절대적인 주인공이 된 이유는 단순하다.

AI라는 슈퍼카에 맞는 전용 고속도로가 필요했기 때문이다.

HBM이 왜 중요했는지 3가지 이유에 대해서 알아보자.

1. 메모리 벽 (Memory Wall) 현상의 해결사

AI 연산을 담당하는 GPU는 엄청난 속도로 발전했지만 데이터를 전달하는 D램이 속도는 이를 따라가지 못했다. 이를 메모리 벽이라고 부른다.

기존 방식은 데이터를 주고받는 통로가 좁아 GPU가 아무리 빨라도 데이터를 기다려야 하는 병목 현상이 발생했다.

HBM의 혁신은 여러 개의 D램을 수직으로 높게 쌓은 뒤 수천 개의 구멍을 뚫어 데이터를 한꺼번에 쏟아붓는 방식을 택했다.

덕분에 기존 대비 수십 배 넓은 데이터 고속도로가 만들어졌다.

2. 성능은 높이고, 전력은 아끼고

데이터 센터 운영자들에게 가장 큰 고민은 전력 소비와 발열이다.

수직 적층의 묘미는 HBM은 데이터를 물리적으로 아주 가까운 거리에서 주고받는다.

데이터가 이동하는 거리가 짧아지면 저항이 줄어들고, 결과적으로 소비 전력이 낮아진다.

평면에 나열하던 기존 방식보다 차지하는 면적인 훨씬 작아, 한정된 서버 공간 안에 더 강력한 AI 성능을 구도할 수 있게 해 주었다.

3. 엔비디아와 AI 골드러시의 필수재

챗 GPT로 시작된 AI 열풍 속에서 엔비디아의 AI가속기는 전 세계적인 품귀 현상을 빚었다.

엔비디아 GPU옆에는 반드시 HBM이 찰떡궁합으로 붙어 있어야 제 성능을 낸다.

즉, HBM 없이는 AI서버를 만들 수 없다는 공식이 성립된 것이다.

일반 D램처럼 찍어내는 것이 아니라, 고객사의 요구에 맞춰 설계 단계부터 협력하는 커스텀 반도체 성격을 띠면서 메모리 업체의 수익성을 극대화했다.

일반 DDR램 (DDR5)은 데이터 통로가 약 32~64개 수준이었다. HBM은 수직 적층을 통해서 데이터 통로를 1,024개 이상으로 늘렸다.

현재는 HMB4(6세대) 양산이 본격화되면서 단순히 속도만 높이는 게 아니라 고객사의 칩 위에 직접 HBM을 올리는 로직 HBM 기술이 핵심 경쟁력으로 떠올랐다.

한국의 SK하이닉스와 삼성전자가 이 기술의 주도권을 쥐기 위해 대만의 TSMC와 전략적 동맹을 맺는 등 판이 더 커진 상태이다.

그리고 현재는 HBM에서 HBF (High Bandwidth Flash, 고대역폭 플래시)로 이동하고 있다.

HBM을 단순히 대체하는 기술이 아니라 AI 서비스의 핵심이 학습에서 추론으로 이동함에 따라 등장한 보완적 차세대 아키텍처로 평가받고 있다.

HBM에서 HBF로 이동하는 배경에는 AI 발전이 변화되고 있기 때문이다.

지금까지의 AI는 방대한 데이터를 공부하는 학습 단계였다.

인공지능 추론은 학습에서 얻은 지식을 보여주는 단계

하지만 이제는 수억 명의 사용자가 동시에 질문하고 답을 얻는 추론(Inference) 단계가 더 중요해졌다.

HBM은 속도는 빠르지만 D램 기반이라 용량은 작고 가격이 매우 비싸다.

거대언어모델(LLM)이 커질수록 모든 HBM에 담기엔 비용 부담이 너무 큽니다.

HBF는 D램 대신 낸드 플래시를 HBM처럼 수직으로 쌓은 것이다.

D램보다 속도는 조금 느리지만 같은 가격에 훨씬 더 큰 용량을 제공할 수 있어 AI가 방대한 지식을 실시간으로 참조해야 하는 추론용 서버에 최적이다.

HBM은 D램 기반으로 휘발성이고 압도적인 데이터 전송 속도를 자랑하지만 고가격에 용량 확장의 한계가 존재한다.

HBF는 낸드 플래시 기반으로 비휘발성이고 저렴한 비용과 압도적 저장 용량을 가지고 있다.

그렇지만 D램 대비 느린 읽기/쓰기 속도가 단점이다.

HBM에서 완성된 TSV(실리콘 관통 전극)와 하이브리드 본딩 기술이 HBF 제조에도 그대로 적용된다.

즉, HBM을 잘 만드는 기업이 HBF 시장도 주도할 수 있는 구조이다.

미래의 AI 서버는 GPU + HBM (캐시 역할) + HBF (메인 저장소)의 구조로 설계될 전망이다.

HBM과 HBF는 서로 보완하며 공존할 것이다.

2030년까지 AI 추론 학습 시장이 지속해서 커지면서 HBF의 비중이 HBM을 추월할 것이라는 예측이 우세하다.

단기적으로는 HBM4(6세대)가 주류가 되며 하이브리드 본딩 기술이 극대화된다.

중장기 이후 (2028년)는 HBF 표준화가 완료되어 상용화가 본격화될 것으로 보인다.

요약해 보면 HBF로의 이동은 기술적 퇴보가 아닌 AI 인프라의 가성비 최적화를 위한 진화입니다.

AI가 똑똑해지는 것을 넘어 경제성을 갖추기 위해 대용량 데이터를 저전력으로 처리할 수 있는 HBF는 선택이 아닌 필수 기술이 되고 있다.