HBM 다음은 왜 HBF라는 말이 나오나
AI 메모리 경쟁이 구조로 이동한 이유
AI 반도체 시장에서 반복되는 질문이 있다.
“HBM 이후에는 무엇이 오는가?”
이 질문은 기술 로드맵을 묻는 것처럼 보이지만,
실제로는 AI가 계산하는 방식이 아니라, 기억을 사용하는 방식이 바뀌고 있다는 신호다.
HBM 이후를 이해하려면,
AI가 무엇을 더 빠르게 계산하고 있는지가 아니라
무엇을 계속 기억하려 하고 있는지를 먼저 봐야 한다.
HBM(High Bandwidth Memory)은 AI를 살렸지만, 구조적 한계에 도달했다
HBM은 AI 시대를 연 결정적 기술이다.
연산 장치와 메모리 사이의 병목을 제거하며, 대규모 AI 모델을 현실로 끌어냈다.
하지만 AI 인프라가 확장되면서, HBM의 한계도 동시에 드러나고 있다.
적층 구조에 따른 발열과 전력 소모 증가
TSV 기반 패키징으로 인한 수율 리스크
성능 대비 빠르게 상승하는 비용 구조
HBM은 더 빨라질 수는 있다.
그러나 더 많이 쓰기에는 구조적으로 불리한 메모리다.
이 지점에서 중요한 변화가 시작된다.
AI는 더 빠른 메모리를 요구하기보다, 다른 방식의 기억을 요구하기 시작했다.
AI는 왜 더 빠른 메모리가 아니라, 기억 구조를 바꾸려 하는가
최근 AI의 중심은 학습(training)에서 추론(inference)으로 이동했다.
특히 다음과 같은 형태의 AI가 빠르게 늘고 있다.
장시간 맥락을 유지하는 대규모 언어 모델
상태를 기억하며 행동하는 에이전트형 AI
연속적 의사결정을 수행하는 AI 시스템
이 구조에서는 모든 데이터를 매번 HBM으로 불러오는 방식이 성립하지 않는다.
연산 속도보다 더 중요한 질문이 등장했기 때문이다.
“무엇을 항상 기억하고, 무엇을 필요할 때만 불러올 것인가?”
이 질문이 바로, HBF라는 개념이 등장한 이유다.
HBF는 기술명이 아니라, AI의 ‘기억 역할’을 가리키는 개념이다
이 글에서 사용하는 HBF는 단일 표준 기술을 의미하지 않는다.
HBF는 HBM과 스토리지 사이에서 AI의 컨텍스트와 상태를 담당하는
High Bandwidth Buffer 계열의 개념적 용어다.
역할 기준으로 보면 AI 메모리는 이렇게 나뉜다.
HBM: 연산 직결 데이터용 초고속 메모리
HBF(개념): 자주 재사용되는 컨텍스트·상태·중간 기억
SSD/NAND: 장기 저장 데이터
즉, HBF는 HBM을 대체하려는 기술이 아니다.
HBM이 감당하기 어려워진 ‘기억의 부담’을 분산시키는 구조적 해법이다.
AI 메모리 계층 구조도(자료: NVIDIA·AMD·JEDEC 등 업계 공개 자료 종합 (개념도))▲ HBM·HBF 논쟁의 전제 자체를 설명하는 그림
메모리는 속도별로 계층화되어 있고
각 계층은 서로 다른 역할을 맡고 있음
HBF는 HBM을 밀어내는 존재가 아니라
☞ HBM과 스토리지 사이를 채우는 중간 기억
▲ AI 메모리는 하나가 아니다.
HBM 이후의 논쟁은 ‘자리 싸움’이 아니라 ‘구조 설계’의 문제다.
HBM 기반 AI 가속기 메모리 스택(자료: NVIDIA GTC, SK hynix 기술 발표 자료 종합 (개념도))▲ HBM이 왜 ‘성공했지만 한계에 부딪혔는지’를 시각화
GPU/AI 가속기 바로 옆에 적층된 HBM
TSV·패키징·고밀도 스택 구조
‘빠르다’는 장점이
동시에 발열·전력·비용 리스크로 연결됨
▲ HBM은 AI를 살렸다.
하지만 이 구조를 무한히 키울 수는 없다.
AI 추론 중심 메모리 아키텍처 / CXL 확장 구조(자료: NVIDIA GTC·CXL Consortium·OCP 발표 내용 종합 (개념도))▲ 왜 HBF 같은 중간 메모리가 필요해졌는지에 대한 ‘미래 방향’
AI가 학습 → 추론 중심으로 이동
모든 데이터를 HBM에 올리지 않음
자주 쓰는 것 / 가끔 쓰는 것 / 거의 안 쓰는 것을 분리
메모리를 확장·공유·풀링하는 구조
▲ AI는 이제 계산보다 ‘기억을 관리’하는 시스템이 되고 있다.
HBM과 HBF의 관계는 경쟁이 아니라 분업이다
미래의 AI 메모리 구조는 점점 계층화되고 있다.
On-chip SRAM: 즉각 반응
HBM: 고속 연산
HBF 계열: 컨텍스트·상태·중간 기억
스토리지: 장기 데이터
이 구조의 핵심은 속도가 아니다.
기억을 언제, 어디에 둘 것인가에 대한 선택이다.
그래서 'HBM 다음은 HBF인가?'라는 질문은 절반만 맞다.
정확히 말하면, HBM 이후는 ‘HBM + HBF’ 병렬 구조의 시대다.
2026년 기준, AI 메모리 논의의 중심은 이미 이동했다
최근 AI 인프라 논의에서 반복적으로 등장하는 키워드는 분명하다.
추론 비용(Inference Cost) 절감
데이터 이동 최소화
메모리 계층 효율 개선
컨텍스트 유지 구조 강화
이는 단기적인 기술 유행이 아니다.
AI가 계산 장치에서 기억을 관리하는 시스템으로 이동하고 있다는 구조적 변화다.
HBF는 이 변화 속에서 등장한 새로운 제품명이 아니라,
AI 아키텍처가 요구한 필연적인 결과다.
FrameLAB 결론: HBM 이후의 싸움은 메모리가 아니라 선택의 문제다
HBM 이후를 묻는 질문은 기술 질문처럼 보이지만,
그 본질은 구조에 있다.
AI에게 무엇을 기억하게 할 것인가.
그리고 그 기억을 누가 설계할 것인가.
AI의 다음 단계는 더 빠른 연산이 아니다.
기억을 허용하는 방식에 대한 선택이다.
그리고 그 선택이
AI 반도체 산업의 권력 이동을 결정한다.
핵심 요약
HBM 이후의 AI 반도체 경쟁은 속도가 아니라 기억 구조 설계의 문제다.
HBF는 단일 기술이 아니라, HBM과 스토리지 사이에서 AI의 컨텍스트와 상태를 담당하는 High Bandwidth Buffer 계열의 개념적 메모리 구조를 의미한다.
한 줄 프레임
HBM은 속도를 만들었고, HBF는 선택을 만든다.
AI의 미래는 그 선택을 누가 설계하느냐에 달려 있다.
세상은 복잡하지만, 핵심은 단순합니다.
저는 당신에게 정보가 아닌 '프레임'을 건넵니다.
- 범뷰(BeomView) -