GPU와 HBM, 그리고 차세대 AI칩
HBM이 왜 중요한가? HBM 시장 리더는 누구? 차세대AI칩의 향방은?
HBM은 왜 중요한가?
고대역폭 메모리(HBM)는 여러 가지 이유로 특히 고성능 컴퓨팅(HPC), AI, 그래픽 렌더링 및 데이터 집약적인 애플리케이션의 맥락에서 매우 중요하다. HBM은 컴퓨팅에 있어 CPU/GPU의 처리 능력을 따라잡을 수 있을 만큼 빠르게 주변에서 데이터를 공급하는 전통적인 메모리 시스템과 CPU/GPU 간의 격차 증가라는 근본적인 문제를 해결할 수 있는 해법으로 부상하고 있다. 이러한 격차는 프로세서가 데이터를 기다리는 데 시간을 소비하게 되어 비효율이 증가하고, 계산 처리량 감소를 초래하기 때문에 시스템 성능 향상에 있어 큰 제약요소로 작용하고 있다.
HBM은 3D 제조 기술을 활용하여 D램 칩을 수직으로 적층함으로써 기존의 메모리 솔루션에 비해 훨씬 넓은 인터페이스를 구현한다. 이 방법은 전력 소비를 줄이면서 메모리 대역폭을 크게 증가시킨다. 예를 들어 HBM의 고급 버전인 HBM2e 장치는 1,024비트의 버스 인터페이스로 D램 스택을 프로세서에 연결하여 데이터에 접근하고 처리할 수 있는 속도를 획기적으로 높인다. 이러한 설계는 실리콘 인터포저에 의해 용이하게 되어 메모리 읽기/쓰기 작업에 필요한 수많은 라인을 연결하는 복잡한 작업을 관리할 수 있다.
HBM의 장점은 메모리 대역폭의 상당한 증가와 전통적인 DDR 메모리 시스템에 비해 상당한 전력 절약을 포함한다. 예를 들어, 단일 HBM2e 디바이스는 GDDR6 메모리와 동일하거나 더 높은 대역폭을 제공할 수 있지만 거의 절반의 전력 소비로 제공할 수 있다. 이러한 효율성 이득은 머신 러닝 모델 및 고성능 컴퓨팅 작업과 같이 대용량 데이터를 빠르게 처리해야 하는 애플리케이션에 매우 중요하다.
HBM의 배경이 되는 기술은 최대 8개의 DRAM 다이와 버퍼 회로를 위한 선택적인 베이스 다이를 적층하는 것으로, 모두 TSV(Through Silicon Vias)와 마이크로 범프를 통해 상호 연결된다. 이 작고 효율적인 구조는 DDR4나 GDDR5와 같은 대안들보다 더 작은 폼 팩터에서 더 높은 대역폭과 더 낮은 전력 사용을 가능하게 한다. HBM은 다른 종류의 DRAM에 비해 매우 넓은 메모리 버스를 제공함으로써 그것의 높은 성능에 기여함으로써 이를 달성한다.
HBM의 중요성은 현재 응용 분야를 넘어 확장되고 있다. 특히 엑사스케일 컴퓨팅과 정교한 AI 모델의 등장으로 계산 요구가 계속 증가함에 따라 고대역폭, 에너지 효율적인 메모리 솔루션에 대한 요구가 그 어느 때보다 중요해지고 있다. HBM은 이러한 요구를 충족시키는 핵심 기술로서 차세대 컴퓨팅 기능을 가능하게 한다.
HBM 시장은 누가 주도하고 있는가?
HBM은 대량의 데이터를 빠르게 처리해야 하는 ChatGPT와 같은 대규모 인공지능(AI) 시스템 시대에 특히 중요하다. HBM 시장은 AI 애플리케이션에 대한 수요에 힘입어 2023년 20억 달러에서 2028년 63억 달러로 크게 성장할 것으로 예상된다.
HBM 시장에서 삼성, SK하이닉스, 마이크론 간의 주도권 경쟁에서 SK하이닉스와 삼성이 우위를 점하고 있다. 2022년 시장 점유율은 SK하이닉스가 50%, 삼성이 40%, 마이크론이 10%로 그 뒤를 이었다. 이 추세는 2024년까지 이어질 것으로 예상되며, SK하이닉스와 삼성이 거의 동등하게 시장을 장악하고 있다. 그러나 마이크론의 점유율은 3~6% 수준에 머물 것으로 예상된다.
SK하이닉스는 특히 HBM3에 초점을 맞춰 엔비디아의 H100과 GH200 제품의 주요 공급업체로 선두를 달리고 있다. 반면 삼성은 HBM2E에 집중하며 HBM3 생산을 준비하고 있다. 한편, 마이크론은 지난 2024년 2월 27일, 5세대 HBM 양산에 성공했다는 소식을 알리며 맹추격에 나서고 있는 모양새이다. 하지만, 마이크론의 양산 능력에 대해 시장 일각에서는 회의적인 시각을 내놓는 분석도 있었다. 이후, SK하이닉스는 마이크론 발표 약 3주 후인 2024년 3월 19일 8단 HBM3E 양산 성공 소식을 전하며 2023년 8월 21일 개발 발표 이후 약 7개월 만에 전한 내용으로 치열한 HBM 경쟁을 잘 보여주고 있는 장면이다.
이러한 거대 기술 기업들의 경쟁은 단순히 시장 점유율을 확보하는 것뿐만 아니라 메모리 솔루션의 기술 발전을 이끄는 것이기도 하다. 각 회사는 열 관리, 제조 복잡성, 다른 구성 요소와의 통합 등 HBM과 관련된 기술적 과제를 극복하기 위해 노력하고 있다. 그들의 노력은 컴퓨팅 성능과 효율성에서 가능한 것의 경계를 허물기 위해 매우 중요하다.
아울러 반도체 생산은 기술의 첨단 기술과 제조 현실을 넘나드는 분야로, 혁신의 중요성뿐만 아니라 최소한의 결함으로 대량 생산하는 전문성을 강조한다. 이는 특히 D램 층이 수직으로 적층된 고대역폭 메모리(HBM) 제조에서 매우 중요하다. 한 층에 단 한 개의 결함도 HBM 스택 전체를 사용할 수 없게 만들 수 있다. 예를 들어 8층 HBM의 경우 D램 층당 평균 결함률이 1%인 경우 결함률이 7.7%까지 올라가 HBM 생산의 어려움을 보여준다. 이는 대량 HBM 양산 경험이 적은 마이크론이 경쟁사를 앞지르는 장애물에 직면할 수 있음을 보여준다.
HBM 시장을 둘러싼 경쟁은 이제 막을 올린 것이며, 앞으로 더욱 치열한 기술경쟁과 양산을 위한 노력들이 이어질 것으로 보인다.
삼성의 차세대 AI칩은 엔비디아 GPU의 아성을 깰 수 있을까?
엔비디아의 GPU를 능가할 가능성이 있는 삼성의 차세대 AI 칩에 대해서는 바로 답을 내리기 어려운 복잡한 과제이다. 엔비디아는 GPU 시장, 특히 게임, 전문 시각화, 데이터 센터 및 인공 지능과 같은 높은 계산 능력을 요구하는 분야에서 오랫동안 선두를 유지해 왔다. 삼성의 HBM 기술 발전과 AI 칩 생태계에 진입하려는 기술적인 시도들은 중요하다. 하지만 기술적인 성능 부분과 시장 확산이라는 부분에 있어 엔비디아의 기존 시장 지위, 생태계 및 AI와 머신 러닝의 지속적인 혁신을 극복하려면 단순히 일치하는 것이 아니라 성능, 효율성 및 애플리케이션 지원 측면에서 초과해야 한다.
주목할 점은 HBM과 AI 칩을 포함한 고성능 컴퓨팅 부품의 경쟁은 단순히 기술적 우위뿐만 아니라 이러한 기술이 번창할 수 있는 생태계를 조성하는 것이라는 점이다. 여기에는 소프트웨어 지원, 개발자 도구 및 산업 전반에 걸친 파트너십이 포함된다. 이러한 분야에서 삼성의 발전은 HBM 및 기타 반도체 기술에서의 발전과 함께 엔비디아와 같은 기존 시장 리더에 도전할 수 있는 핵심이 될 것이다.
이번 2024년 GTC에서 발표된 엔비디아의 차세대 AI 칩인 B100은 "블랙웰" GPU를 기반으로 핵심 부품인 HBM(High Bandwidth Memory)을 포함한 AI 칩 시장 경쟁의 도약을 의미한다. SK하이닉스는 현재 HBM 공급을 주도하고 있으며, 특히 엔비디아에 4세대 HBM(HBM3)을 독점 제공하고 있다. 삼성도 엔비디아의 GTC 2024에서 HBM3E 12단 제품을 선보이며 경쟁에 뛰어들었다. 이 경쟁은 특히 업계 최초의 36GB HBM3E 양산을 시작했다고 발표한 점을 감안할 때 삼성에게 유망한 기회를 나타낸다. SK하이닉스와 삼성이 주로 지배하는 HBM 시장은 엔비디아의 최신 AI 칩으로 크게 확대될 것으로 예상되며, AI 반도체 발전에서 HBM이 중요한 입지를 맡게 될 것이다.
현재 그래픽처리장치(GPU) 시장, 특히 대형 언어 모델(LLM) 및 기타 AI 애플리케이션에 대한 엔비디아의 지배력은 현재 빅테크 기업들이 인공지능 발전을 위해 엔비디아의 GPU를 활용하고 있어 타의 추종을 불허한다. 그러나 한국의 리벨리온과 딥엑스, 퓨리오사 같은 스타트업들과 더불어, 미국의 삼바노바와 영국의 그래프코어와 같은 스타트업들이 엔비디아의 아성에 도전하는 것을 목표로 하여 보다 세부적인 목적에 맞는 전용 인공지능 칩(NPU)을 개발하면서 상황이 진화하고 있다. 아울러 삼성의 차세대 인공지능 칩인 마하-1의 발표는 더 많은 경쟁을 예고한다. 엔비디아의 입지는 여전히 굳건하지만, 인공지능 칩 개발의 다양성이 증가하고 있다는 것은 이러한 새로운 기술과 전문화된 솔루션에 의해 엔비디아의 지배력이 도전받을 수 있을지 귀추가 주목된다.
