HBM4 차세대 메모리 시장의 혁신과 경쟁
삼성전자와 SK하이닉스
삼성과 SK 와의 HBM 경쟁은 일단 현재까지는 SK 하이닉스의 완승입니다.
삼성은 절치부심하여 다음 세대인 HBM4에서의 우위를 점하기 위해서 여러 가지 기술들을 실험적으로 개발하고 있습니다. 그중 가장 핵심적이고 진취적인 기술적 진보는 HBM4를 현재처럼 COWOS와 같은 2.5D 패키징을 통해 옆으로 붙여 인터포저를 통해 데이터를 송수신하는 구조에서 벗어나 아예 HBM을 프로세서의 위, 혹은 아래에 직접 붙이는 방식으로 넘어가겠다는 것이라고 할 수 있겠습니다.
삼성이 HBM4에서 도입할 것으로 보이는 메모리-GPU 3D 패키징
2.5D 패키징에 사용되는 인터포저 기판은 말 그대로 HBM 메모리와 GPU 로직 칩을 이어주는 매개체입니다. 인터포저 안에 GPU와 HBM을 이어주는 각종 배선들이 배치되어 이 둘을 하나로 엮어 줍니다. 기존 메모리 슬롯에 외장 메모리를 장착하는 방식에 비해 프로세서와 메모리의 절대 거리가 획기적으로 좁혀지기 때문에 대량의 데이터를 프로세서로 공급하는 데에 용이한 방식입니다. 하지만 인터포저라는 매개체를 이용하여 메모리와 프로세서를 접합하기 때문에 아무리 프로세서 바로 옆에 메모리를 둔다고 하더라도 직접 연결하지 않는 이상 데이터 전송의 비효율이 필연적으로 발생하는 구조라고 할 수 있습니다. 물론 지금은 별다른 대안이 없기 때문에 사용하는 측면이 강하긴 하지만 업계에서는 여러 가지 기술적 대안을 제시하고 있습니다. 그중 하나가 메모리를 프로세서 위에 수직으로 직접 적층하는 구조의 3D 패키징이 본격적으로 논의되고 있습니다. 그리고 그 논의의 중심에 삼성이 있습니다.
HBM4에서 삼성이 추구하는 기술은 인터포저라는 매개물이 없이 HBM과 GPU를 수직으로 쌓아 올려 데이터 전송의 용이성을 높이겠다는 전략입니다. 기술개발과 양산에 성공만 한다면 인터포저를 통해 연결되는 현재의 GPU 가속기 구조에 대항할 수 있는 일대 혁신이라고 할 수 있겠습니다.
반면 수직 적층 패키징은 해결해야 할 과제도 만만치 않은데요. 일단 HBM과 GPU를 수직으로 쌓아 올림으로 인해서 오는 칩 전체의 높이 증가 문제를 해결해야 합니다. 또한 수직 적층의 고질적인 문제인 발열 문제도 해결해야 할 과제입니다.
TSV 인터페이스 숫자가 2배로 늘어날 예정인 HBM 4
HBM4의 또다른 특징은 데이터 전송 통로인 TSV 인터페이스의 숫자가 기존 1024개에서 2048개로 두 배가 늘어난다는 점입니다. 이를 통해 프로세서와 메모리 간 데이터 전송을 획기적으로 원활하게 가져갈 수 있을 것으로 기대되고 있습니다. 아무래도 고속도로에서도 차선이 늘어나면 전체적인 교통 흐름이 좋아지는 것과 같이 데이터 전송 통로가 두 배로 늘어나게 되면 그로 인해 얻게 되는 데이터 전송량과 전송 속도의 용이성도 커질 것입니다.
HBM의 I/O 수 증가의 건은 반도체 규격을 정하는 표준 단체인 JEDEC(국제 반도체 표준협의기구)에서 최종 검토 중이며 이제 막바지에 다다랐다는 후문입니다. 이 스펙이 완전히 확정되면 HBM 제조사들이 I/O 개수 증가를 위한 기술 개발에 매진할 것입니다. 일단 SK 하이닉스는 I/O 개수를 2024년 7월에 JEDEC이 발표한 HBM4 예비스펙에 맞춘 2048개로 기술개발을 진행중이라고 하니 다른 회사들도 이 스펙에 준하는 스펙을 맞추기 위해 노력하겠죠.
I/O 수가 1024개인 현재도 메모리 병목 현상으로 인해 업계가 고민하고 있습니다. 과연 I/O개수의 증가는 메모리 병목 현상을 해결해 낼 수 있을까요? 상당부분 해소가 가능하겠지만 그만큼 AI 연산량도 타의 추종을 불허하는 속도로 늘어나고 있기 때문에 실제 제품이 출시되고 난 뒤에야 그 성능을 확인할 수 있을 것입니다. 다만 메모리 병목 현상을 상당 부분 해소할 수 있을 것이라는 기대를 주기엔 충분한 숫자라고 생각합니다.
I/O 수의 증가와 함께 HBM 4의 주된 특징으로 지목되는 것은 적층 단수의 증가입니다. HBM 4에서는 D램 적층 단수가 12단에서 16단으로 증가됩니다. 최대 저장 용량도 24GB에서 36GB로 증가됩니다. 저장 용량이 늘어나고 높이도 높아지는 만큼 데이터 전송의 효율성을 높이기 위해선 절대적인 높이를 줄여야 할 필요가 있습니다. 이를 위해 도입되는 기술이 바로 하이브리드 본딩입니다.
HBM 4와 하이브리드 본딩
HBM 12단 까지는 적층 디램의 사이 사이를 TSV로 연결하고 범프를 연결한 뒤 그 틈을 필름 내지는 젤 형태의 액체성 소재로 채우는 형태의 기존 공정으로 진행이 가능합니다. 틈을 채우는 데에 필름을 사용하는 것이 삼성전자가 활용하는 TC-NCF 방식이고, 젤 형태의 액체로 틈을 채우는 것이 SK 하이닉스가 사용하는 MR-MUF 방식입니다.
하지만 HBM4로 넘어가게 되면 12단 적층을 넘어 16단까지 단수가 늘어나게 되면서 기존의 TC 본딩 방식으로는 명확한 한계가 드러나게 됩니다. HBM은 GPU 가속기가 빠르게 AI 연산을 수행할 수 있도록 데이터를 공급해주는 역할을 수행합니다. 메모리 단에서 얼마나 많은 데이터를 얼마나 빠르게 GPU로 전송해 줄 수 있는가가 GPU 가속기 성능의 향배를 결정하게 됩니다.
그래서 HBM4에서는 더 많은 데이터를 저장하고, 이를 연산기로 신속하게 전송하기 위해 D램 적층 단 수를 12단에서 16단으로 높이게 됩니다. 12단까지는 MUF 방식이나 NCF 방식 등 TC 본딩이 사용되지만 12단 이상 적층 단수가 올라가게 되면 높이 이슈가 생길 수 있으므로 최대한 얇게 쌓아올리는 것 또한 중요한 문제가 됩니다. 그러므로 HBM 4에서는 TC 본딩이 아닌 다른 방법을 사용하게 되는데요. 이것이 바로 하이브리드 본딩입니다.
하이브리드 본딩이란 기존에 HBM을 적층할 때 층과 층 사이에 삽입 되었던 범프를 없애고 칩과 칩을 직접 붙이는 형태의 본딩을 말합니다.
다음 그림은 하이브리드 본딩의 가장 일반적인 방법인 구리 대 구리 하이브리드 본딩 방식입니다. 산화 공정을 통해 웨이퍼 위에 덧씌워진 산화물 층에 홈을 낸 뒤 구리 유전체를 채워 넣습니다. 이후 동일한 공정으로 제조된 웨이퍼를 위에 적층한 뒤 구리 유전체가 정확하게 맞닿도록 정렬합니다.
구리는 산화 공정으로 통해 웨이퍼 위에 덧씌워진 산화물 보다 열팽창계수가 높습니다. 즉 열에 더 쉽게 반응한다는 이야기이죠. 마지막으로 두 칩 사이에 플라즈마로 열을 발생시켜 구리를 팽창시킴을 통해 두 칩을 연결합니다.
이것이 바로 하이브리드 본딩입니다. 기존 범프를 활용한 TC 본딩 방식에 비해 접착 방법이 까다롭긴 하지만 범프라는 중간 매개물이 없기 때문에 높이를 줄일 수 있고, 칩과 칩이 직접 맞닿는다는 점에서 데이터 전송 면에서 좀 더 효율성을 제고할 수 있습니다.
특히 16단으로 D램을 적층하는 HBM4의 경우 칩의 절대 높이를 줄이는 것이 화두로 떠오르는 만큼 삼성과 SK 하이닉스 양사 모두 하이브리드 본딩 도입을 심도 있게 논의중이라고 합니다. 앞으로 기술 개발의 방향성을 좀 더 면밀히 살필 필요가 있습니다.
베이스 다이 기능 확장과 파운드리 활용
HBM4는 단순한 데이터 저장을 넘어 일부 연산 기능을 수행할 수 있는 베이스 다이(Base Die)를 포함할 예정입니다. HBM3E까지의 베이스다이가 하는 역할은 HBM과 GPU와의 연결 고리로서 GPU가 필요로 하는 정보들을 HBM으로부터 전송 받아 GPU로 넘겨주는 것이었습니다. 즉 전통적인 D램 컨트롤러의 역할이 강했다고 보시면 됩니다.
하지만 HBM4에서는 베이스 다이에서 일부 AI 연산을 수행하여 곱씹은 데이터를 GPU로 전송하여 GPU의 연산 부하를 줄여주는 역할을 수행하게 됩니다. 모델을 만들어 내는 정도의 완벽한 연산은 아니지만 산발적으로 저장된 데이터들 중 유용한 값들을 추리고, 이들 중 가장 답에 가까운 데이터들을 추려 모델 사이즈를 다운 사이징하여 최종 연산자인 GPU로 넘기게 됩니다. 단순한 데이터 매개자로서의 역할이 아닌 모델을 추려 내는 역할까지 같이 수행하기 때문에 베이스다이의 성능 또한 기존 HBM의 베이스 다이에 비해 획기적으로 향상되어야 할 필요가 있습니다.
다음 그림과 같이 베이스 다이에는 다수의 연산을 위한 코어가 삽입되고, D램 컨트롤러도 훨씬 정교하게 작동될 것입니다. 그러므로 이를 위해서는 베이스다이 위에 쌓이는 D램의 성능 못지 않게 베이스다이의 성능 또한 중요하게 부각되어야 할 것입니다.
이를 위해 메모리 3사에서는 HBM4부터 베이스다이에 초미세공정을 적용합니다.
바로 TSMC와의 협력을 통해 5나노 베이스다이를 제작하게 되는 것인데요. SK 하이닉스가 메인 파트너가 될 것입니다. 최근 삼성전자에서도 고객사가 원한다면 TSMC와의 협력도 마다하지 않겠다고 밝힌 만큼 HBM4에서 베이스다이를 둘러싼 TSMC의 약진 또한 관전 포인트라고 생각합니다.
한편으로 삼성전자는 자체 파운드리에서 충분히 베이스 다이 제작이 가능함에도 불구하고 외부 파운드리 협력을 운운해야 할 만큼 수율이 박살난 것에 대해서 반성해야 할 것입니다. 또한 어떻게든 수율 개선을 위해 애써야 할 것입니다.
지금까지 HBM4를 둘러싼 기술적인 특징들을 네 가지 카테고리로 나누어 생각해 보았습니다. HBM4는 앞으로의 HBM 시장에서의 대세로 자리잡을 가능성이 크기 때문에 선점하는 기업이 그 효과를 오롯이 누리게 될 가능성이 높습니다. 삼성전자로서는 구겨진 자존심을 HBM4를 통해 설욕해야 하는 상황이고, SK 하이닉스는 이미 잘 쌓아 놓은 성을 HBM4를 통해 수성해야 하는 입장입니다. 앞으로의 기술개발의 향배가 어떻게 흘러가게 될지 관심을 갖고 지켜보아야 할 것입니다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
