2024년 HBM : 메모리 혁신과 AI 반도체 시장
2023년은 여러 모로 반도체 업계에 있어서 암흑과 같은 시기였습니다.
2022년 하반기부터 지속적인 하락이 이어졌던 메모리 반도체 가격으로 인하여 국내의 삼성과 SK 하이닉스는 암울한 한 해를 보내야 했습니다. 무엇보다 파운드리에 치중된 투자로 인해 차세대 메모리에 대한 대응이 늦었던 삼성전자의 타격이 컸습니다.
삼성전자는 HBM 사업팀을 일시 해체하는 등 메모리 반도체의 미래를 준비하는 데에 소극적이었습니다. 반면 파운드리에 힘을 잔뜩 주면서 TSMC를 추격하겠다는 의지를 드러내곤 했었죠. 하지만 삼성전자의 이러한 전략적 선택은 결과적으로 패착이었다는 것이 중론입니다.
SK 하이닉스가 차세대 메모리의 선두주자인 HBM3에서 앞서나가면서 HBM의 선구자 지위를 공고하게 했습니다. 반면 메모리 제왕 삼성전자는 엔비디아의 퀄 테스트를 통과하지 못하여 엔비디아 H100에 자사의 HBM 3를 공급하는 데에 실패하는 굴욕을 맛보아야만 했습니다. 게다가 HBM3에서 뒤쳐지기 시작한 삼성전자는 본격적으로 메모리의 왕좌를 위협받기 시작하기에 이릅니다.
2023년 1분기에는 삼성전자가 감산하지 않고 배짱 생산을 지속한 결과 42.8% 점유율을 확보할 수 있었던 반면 2022년 4분기부터 감산에 들어갔던 SK 하이닉스는 마이크론에 2위자리마저 빼앗기는 등 굴욕을 당하는 그림이 펼쳐지고 있었습니다. 하지만 2022년 12월 세계를 강타한 챗 GPT의 열풍은 생성형 AI 전성시대를 불러왔고, 빅테크들을 중심으로 엔비디아의 H100 GPU 가속기를 확보하기 위한 쟁탈전이 벌어지기 시작합니다. 바로 이것이 SK 하이닉스의 변곡점이 되었습니다. SK 하이닉스는 삼성전자의 빛에 가려 만년 메모리 반도체 2위 업체였지만 삼성전자보다 한 수 앞서는 분야가 있었는데요. 바로 차세대 메모리라고 불리는 HBM 분야에서는 삼성보다 앞서는 모습을 보여주었습니다. SK 하이닉스는 삼성전자보다 먼저 HBM 개발에 성공하고, 시장을 개척했던 선구자였습니다.
2013년 하이닉스가 HBM을 처음 개발할 때쯤만 해도 분명 차세대 메모리로 각광은 받겠지만 그 시기가 언제가 될 것이라고 특정하기는 쉽지 않았습니다. 사실 SK 하이닉스에게도 삼성에게도 HBM은 언제 터질 지 모르는 희망고문의 결정체였다고 보아도 과언은 아닐 것입니다. 결국 삼성전자는 HBM 2세대와 3세대에서 SK 하이닉스에게 승기를 잡았음에도 불구하고 파운드리 사업부 독립 선언과 함께 HBM 부서를 해체하는 악수를 둡니다. 그리고 SK의 시간이 돌아옵니다. 2021년 10월 HBM 3를 개발하는 데에 성공한 하이닉스는 2022년 6월부터 본격적인 양산체제로 들어서면서 시장에 본격적으로 HBM3를 공급하기 시작하더니 챗 GPT가 대박을 친 2022년 12월부터 HBM이 서서히 각광을 받기 시작하더니 엔비디아에 HBM3를 독점적으로 공급하는 영예를 얻게 됩니다.
부랴부랴 삼성도 HBM 대전에 합류하긴 했지만 일시적으로 해체했던 사업 팀을 다시 묶어 대응하는 것이 말이 쉽지, 거대한 조직을 재편하는 일이 그리 쉬운 일은 아니었습니다. 물론 그나마 발빠르게 대처하면서 2023년 4분기부터 HBM3를 양산하기 시작하는 데에 성공했고, 동시에 엔비디아와 공급계약을 체결하는 데에도 성공합니다. 하지만 HBM에서만큼은 후발주자인 삼성은 이젠 SK 하이닉스와 마이크론과의 힘겨운 경쟁을 이어가야 하는 형편입니다.
SK 하이닉스와 마이크론에 조단위의 선수금을 챙겨주면서까지 HBM3 확보에 혈안이 된 엔비디아지만 삼성과는 왠일인지 공급계약 체결 뉴스만 났을 뿐 선수금 이야기는 찾아볼 수가 없습니다. 한 마디로 짜바리, 찬밥신세로 전락해 버린 것은 아닌지 걱정될 지경입니다.
자 그렇다면 SK 하이닉스를 일약 스타덤에 올라서게 한 HBM이란 반도체는 대관절 어떤 반도체일까요? 간단히 살펴보길 바랍니다.
HBM (High Bandwidth Memory)은 고성능 컴퓨터 시스템 및 그래픽 카드와 같은 응용 분야에서 사용되는 혁신적인 메모리 기술입니다. 간단히 말하자면 D램을 여러 층으로 적층하고 각 층을 TSV 관통전극으로 연결한 구조의 메모리가 바로 HBM입니다. HBM은 하나의 칩셋 안에 CPU내지는 GPU등 로직 다이와 통합되어 하나의 칩셋으로 패키징됩니다. 따라서 칩간 거리가 획기적으로 줄어들기 때문에 메모리 다이에서 로직 다이로 대량의 데이터를 빠르게 전송하는 데에 유리합니다.
그렇다면 HBM은 말 그대로 High Bandwidth 즉 고대역 메모리인데요. 어떤 방식으로 고대역을 구현하는지에 대해서도 간단히 설명드리겠습니다. HBM이 높은 대역폭을 구현하는 주요 특징은 그 3D 스택 구조와 관련이 있습니다. 스택이란 층층이 쌓아 올린 구조라는 의미입니다. HBM은 고성능의 D램을 수직으로 적층함을 통하여 용량의 한계를 극복하고, 각 층을 TSV 관통 전극으로 연결함을 통하여 데이터의 전송 속도를 높이게 됩니다.
TSV(Through Silicon Via)는 3D 스택 구조의 핵심 요소 중 하나로써 실리콘 웨이퍼에 미세한 구멍을 뚫고, 이 구멍에 금속전극을 통과시킴을 통해 각 적층간의 데이터 이동통로를 만드는 공정을 의미합니다. 이를 통해 HBM 메모리 셀층 간의 전기적 연결이 이루어집니다. TSV를 통해 데이터가 각 층 간에 직접 이동할 수 있으며, 이는 기존의 PCB 트레이스를 통한 데이터 이동보다 빠르고 효율적입니다.
또한 HBM에는 여러 독립적인 데이터 채널이 존재합니다. 또한 각 데이터 채널은 병렬로 연결되어 있어 다양한 데이터에 동시 엑세스 하는 것이 가능합니다. 또한 입출력 단자의 수 또한 늘어나기 때문에 여러 병렬 데이터들을 한 번에 로직다이로 효과적으로 전달할 수 있습니다. 이러한 HBM의 병렬 구조 다중채널과 I/O(입출력 단자)의 증가는 HBM이 말 그대로 High Bandwidth 즉 고대역을 실현하는 역할을 수행합니다.
하이브리드 본딩과 PCIe 통한 칩간 연결성 최적화 또한 HBM의 대역폭을 향상시키는 큰 역할을 수행합니다.
하이브리드 본딩은 서로 다른 칩을 연결할 때 사용하는 연결 방식입니다. 보통 어드밴스드 패키징이라고 불리는 범주 안에 들어가 있는 하이브리드 본딩은 로직 다이와 메모리 다이를 부착하는 데에 있어서 칩 다이와 칩 다이를 매개물이 없이 직접 부착하는 방식으로서 데이터 이동 통로의 역할을 하는 전극을 이온화하여 칩과 칩 사이의 이음매 사이에 얇게 배치하는 것이 핵심입니다.
이렇게 메모리 다이와 로직 다이의 거리를 획기적으로 좁힘을 통하여 좀 더 많은 데이터가 좀 더 효과적으로 메모리로부터 로직 다이에 전송되도록 합니다. HBM의 경우 주로 GPU나 AI 가속기의 로직 다이와 한 칩 안에 통합하여 패키징 되기 때문에 HBM과 하이브리드 본딩은 떼려야 뗄 수 없는 밀접한 상관관계를 갖고 있습니다.
HBM은 말 그대로 높은 대역폭을 확보하기 위하여 D램을 여러 층으로 적층하고, 각 층을 TSV 전극으로 연결하는 것과 로직 다이와 메모리 다이를 직접 부착하여 데이터 이동거리를 최소화하는 것이 핵심이라고 말씀을 드렸습니다. 그러므로 HBM과 칩을 부착하는 기술인 본딩은 떼려야 뗄 수 없는 상관 관계가 있다고 할 수 있겠습니다. 그렇다면 HBM에 적용되는 본딩 기술은 무엇이 있을까요?
HBM(High Bandwidth Memory)에서 사용되는 두 가지 중요한 본딩 기술은 TC(TSV-first Chip) 본딩과 하이브리드 본딩입니다. 이 두 기술은 HBM 메모리의 3D 스택 구조에서 다른 적용을 가지고 있습니다.
먼저 TC 본딩은 TSV(Through Silicon Via)를 기반으로 하는 3D 스택 구조에서 메모리 셀이 먼저 적층되는 기술입니다. 주로 HBM2 및 HBM2E에서 사용되는 전통적인 3D 스택 기술 중 하나입니다. 본딩은 말 그대로 칩과 칩을 부착하는 기술입니다. TC본딩은 위로 쌓아 올린 칩과 칩을 연결하는 기술로서 TSV 관통 전극과 마이크로 범프를 활용하여 둘 이상의 칩을 적층할 때 적용되는 본딩 기법입니다.
또한 HBM같은 경우는 여느 D램과는 달리 시스템 칩 안에 하나의 패키징으로 통합되는 메모리입니다. 따라서 이종 칩간의 연결이 매우 중요한 메모리입니다. 따라서 HBM과 로직다이가 연결될 때 하이브리드 본딩이 활용됩니다. 하이브리드 본딩이란 칩과 칩을 직접 맞붙이는 방식의 본딩 방식입니다. 전통적인 TC본딩이 구리 기둥과 납으로 된 마이크로 범프를 활용하여 칩과 칩을 수직으로 연결하는 방식이었다면 하이브리드 본딩은 TSV 관통전극과 칩 사이의 완충막인 범프를 없애고 SIO2로 구성된 산화막을 활용하여 칩과 칩을 다이렉트로 연결하는 방식의 본딩입니다.
마이크로 범프가 빠지고, 구리 기둥이 웨이퍼 안으로 매립되는 형식이기에 칩의 두께를 획기적으로 줄일 수 있으며 데이터 이동 속도를 더욱 향상시킬 수 있다는 장점이 있습니다. 다만 칩 안에 매립된 구리기둥을 정확히 오차 없이 맞붙이는 기술과 산화막을 성장시키는 기술 등 고난도의 기술이 요구되는 공정입니다. 따라서 현재는 HBM의 D램 다이는 TC본딩을 활용하여 적층하고, 메모리 다이와 로직 다이를 연결할 때 하이브리드 본딩을 활용하는 방식으로 두 방식의 본딩을 혼용하여 사용하고 있습니다.
다음 그림은 HBM 3의 조감도입니다.
맨 D램 다이가 수직으로 쌓여 있고, 아래에 로직 다이가 포함되어 있습니다.
이 로직 다이는 GPU나 CPU 같은 로직 블럭이 아닙니다. 그럼 무엇일까요?
HBM -PIM이라는 반도체를 들어보셨을 것입니다. 단순히 HBM이 저장했던 데이터를 전달만 하는 반도체가 아니라 어느 정도 로직다이에서 데이터를 연산하여 정리된 데이터를 CPU나 GPU 등 코어 다이로 보내어 연산 속도를 증강시켜주는 형태의 신개념 메모리입니다.
단순 메모리가 아닌 연산 기능이 가미된 메모리라고 보시면 될 것입니다. HBM2E부터 적용되기 시작된 기술입니다. 즉 TC 본딩으로 D램 다이를 적층하는 것만으로도 충분했던 HBM은 이제 로직 다이가 결합된 HBM-PIM으로 진화되면서 하이브리드 본딩이 필요한 반도체로 진화하게 되었다는 것입니다.
HBM이 2024의 키워드가 될 수 있을까요?
언론들은 앞다투어 2024년에는 HBM 시장이 본격적으로 만개하는 시장이 될 것이라고 예상하고 있습니다. 그도 그럴 것이 엔비디아에 이어 AMD에서도 MI-300을 출시하면서 HBM 수요가 폭발할 조짐을 보이고 있기 때문입니다. HBM은 이제 AI 반도체의 필수품으로 자리를 잡고 있는 형국입니다.
엔비디아와 AMD간의 AI 가속기 점유율 싸움이 벌어진다는 것은 곧 HBM 시장의 파이가 커진다는 것을 의미합니다. 이는 한국의 메모리 기업들에게는 더없는 희소식일 것입니다. 범용 AI의 폭발기가 될 것이라고 여겨지는 2024년이 한국 반도체 기업들에게 놀라운 기회로 작용하여 큰 이익으로 돌아오길 기대해 봅니다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
