AI의 심장, HBM
이제 AI는 거역할 수 없는 대세가 된 듯 하다. AI는 우리의 생활 주변에 보조적, 필수적, 안정성 등으로 출발 되어 미래의 삶에 또 다른 방향성을 제시할 도구가 되고 직업을 갖는 큰 틀에서도 새롭게 쓰여지며 앞으로 우리 삶의 흐름에 필수적일 것으로 보여진다.
산업 분야에서는 알고리즘을 베이스로 하여 AI가 이미 루틴으로 적용되고 있다. 즉 넷플릭스 등과 같은 OTT에서의 영화 추천 서비스와 기후변화 예측 등과 같은 분야에서도 AI 알고리즘이 이용되고 있다. 이 외에도 AI는 기후 변화가 다른 지역에 미치는 영향을 교육하고 예측하는 데에도 도움을 줄 수 있으며, 의료 시스템을 개선하기 위해 여러 가지 방법으로 활용되기도 한다.
이 외에도 자연 재해를 막기 위한 AI기술은 도시 내 노후화 된 공공 인프라를 파악해 업그레이드 작업에 착수할 수 있도록 돕기도 한다. 이는 주로 보조적 역할에 활용되는데, 그 이유는 아직 AI의 학습 능력 부족에 있다고 볼 수 있다. 따라서 더 많은 여러 산업의 다양한 경험의 데이터들에 의한 학습을 통해 AI스스로의 능력이 배가 된다면 좀 더 깊이 있는 결과를 만들어 내거나 미래의 방향성을 제시할 수 있으리라 예상된다.
결국 다양한 산업에서의 축적된 경험의 데이터 또는 인간이 삶을 살면서 경험을 했거나 또는 느꼈을 그 무엇을 데이터 화 한 텍스트들과 이미지 및 영상 기록 등 이 모든 데이터들이 보관되어지고 학습되어진 AI를 만났을 때 비로소 방향성과 미래의 어떤 결과를 예측한 제안서 등을 제공 받을 가능성이 높아진다는 것이다.
최근에 오픈AI가 발표한 SORA프로그램에 의한 영상 역시 디퓨젼 모델이라는 오픈AI 내의 프로그램을 통해 수천만장의 이미지와 영상 그리고 텍스트와 함께 노이즈(모래를 조금씩 섞어가는~)를 얹는 작업을 수천 시간 학습 시켜 다시 역으로 텍스트 모델인 트렌스포머라는 프로그램을 적용하여 얻어낸 결과들이다.
다시 말해 AI는 데이터를 통해 학습되어져야만 특정의 결과를 얻을 수 있는 것이며, 이러한 결과와 추가적인 경험적 데이터들이 누적 학습되어 지속적으로 인간의 뇌에 가까운 인공지능신경망의 형태로 진화하게 되는데, 여기서 등장하는 결과 데이터, 경험 데이터, 학습 데이터 등 수많은 다양한 종류의 데이터가 없이는 깊이 있는 해답을 얻기 힘들다. 따라서 이 다양한 종류의 방대한 데이터를 저장할 반도체가 필요하며 바로 이것이 최근에 전세계적으로 HBM반도체시장이 뜨고 있는 이유이며 얼마전 한국에 오픈AI의 샘 알트먼, 메타(페이스북)의 저커버거가 한국을 방문하여 SK하이닉스, 삼성전자를 방문한 이유이기도 하다.
HBM (High Bandwidth Memory) 반도체는 고대역폭을 제공하기 위해 설계된 새로운 유형의 메모리 기술이다. 기존의 DDR (Double Data Rate) 메모리와 달리, HBM은 스택 형태로 여러 메모리 층을 쌓아 올려, 한정된 공간 내에서 더 많은 데이터 전송 경로를 제공하고 대역폭을 크게 향상시킬 수 있는데, 이로 인해, HBM은 그래픽 처리 장치(GPU), 고성능 컴퓨팅(HPC), 서버, 네트워킹 장비 등 대량의 데이터를 빠르게 처리해야 하는 응용 분야에 사용된다.
위 이미지는 High Bandwidth Memory (HBM) 반도체의 구조를 보여주는 일러스트레이션이다. HBM 스택의 단면도를 나타내며, 여러 층의 메모리 다이들이 수직으로 쌓여 있고, 이들을 연결하는 실리콘 관통 비아(Through-Silicon Vias, TSVs)가 강조되어 있다. 또한, HBM 스택을 기판에 연결하는 베이스 인터포저 층과, 이 기판이 마더보드나 그래픽 카드에 연결되는 부분도 표시된다.
바로 이 HBM반도체 기술은 여러 세대로 발전해왔으며, 각 세대는 전송 속도, 용량, 에너지 효율 등에서 개선되어 왔었다. 그래서 세계 유수의 글로벌 IT기업들은 이 HBM반도체를 통해 AI의 능력을 향상 시키는 노력에 엄청난 재정 투자와 시간 투자를 하고 있다. 이러한 HBM반도체의 주요 특징을 살펴보면 다음과 같다.
고대역폭: HBM은 데이터를 전송하기 위해 넓은 인터페이스를 사용하는데, 이는 기존 메모리 솔루션보다 훨씬 높은 대역폭을 제공하기 때문이다.
에너지 효율: 데이터 전송 시 발생하는 에너지 소비를 줄이는 데 효과적이다. 즉 전력 소비를 줄이고 시스템의 에너지 효율을 높이는 데 도움이 된다.
스택 구조: 메모리 층을 수직으로 쌓아 올림으로써 공간 효율성을 높이고, 칩과의 직접적인 연결을 통해 성능을 향상시킨다.
3D 실리콘 스루-실리콘 비아 (TSV) 기술: 메모리 층 사이의 수직 연결을 위해 TSV 기술을 사용하는데, 이는 높은 속도로 데이터를 전송할 수 있게 해주기 때문이다.
이러한 특징의 고성능 컴퓨팅과 그래픽 처리에 있어 중요한 역할을 하는 HBM (HighBandwidth Memory) 반도체는 주로 고성능 컴퓨팅 환경에서 높은 데이터 전송 속도와 대역폭이 요구되는 응용 분야에 활용된다.
그래픽 처리 장치 (GPU): HBM은 고해상도 비디오 게임, 가상 현실 (VR), 3D 렌더링 같은 그래픽 집약적 작업에서 GPU의 성능을 향상 시키는 데 HBM을 사용함으로써, GPU는 더 높은 프레임 속도와 개선된 그래픽 품질을 제공할 수 있다.
고성능 컴퓨팅 (HPC): 앞서 언급되었던 과학 연구, 기후 모델링, 생명 과학, 금융 모델링과 같은 복잡한 계산을 수행하는 HPC 시스템에서 HBM은 빠른 데이터 처리와 효율적인 에너지 사용을 가능하다.
인공 지능 (AI) 및 머신 러닝 (ML): AI와 ML 모델은 대량의 데이터를 처리하고 학습해야 하는데, HBM은 바로 이러한 모델의 훈련과 추론 과정을 가속화하는데 활용된다.
데이터 센터 및 서버: 대규모 데이터 처리와 실시간 분석이 요구되는 데이터 센터와 서버에서 HBM은 빠른 데이터 액세스와 처리를 제공하여, 서비스의 응답 시간을 단축 시키고 전반적인 성능을 향상 시킨다.
네트워킹 장비: 고속 네트워크 스위치와 라우터에서 HBM은 높은 데이터 처리량과 낮은 지연 시간을 제공함으로써, 데이터 센터와 통신 네트워크의 효율성을 높인다.
자동차: 자율 주행 자동차와 같은 첨단 운전자 지원 시스템 (ADAS)에서 HBM은 실시간으로 대량의 센서 데이터를 처리하고 분석할 수 있는 능력을 제공하기도 한다.
이처럼 각 영역별로 간략히 살펴본 HBM반도체의 특징이나 활용성을 미루어 보아 앞으로 HBM 반도체 시장의 마켓규모는 글로벌IT기업들이 대규모 투자를 하고 있는 한 HBM (High Bandwidth Memory) 반도체의 성장 규모에 대한 예측은 상당히 긍정적이다. Mordor Intelligence에 따르면, HBM 시장 규모는 2024년에 약 2.52억 달러로 추정되며, 2029년까지 7.95억 달러에 이를 것으로 예상되며, 예측 기간(2024-2029) 동안 평균 성장률(CAGR)은 25.86%에 달할 것으로 보인다.
위 이미지는 성장 규모에 대한 HBM 시장 예측 그래프이다. 2024년에 2.52억 달러로 시작하여 2029년에 7.95억 달러, 그리고 2031년에는 12765.62백만 달러로 상당한 성장이 예상되는 이 그래프는 HBM 기술의 시장 성장 잠재력을 시각적으로 보여준다.
이러한 성장은 고대역폭, 저전력 소비의 필요성 증가와 같은 주요 요인들에 의해 주도 될 것으로 예상되고 있으며, 또 다른 보고서에서는 글로벌 HBM 시장 규모가 2022년에 1,641.10백만달러였으며, 2031년까지 12,765.62백만 달러에 이를 것으로 예상되며, 이 기간 동안 연평균 성장률(CAGR)은 25.60%로 예측되는 이유는 HBM 기술이 고성능 컴퓨팅, 인공 지능, 대규모 데이터 분석, 고급 그래픽 처리와 같은 분야에서 점점 더 중요해지고 있음을 반영하고 있는 것이다.
특히 HBM의 고대역폭과 에너지 효율성은 이러한 기술적 요구를 충족시키는 데 필수적이며, 시장의 확장을 촉진할 것으로 보이기도 한다. 앞으로 엄청난 성장이 기대되고 있는 HBM반도체중에서도 NBDIA가 전세계 그래픽카드(GPU)의 대부분을 장악하는 있는 H100, H200같은 영상이나 이미지 처리를 위한 장비들을 메타, 오픈AI같은 곳에서는 이미 15만대이상 장비를 운용중인데도 이 HBM반도체가 더 필요한 이유는 앞으로의 시장에서 영상베이스의 텍스트가 활용되는 잠재 시장을 내다보고 있기 때문이다.
어떻게 보면 NBDIA의 GPU와 호환됨으로서 더 많은 가치 있는 결과를 얻을 수 있다는 확신이 있기에 HBM반도체 구입에 글로벌IT기업들이 발빠르게 움직이는 것으로 해석될 수 도 있을 것 같다. 한편 이 HBM반도체는 한국의 SK하이닉스가 선두 주자로서의 자리매김을 하고 있으며 뒤이어 두번째로 세계 반도체 시장의 맹주인 삼성전자가 글로벌시장을 넓혀가고 있다는 점에서 한국의 반도체 산업이 미래 성장 먹거리로서 세계시장을 주도하고 있다는 것에 대한민국 국민의 한사람으로 매우 뿌듯하다.
HBM반도체는 아주 고단위의 최첨단 기술이기에 고도의 기술력과 제조 능력을 요구하기 때문에, 몇몇 주요 반도체 제조 기업들만 HBM을 생산하고 있다.
한국의 SK 하이닉스 (SK Hynix)는 HBM 기술의 선두주자 중 하나로, HBM, HBM2, 그리고 HBM2E를 포함한 여러 세대의 HBM 메모리를 제공하고 있으며, 고대역폭과 낮은 전력 소비가 필요한 다양한 애플리케이션에 이 메모리 솔루션을 공급하고 있고, 삼성전자 (Samsung Electronics)도 HBM 메모리솔루션의 주요 제조사 중 하나로서 고성능 컴퓨팅 시장을 겨냥해 HBM2 및 HBM2E 메모리 제품을 생산하며, 지속적으로 메모리 기술을 혁신하고 있다.
이외에도 마이크론 (Micron)은 다양한 메모리 솔루션을 제공하는 세계적인 반도체 회사로서, HBM 기술에 대한 연구 및 개발을 진행하고 있으며, 특정 애플리케이션을 위한 HBM 솔루션을 시장에 제공하고 있다. 그렇다면, HBM반도체의 가장 중요한 핵심은 엄청난 데이터를 저장하는 반도체로서의 역할을 하게 되는데, 만약에 A4용지 10000장의 이미지를 출력하는데 HBM반도체 몇개가 필요할까라는 궁금증이 생겨 필자가 직접 챗GPT에 본 질문을 실제로 해 보았다. 그 결과는 다음과 같다.
질문: A4용지 10000장의 이미지를 출력하는데 HBM반도체 몇개가 필요할까?
챗GPT의 답: A4 용지 10,000장의 이미지를 출력하는 데 필요한 HBM 반도체의 수를 추정하기 위해, 먼저 이미지의 데이터 크기와 HBM의 저장 용량을 고려했으며, 실제 필요한 HBM 반도체의 수를 계산하기 위해서는 몇 가지 가정을 두었다.
가정 1) 이미지의 평균 데이터 크기: 이미지의 크기는 해상도와 압축률에 따라 크게 달라질 수 있다. 예를 들어, 고품질의 JPEG 이미지는 대략 2MB 크기일 수 있다.
가정 2) HBM의 저장 용량: HBM은 주로 고대역폭의 메모리 접근을 제공하는 데 초점을 맞추고 있으며, 저장 용량보다는 데이터 전송 속도에 더 중점을 둔다.
HBM의 세대에 따라 용량이 다르지만, 예를 들어 HBM2의 경우 한 스택당 최대 8GB의 용량을 제공할 수 있다. 이제, 고품질 JPEG 이미지 10,000장이 약 2MB 크기일 경우 총 데이터 크기를 계산해 보면, MB총 데이터 크기 : 10,000 장×2MB=20,000 MB=20GB.
따라서, 총 20GB의 데이터 저장이 필요하다. HBM2 스택 하나가 8GB를 제공한다고 할 때 필요한 HBM2 스택의 수를 계산할 수 있다. 필요한 HBM 스택 수 : 20GB/8GB=2.5스택이 필요하다. 위의 계산을 통해 필요한 HBM 스택의 수를 구해보면, A4 용지 10,000장의 고품질 JPEG 이미지를 저장하기 위해서는 약 2.5개의 HBM2 스택이 필요하다.
실제로는 반도체 스택의 수를 반으로 나눌 수 없으므로, 실제 필요한 HBM 스택의 수는 3개가 될 것이다. 이는 각 이미지에 대해 충분한 저장 용량을 제공하기 위해 필요한 최소한의 HBM 스택 수를 의미한다.
필자가 위에서 얻은 결과값은 챗GPT를 통해 얻은 실제 결과이다. 이렇듯 다양한 질문을 통해서 우리가 궁금해하는 사회 내의 여러 결과들을 얻을 수 있으나, 아직 먼 미래의 어떤 예측, 추정 등의 결과들에 대해 충분한 학습이 이루어지지 않아 좀 더 많은 AI의 학습이 이루어져야만 할 것으로 보인다. 바로 이 학습에 HBM 반도체가 그 역할을 할 수 있는 것이기에 그만큼 중요하다고 할 수 있다.
이 외에도 챗GPT에 ‘만약에~?’를 앞세운 질문 몇 가지를 더 해 보았는데 HBM 반도체에 있어서 가장 많은 데이터량을 차지하는 영상이나 사진 이미지 같은 데이터를 이용한 학습 과정을 통해 어떠한 결과들이 나오는지에 대해서 였다.
위 이미지는 비디오 게임이나 시뮬레이션에서 다양한 물리적 상호작용을 복잡한 장면이다. 이 장면에는 충돌 물리학을 보여주기 위해 장애물에 부딪히며 변형되는 자동차, 환경 물리학을 시연하기 위해 바람에 휘는 나무, 그리고 중력의 영향을 보여주기 위해 난간에서 뛰어내리는 캐릭터의 모션 블러와 곡선 궤적이 포함되어 있다. 배경은 도시와 자연 요소가 혼합된 상세한 가상 환경을 보여주는 이미지이다.
위 이미지는 가상 환경에서 날씨 변화, 흐르는 물, 화재, 연기, 폭발과 같은 다양한 환경적 요소를 동적이고 상세하게 보여주는 장면이다. 이 장면에는 배경에 번개가 치는 폭풍우 날씨, 전경에 맑은 물이 흐르는 강, 한쪽에는 불과 연기가 보이는 숲 속 화재, 그리고 건물 근처에서 발생하는 폭발이 포함되어 있다. 이러한 요소들이 환경과 어떻게 상호작용하는지를 보여주며, 풍부하고 상세한 풍경 설정은 이러한 환경 효과의 대비와 영향을 강조하고 있다.
위 이미지는 고급 그래픽 처리 장치(GPU)와 고대역폭 메모리(HBM) 기술이 TV나 스마트폰에서 시각적 경험을 어떻게 향상시킬 수 있는지 보여주는 분할 화면 비교 장면이다. 한쪽에서는 TV와 스마트폰이 가상 환경의 기본적이고 상세하지 않은 버전을 표시하고, 다른 한쪽에서는 같은 장치들이 훨씬 더 상세하고 동적인 같은 환경의 버전을 선보이며, 고급 GPU와 HBM 사용으로 인한 품질 차이를 강조하고 있다.
위의 질문과 이미지들은 HBM반도체들을 매개로 한 질문들이었으며, 이러한 질문에 의해 얻어진 결과물은 이성적인 전문가들의 시선으로 보면 충분한 결과값이 아닐 수도 있겠지만, 이는 현재까지의 AI기술에 의해 저장되어진 학습데이터로 얻어진 것이라는 걸 강조하고 싶다.
이는 앞서 계속 언급된 대로 충분한 학습을 위한 경험 축적의 다양한 데이터들이 저장되고 또 수천시간의 AI스스로의 학습이 지속적으로 이루어져야만 한다는 전제와 함께 충분한 데이터와 학습은 더 훌륭한 결과물을 얻을 수 있다는 말도 된다. 아마도 앞으로는 세상에서 일어나는 여러현 상의 모든 것에는 결과로서의 데이터로 남아있기에 저장하고 학습되는 과정은 이제 루틴으로 이루어질 것이다. 그것은 또 다른 가치 있는 전문가들의 결과값으로 인정받게 될 것이다.
경계현 삼성전자 디바이스솔루션(DS) 부문장(사장)은 지난 2월15일경 고대역폭 메모리(HBM)에 대해 자신의 소셜미디어에 올린 글에서 “AI와 강력한 시너지를 내는 사업에 종사하는 것은 정말 신나는 일”이라고 밝히면서 “이렇게 빠르게 진화 하는 시대가 우리를 어디로 데려가든 당황하지 말라” 라는 말에서 우리의 미래가 불투명할 수도 혹은 밝을 수도 있다는 것인데, 늘 새로운 전기를 마련하는 문명의 이기는 양면성을 갖고 있다는 것을 우리는 잘 안다. 가깝게는 스마트폰에 의해 적용해왔고 지금껏 잘 활용하고 있다. 그리고 얼마전 마치 마법상자 같은 챗Gpt가 세상에 나오면서 MS의 윈도우나 구글의 검색이 필요 할까?
같은 회의론도 있겠지만, 이는 오픈AI는 AI검색시대를 만들려 하고 있기 때문이다. 이로 인해 일어날 여러 변화들은 우리들은 겪겠지만, 경사장의 말대로 기술의 진화는 무조건 우려만 있는 것이 아니라 항상 다양한 버전들의 활용으로 보다 더 사용자 친화적인 형태로 진화 되어왔다. 이는 그만큼의 우려나 염려들을 감소시키고 보다 더 고객들의 서비스 지향 기업들의 마인드가 있기에 가능한 것이다. 즉 당황하지 말라는 얘기다. 일시적인 현상들로 인해 당황할 수도, 실수할 수도 있겠지만, 처음부터 프로 전문가는 없다.
그것은 일반 기업의 마케터들이 고객의 여정을 데이터 화 하는 것과 같을 것이다. 기업의 쇼핑몰에서, 또는 스마트폰의 앱 서비스에 남긴 고객들의 검색 데이터들은 새로운 상품 개발과 더 나은 고객 서비스를 마련하기 위한 소중한 결과값으로서 AI와 함께 쓰여질 텐데, 이때 AI기술을 적용한 서비스가 진행 될 때에 다수의 소비자들은 적응에 애로가 있을 것이다.
인터넷이 세상에 나왔을 때, 키오스크로 음식 주문을 해야할 때 등등 적잖은 불편은 우리들을 조금씩 앞으로 나아가도록 기술의 진정한 편리를 느껴왔기 때문에 당황은 일시적일 수도 있다. 그래서 조만간 우리들 앞에 AI기술을 활용한 기업들의 서비스 상품들이 나타날 것이며, 이를 우리들의 삶을 만족스럽게 해줄 편리한 기술이라는 걸 인지해야 할 것이다.
Gil Park님의 브런치에 게재된 글을 모비인사이드가 한 번 더 소개합니다.
