텐스토렌트 AI가속기는 엔비디아의 적수가 될 수 있나?
엔비디아는 자타 공인 AI 가속기의 최강자입니다. 게이밍 외장 GPU 제조사였던 엔비디아는 2011년부터 꾸준하게 AI 세상에 대비하고 있었습니다. 자체 소프트웨어 플랫폼인 CUDA를 개발하여 성공적으로 배포 했고,
2011년 테슬라 AI 가속기를 출시하면서 비로소 가속기 시장을 개척하기에 이릅니다. 이후 새로운 아키텍쳐가 나올 때마다 가속기 모델을 꾸준히 출시하면서 조용히 미래를 준비하고 있었습니다. 이러한 철저한 준비는 엔비디아를 대체제가 없는 AI 가속기의 최강자가 되게 만들었습니다. 현재 AI 가속기 시장은 엔비디아의 독점시장이라고 보아도 무방할 만큼입니다.
AMD가 엔비디아의 대항마로 꼽히지만 점유율 면에서 보면 상대가 되지 않을 지경입니다. 경쟁사들에게 있어서는 재앙이라고 불릴만한 말 그대로 엔비디아 천하입니다.
엔비디아가 파죽지세로 시장을 휩쓸고 있지만 약점이 없는 것은 아닙니다.
엔비디아의 GPU 기반 AI 가속기는 AI 연산 성능을 높이는 대신 전력소모량 또한 높습니다.
즉 기하급수적으로 늘어나는 AI 연산을 차질없이, 신속하고, 정확하게 수행하기 위해서는 고성능의 AI 가속기가 필요하고, AI 가속기가 제대로 된 성능을 발휘하기 위해선 높은 전력이 필요합니다.
현재 엔비디아의 주력 AI 가속기인 H100, H200 등의 호퍼 시리즈 가속기들은 약 450~700W 정도의 전력을 소모한다고 알려져 있습니다. 이런 가속기가 수만개 붙어 있는 데이터센터가 소모하는 전력량도 어마어마합니다. 실제 현재 SMR 관련주들이 관심을 받고 있는 이유 또한 AI 시대의 도래와 함께 찾아온 전력 수요 충족이라는 과제가 배경에 깔려 있다고 볼 수 있습니다.
높은 가격 또한 엔비디아에게는 잠재적 위협이라고 할 수 있습니다. 현재 H100의 가격은 약 45,000~50,000달러 수준에서 책정되고 있습니다.
칩 하나에 6~7,000만원 수준의 가격이 형성되다 보니 빅테크 업체와 같은 규모가 큰 대기업이야 출혈을 감수하고서라도 투자에 나서겠지만 이제 막 플랫폼 사업을 시작한 스타트업이나 중소규모의 데이터센터 기업들이 투자하기에는 가격이 상당히 높은 상황입니다. 게다가 지금은 엔비디아 외에는 대안조차 뾰족한 수단이 없는 상황이기 때문에 울며 겨자먹기로 출혈 경쟁에 나설 수밖에 없는 상황입니다. 중소 업체들의 부담은 늘어나고 AI 생태계 내에서도 부익부 빅익빈 현상이 두드러지게 나타나고 있습니다.
시장이 이런 상황이다 보니 업계에서는 보다 저렴하면서도 어느 정도의 성능을 보장하는 저렴한 가속기에 대한 수요가 생기기 시작했습니다. 보다 적은 전력을 소모하면서도 엔비디아 GPU에 비해 확실히 낮은 가격으로 경쟁력을 확보할 수 있는 중저가 AI 가속기 시장이 개화하기 시작했습니다. 그리고 그 중심에 텐스토렌트 라는 기업이 있습니다.
텐스토렌트는 캐나다에 소재한 AI 가속기 팹리스 기업입니다.
2016년 류비사 바이치가 창업한 컴퓨터 하드웨어 스타트업으로, 2021년에 현대 반도체의 아버지라 불리는 짐 캘러가 기술최고책임자로 부임하며 화제를 모았습니다. 짐 캘러는 2023년 최고경영자로 올라서며 현재 텐스토렌트를 이끌고 있습니다.
사진상 좌측이 짐켈러, 우측이 루비사 바이치텐스토렌트가 화제가 되는 이유는 2021년에 출시했던 그레이스컬의 후속작 웜홀이 실제 판매에 들어갔기 때문입니다. 그레이 스컬과 마찬가지로 웜홀도 RISC-V 기반으로 설계된 반도체입니다. RISC-V는 인텔의 X-86, ARM 아키텍쳐에 대항하는 오픈소스 반도체 설계 아키텍쳐입니다.
RISC-V는 아직 저변이 넓지 않고, 설계와 개발상의 어려움이 있다는 단점이 있지만 병렬 연산과 저전력, 고성능에 특화되어 있어 AI 시대에 각광받는 아키텍처로 주목받고 있습니다. 모든 RISC-V 기반의 반도체가 그런것은 아니겠지만 RISC-V 기반 반도체의 메모리는 HBM이 아닌 LPDDR이나 GDDR 등 HBM에 비해서 전력소모가 적은 형태의 메모리가 탑재됩니다.
이번 판매에 들어간 웜홀의 스펙을 보아도 GDDR 6가 탑재됩니다.
잠시 웜홀 가속기의 스펙을 살펴보면 다음과 같습니다.
하이엔드 라인업인 n300s의 메모리는 GDDR 6 24G가 탑재됩니다. 반면 엔비디아의 가속기들에는 심지어는 중국에 들어가는 저사양 제품까지 모두 HBM이 탑재됩니다. 한 마디로 스펙 차이는 어쩔 수가 없다는 결론에 도달합니다.
8비트 부동소수점을 뜻하는 FP8 코어의 연산 속도는 웜홀의 경우 266-466 테라플롭스입니다. 반면 H100은 FP8 텐서코어의 AI 연산 속도가 3026-3958 테라플롭스에 달합니다. 엄청난 성능차이를 보여줍니다.
메모리 스펙과 연산속도만 보더라도 웜홀 가속기가 엔비디아가 장악하고 있는 빅텍크를 대상으로 한 가속기는 아니라는 결론을 쉽게 내릴 수 있습니다. 그렇다면 이렇게 저사양임에도 불구하고 텐스토렌트의 웜홀이 주목을 받는 이유는 무엇일까요? 바로 '가성비'에 있습니다.
엔비디아 H100의 가격은 다음의 그래프와 같습니다.
반면 텐스토렌트의 가격은 웜홀 n150이 999달러(약 138만 원), n300이 1399달러(약 194만 원)다. 웜홀 N300S 4개로 구성된 패키지인 라우드박스는 12000달러(약 1667만 원대), 콰이어트박스는 15000달러(약 2083만 원대)로 책정되었다고 합니다. 엔비디아 GPU가 6,000만원 정도의 가격대가 형성되는 반면 패키지 상품을 구매하더라도 1/3 수준의 가격으로 저렴하게 구매가 가능합니다.
단순 성능으로 볼 때 웜홀 n150 및 n300의 성능은 전술 했듯 그리 높지 않습니다. n300의 처리 성능은 300W 소비전력 기준 FP8로 466 테라플롭스입니다. 엔비디아 H100가 300W로 FP8에서 1670 테라플롭스니 세 배 정도 차이가 납니다. 하지만 가격은 n300이 1399달러, H100의 비공식 소매가는 3만~4만 5000달러(약 4000만 원~6000만 원대)로 최대 30배나 차이가 납니다.
서두에서 저는 엔비디아 GPU 기반 AI 가속기의 최대 약점이 떨어지는 전성비, 그리고 가격이라고 말씀드렸습니다. 그래서 빅테크 기업이 아니라면 엔비디아 AI 가속기의 대규모 투자 결정이 매우 어려울 수 있다고 말씀을 드렸습니다. 그래서 이제 처음 시작하는 AI 스타트업이나 대규모의 하드웨어 투자가 어려운 중소형 AI 업체들에게 좋은 대안으로 제시될 수 있을 것입니다.
애시당초 틈새시장을 파고드는 전략으로 텐스토렌트는 관심을 받고 있습니다.
사실 엔비디아는 AI 가속기 시장의 선두주자로서 경쟁사들에게 성능 면에서 뒤쳐져선 안 되는 입장에 처해 있습니다. 그러니 가격이 바싸더라도, 전력을 많이 잡아 먹더라도 더 고성능, 더 고사양, 더 다양한 지원 그룹들을 확보해야 합니다. 범용 반도체를 만드는 만큼 어느 데이터센터에 탑재되더라도 무리 없이 높은 성능을 발휘할 수 있도록 말 그대로 팔방미인형 칩을 만들어야 하는 부담이 있습니다.
반면 텐스토렌트나 리벨리온, 퓨리오사 AI 등 신생 팹리스 스타트업들의 경우에는 엔비디아가 약한 부분을 파고들 여지가 많습니다. 예를 들면 삼성전자와 네이버가 합작 개발중인 마하칩 같은 경우 HBM이 아닌 LPDDR을 메모리로 사용합니다. 리벨리온의 AI 가속기에는 삼성전자의 HBM이 탑재됩니다만 초창기 아톰에는 텐스토렌트 웜홀과 같은 16GB의 GDDR6가 탑재되었었습니다. HBM을 피해가는 선택을 통해 가성비를 확보하는 쪽으로 개발이 이루어지고 있는 것입니다.
HBM보다 성능은 낮지만 확실히 전력 소모량 면에서 우위를 점할 수 있습니다.
또한 소프트웨어와의 협동을 통하여 엔비디아가 상대적으로 취약하다고 여겨지는 추론 영역에 특화된 반도체를 만들 수 있다는 점 또한 차별점이라고 할 수 있겠습니다.
현재 엔비디아의 대항마로 불리는 NPU 진영에서 내세우는 워딩을 살펴보면 "'추론'에서 엔비디아를 몇 배 앞선다" 등 특정 영역에서의 우위를 마케팅 포인트로 내세우는 것을 볼 수 있습니다.
메모리 역량이나 칩 자체 성능 등에서 분명 엔비디아 AI 가속기에 밀릴 수밖에 없지만 1/30에 불과한 가격 경쟁력과 추론 영역에서의 우위, 그리고 저전력이라는 키워드를 가지고 끊임없이 엔비디아의 아성에 도전하고 있는 것입니다.
드디어 경쟁의 뚜껑은 열렸습니다. 각자의 타겟 시장에서 엔비디아와 NPU 진영은 경쟁을 펼쳐 나갈 것입니다. 그리고 그 과정에서 시장은 더욱 무르익고, 성장해 갈 것입니다. AI 산업의 초입에 들어와 있는 지금, 언제, 어느 수준까지 AI 가 발전을 이룰 지는 아무도 예상할 수 없습니다. 하지만 분명한 것은 있습니다. AI에는 반드시 이를 구동할 수 있는 AI 반도체가 필요하며 이 시장은 지속적으로 성장하리란 것입니다.
텐스토렌트의 웜홀, 리벨리온의 아톰, 퓨리오사 AI의 워보이, RNGD 등 NPU 진영의 점유율은 미미할 수 있습니다. 하지만 이 시장은 지속적인 폭발적 성장이 예약되어 있는 시장입니다. 이들 NPU 진영이 0.1~0.3%의 시장점유율만 가져가도 이들에게는 충분한 수익이 생깁니다. 시장에서 예상하기로는 약 1,000억 이상의 수익을 기대하고 있습니다. 가성비 시장에서의 경쟁은 이미 시작되었습니다. 어떤 팹리스가 승리하게 될까요?
엔비디아와 AMD 그리고 인텔과의 싸움이 치열하게 벌어지는 메인스트림에 가려져 잘 보이지 않았던 군소 스타트업을 겨냥한 NPU 진영의 전략들을 텐스 토렌트 웜홀 가속기 판매 개시와 함께 알아보았습니다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
