짐 켈러와 엔비디아의 경쟁

tenstorrent의 wormhole은 NVIDIA를 이길 수 있나

반도체 혁신의 아이콘, 짐 켈러 

AI와 반도체 업계에서 짐 켈러(Jim Keller)라는 이름은 전설로 통합니다. 그는 AMD, 애플, 테슬라, 그리고 인텔에서 혁신적인 반도체 설계 능력을 보여줬습니다. 짐 켈러는 AMD의 'Zen' 아키텍처 개발을 주도하며, AMD가 인텔과의 CPU 경쟁에서 우위를 점할 수 있게 한 핵심 인물이죠. 그의 설계 철학은 단순하지만 강력합니다. 복잡한 문제를 효율적으로 해결하는 설계로, 시스템의 성능과 효율성을 극대화하는 것입니다.

그는 또한 애플에서 A4와 A5 프로세서 개발에 기여했고, 이 프로세서들은 아이폰과 아이패드의 성공을 이끈 중요한 요소 중 하나였습니다. 애플이 최근 애플 실리콘으로 독립하여 대성공을 거둔 배경에도 그가 있었죠. 이후 테슬라에서는 자율주행 차량을 위한 AI 칩(FSD – Full self driving) 개발을 이끌며, 테슬라의 기술적 혁신에 기여했습니다. 한 마디로 그는 반도체 업게에서는 죽은 기업도 살려낸다는 ‘마이다스의 손’으로 불립니다.  

< 반도체의 신, 짐 켈러 ‘엔비디아 시대는 끝난다’ 인터뷰 – 출처 / KBS >

최근 짐 켈러는 Tenstorrent라는 캐나다의 반도체 스타트업의 CEO로 시장에 새로운 바람을 일으키고 있는데요. 이 회사는 AI와 고성능 컴퓨팅(HPC)을 위한 프로세서를 개발하며, 짐 켈러는 그곳에서 자신의 혁신적인 설계 철학을 발휘하고 있습니다.  

오늘은 AI의 발전과 더불어 GPU로 AI 시장을 지배하고 있는 엔비디아의 아성에 도전하고 있는 짐 켈러와 AI 칩의 미래 시장 전망을 해보려고 합니다.   

엔비디아의 새로운 GPU, Blackwell: AI의 미래를 준비하다 

< 차세대 AI 슈퍼칩으로 불리는 엔비디아의 블랙웰은 최신기술 집합체 – 출처 / 엔비디아 >

엔비디아는 AI 연산 및 데이터 센터 시장에서의 독보적인 위치를 유지하기 위해 끊임없이 혁신하고 있는데요. 그 결과물이 바로 Blackwell이라는 새로운 GPU 아키텍처입니다. 이 아키텍처는 엔비디아의 기존 호퍼(Hopper) 아키텍처를 계승했지만, 2세대 트랜스포머 엔진이 탑재되어 기존 시리즈보다 더 놀라운 성능으로 대규모 AI 모델을 실시간으로 처리할 수 있는 능력을 가지고 있습니다. 또한 5세대 NVLink를 통해 수 조개의 파라미터를 처리할 수 있어 초당 8 테라바이트의 양방향 처리를 할 수 있어, 여러 GPU가 동시에 데이터를 빠르게 주고받을 수 있게 합니다. 이는 AI 모델 훈련 및 추론 과정에서 발생하는 병목 현상을 최소화하고, 전체 연산 속도를 크게 향상시킬 수 있죠.  

엔비디아는 이미 AI 시대의 가장 큰 수혜를 본 기업이고, 전 세계의 수많은 데이터 센터에서는 아직도 엔비디아의 GPU 공급 부족을 겪고 있을 정도입니다. 엔비디아는 자사 GPU의 최대 성능을 내기 위해서는 GPU 여러 개의 복합 연산을 가능하게 하는 NVLink와 NVSwitch 같은 InfiniBand의 독자 규격을 이용해 아키텍처를 구성합니다. 엔비디아 GPU를 이용해 데이터센터를 만들려면 InfiniBand 어댑터, 스위치, DPU, 롱홀시스템 등으로 시스템을 구축해야 해요. 말 그대로 엔비디아의 고성능 GPU를 이용하기 위해서는 데이터 센터를 모두 엔비디아의 기술 스택을 이용해서 구성해야 한다는 뜻이 됩니다. 그래서, AI 시장이 확대될수록 엔비디아의 시장지배력은 더욱더 강화되고 있는 것이 현실입니다.  

Tenstorrent의 도전: Galaxy 모듈과 AI 칩의 혁신 

한편, 짐 켈러가 이끄는 Tenstorrent는 기존의 GPU 아키텍처와는 다른 방식으로 AI 칩을 설계하고 있습니다. 그 대표적인 결과물은 RISC-V 기반의 GPU를 대체 가능한 Grayskull입니다. Grayskull은 첫 번째 상용 AI 칩으로 추론 작업에 최적화된 성능을 제공합니다. 저전력으로 작동하는 이 칩은 특히 스케일러블(Scalable) 아키텍처를 채택하여 다양한 AI w작업에서 유연하게 활용이 가능했죠. 최근에 주목받고 있는 후속 모델로는 Wormhole이 있습니다. (이 제품의 후속 모델은 재미있게도 Blackhole로 계획되어 있습니다.) 이 Wormhole 시리즈는 짐 켈러의 설계철학을 받아들여 뛰어난 확장성과 오픈소스 사용을 근간으로 하고 있죠.

Wormhole 시리즈는 n150과 n300의 두 가지 제품으로 Tensix 코어를 활용해 262 FP8 TFLOPS와 466 FP8 TFLOPS의 성능을 보여줍니다. 숫자로 설명하면 엄청 복잡해 보이지만, 아래의 구성표를 보면서 몇 가지 특징만 짚어보죠. 가장 먼저 메모리를 HBM이 아닌 GDDR6를 사용합니다. 엔비디아의 HBM 공급 때문에 SK하이닉스와 삼성전자 뉴스가 한참 동안 난리였을 만큼, 엔비디아 GPU는 고성능 대역폭의 값비싼 메모리를 사용해요. 그러나, Wormhole 시리즈는 저렴한 GDDR 메모리를 사용하죠. 또한 앞에서 언급한 466 FP8 TFLOPS라는 성능은 초당 466조 개의 연산을 처리할 수 있다는 뜻인데요. 엔비디아의 고성능 H100의 경우에는 2천조 개 정도의 연산을 처리할 수 있으니 간접 비교가 가능합니다.

가격을 비교해 보면 Wormhole의 n300 같은 경우 $1,399인 반면, 엔비디아의 H100은 $30,000으로 무려 20배 이상의 가격 차이가 발생하죠. 전력 소비량도 n300이 훨씬 적은 편입니다. 즉, 가성비와 효율성 측면에서는 Wormhole이 훨씬 유리한 측면이 있죠.  

< Wormhole의 대표 모델 n150/300s 기술스펙 – 출처 / tenstorrent >

역시 엔비디아보다 성능이 뒤떨어지니, 1등은 역시 엔비디아로구나 생각하실지 모릅니다. Wormhole 시리즈의 가장 큰 장점은 바로 오픈소스와 확장성입니다. PCIe와 이더넷을 인터페이스 구조로 정의한 터라, 엔비디아처럼 값비싼 장비를 구매하지 않아도 저렴한 비용으로 대규모의 확장이 가능합니다.

그 대표적인 결과물이 바로 Galaxy 모듈입니다. Galaxy 모듈은 여러 개의 Tensix Core를 결합하여 고성능을 제공하며, 특히 확장성과 전력 효율성에 중점을 두고 설계되었습니다. 이는 대규모 데이터 센터와 HPC 환경에서 엔비디아의 값비싼 장비들로만 구성하는 것에 비해 유리한 선택이 될 수 있습니다.

Galaxy 모듈은 단일 칩으로는 감당하기 힘든 대규모 AI 연산을 수행할 수 있도록 설계되었습니다. 예를 들어, 여러 Galaxy 모듈을 결합하여 구성된 Galaxy Rack은 대규모 데이터 센터의 요구를 충족시키기 위해 필요한 모든 성능을 제공할 수 있습니다. 이는 사용자가 필요에 따라 성능을 확장하거나 줄일 수 있는 유연성을 제공하며, 대규모 AI 모델의 훈련과 실시간 처리 작업에 최적화된 솔루션입니다.

< Galaxy는 오픈소스와 표준으로 확장성 높은 AI인프라 제공, 출처 / tenstorrent >

엔비디아 vs. Tenstorrent: AI 시장에서의 경쟁 

엔비디아는 AI와 데이터 센터 시장에서 오랫동안 지배적인 위치를 유지해 왔으며, Blackwell 아키텍처를 통해 그 위치를 더욱 공고히 하려 하고 있습니다. 엔비디아의 기술적 우위는 특히 AI 연산에서 중요한 성능과 효율성을 제공하며, 이는 대규모 AI 모델을 실시간으로 처리해야 하는 데이터 센터에서 필수적인 요소입니다. 그러나 Tenstorrent는 짐 켈러의 혁신적인 설계를 바탕으로 엔비디아의 독주를 견제하려는 목표를 가지고 있죠. 특히 짐 켈러는 이렇게 폐쇄적인 기술구조를 무척이나 싫어하기도 하고, 테슬라의 FSD를 설계할 때도 단순하고 효율적이며, 전력소비도 고민했던 것이 이런 방향에도 일조했을 것으로 보입니다.

Tenstorrent의 Galaxy 모듈과 같은 제품들은 전력 효율성과 확장성을 강조하며, 특히 전력 소모가 중요한 데이터 센터에서 매력적인 대안이 될 수 있습니다. Tenstorrent의 설계는 특히 전력 소비와 데이터 처리 속도 측면에서 뛰어난 성능을 발휘할 수 있도록 최적화되었습니다. 그러나 엔비디아의 시장 점유율과 기술적 우위를 단기간에 넘어서기는 어려운 과제입니다. 엔비디아는 이미 광범위한 생태계와 최적화된 소프트웨어 스택을 보유하고 있으며, 이는 고객들이 쉽게 전환하지 못하게 하는 중요한 요소입니다. 특히, 대부분의 AI 모델이 엔비디아의 CUDA를 사용하고 있기 때문에 급작스런 시장 변화는 어려울 거예요.  

AI 시장의 미래: 두 회사의 경쟁이 불러올 변화 

AI 시장은 매우 빠르게 발전하고 있으며, 새로운 기술과 제품이 끊임없이 등장하고 있습니다. 엔비디아는 Blackwell 시리즈를 통해 AI와 데이터 센터 시장에서의 지배력을 유지하려 하고 있으며, Tenstorrent는 혁신적인 설계를 통해 새로운 경쟁자로서의 입지를 다지고 있습니다. 앞으로의 AI 시장에서는 이 두 회사 간의 경쟁이 기술 발전의 속도를 가속화하고, AI 연산과 데이터 처리의 효율성을 극대화하는 데 중요한 역할을 할 것입니다.

엔비디아와 Tenstorrent의 경쟁은 AI의 미래를 어떻게 준비할지에 대한 중요한 시사점을 주고 있습니다. 첫째는 인텔과 AMD가 그랬던 것처럼, 영원한 1위는 없으며 시장은 독점을 허용하려 하지 않는다는 겁니다. AI칩의 소비자 입장에서는 공급자가 늘어나면서, 가격이 합리적으로 인하되는 것을 필요로 합니다. 둘째는 AI시장의 성장 정체기에서의 시장 전략 변화입니다. 최근 AI 거품론이 등장하면서, AI칩에 대한 수요변화가 있을 거라는 전망이 있습니다. 즉, AI칩들도 목적에 맞춘 다양한 설계의 칩들이 등장하리라는 겁니다. 마지막으로 AI스타트업의 경쟁력 강화입니다. 생성형 AI가 등장하고, 많은 유니콘으로 성장할 것이 기대되었던 AI스타트업이 시장에서 사라졌거나, 차별화 부족으로 경쟁력이 떨어지고 있습니다. 그 원인은 자체적인 AI 인프라와 기술개발의 어려움이었죠. Tenstorrnet와 짐 켈러 같은 AI칩의 혁신가들이 등장하고, AI인프라 비용이 효율화되면 AI스타트업도 나름의 경쟁력을 강화할 수 있는 기회가 생길지도 모릅니다.

오늘은 반도체의 마이더스의 손, 짐 켈러와 그의 AI칩을 통해 최근 시장변화를 살펴봤는데요. 이런 경쟁은 AI 기술의 발전을 가속화하고, 더 많은 산업 분야에서 AI가 활용될 수 있는 기반을 마련할 것입니다. AI 시장이 빠르게 성장하고 있는 만큼, 앞으로 어떤 기술이 주도권을 잡을지 지켜보는 것은 매우 흥미로울 듯하네요.

참고로 올해 Tenstorrent는 LG전자에 RISC-V를 기반으로 하는 스마트 TV와 자동차 제품, 데이터 센터 구동 칩을 개발하는데 합의했죠. 또한 현대자동차는 8월 Tenstorrent에 5천만 달러를 투자했습니다. 현재 Tenstorrent의 시장 가치는 10억 달러 정도로 평가되고 있지만, 우상향이 될 듯해요.

#짐켈러 #tenstorrent #NVIDIA #AI