AI 칩 제조업체 현황과 전망
현존하는 AI accelerator TOP10 정리
AI 기술의 급격한 발전으로 딥러닝 모델의 규모가 커지면서, 이를 구동하기 위한 고성능 칩에 대한 수요가 급증하고 있다. 기존의 범용 칩(CPU)으로는 병렬 연산이 필요한 딥러닝 모델을 효과적으로 지원할 수 없기 때문에, 병렬 연산에 최적화된 AI 칩의 필요성이 대두되고 있다. 맥킨지에 따르면 이러한 추세는 앞으로도 지속될 전망이다.
이 글에서는 주요 AI 칩 제조사들의 현황을 살펴보고, 기업들이 적합한 AI 칩을 선택하는 데 도움을 주고자 한다. 또한 AI 칩 스타트업들의 동향과 향후 전망에 대해서도 알아보고자 한다.
원문(https://research.aimultiple.com/ai-chip-makers/)
주요 AI 칩 제조사
1. Nvidia
Nvidia는 1990년대부터 게임 산업을 위한 GPU(그래픽 처리 장치)를 생산해 왔다. 플레이스테이션3와 Xbox에도 Nvidia의 그래픽 어레이가 사용된다. 또한 Volta, Xavier, Tesla 등의 AI 칩도 생산하고 있다. 2023년 2분기 실적이 우수했던 Nvidia는 시가총액 1조 달러를 돌파하며 GPU와 AI 하드웨어 시장의 선두주자로 자리매김했다.
Nvidia의 칩셋은 다양한 산업 분야의 비즈니스 문제를 해결하도록 설계되어 있다. 예를 들어 Xavier는 자율주행 솔루션의 기반이 되고, Volta는 데이터 센터용으로 개발되었다. DGX™ A100과 H100은 Nvidia의 대표적인 AI 칩으로, 데이터 센터에서 AI 학습 및 추론을 위해 설계되었다. A100은 8개의 GPU와 최대 640GB의 GPU 메모리를 탑재하고 있다. Grace는 2023년 HPC 시장을 겨냥해 출시된 Nvidia의 신규 AI 칩이다.
클라우드 상에서의 AI 워크로드에 있어 Nvidia는 사실상 독점적 지위를 차지하고 있다. 대부분의 클라우드 업체들이 Nvidia GPU만을 클라우드 GPU로 제공하고 있기 때문이다. Nvidia는 또한 기업들에게 직접 클라우드 GPU 인프라를 제공하는 DGX 클라우드 서비스도 출시했다.
2. AMD (Advanced Micro Devices)
AMD는 CPU, GPU, AI 가속기 등의 제품을 생산하는 칩 제조사이다. AMD의 Alveo U50 데이터 센터 가속기 카드는 500억 개의 트랜지스터를 탑재하고 있다. 이 가속기는 1,000만 개의 임베딩 데이터셋을 처리할 수 있으며, 밀리초 단위로 그래프 알고리즘을 수행할 수 있다.
AMD는 2023년 6월 AI 학습 워크로드용 MI300을 출시하며 해당 시장에서 Nvidia와 경쟁할 예정이다. ChatGPT로 대표되는 제너러티브 AI의 부상으로 Nvidia AI 하드웨어 수요가 급증하면서 공급이 부족해진 가운데, 2023년 들어 AMD 하드웨어를 도입한 스타트업, 연구소, 기업, 빅테크 기업들이 늘어나고 있다.
AMD는 또한 Hugging Face와 같은 머신러닝 기업들과 협력하여 데이터 과학자들이 자사 하드웨어를 보다 효율적으로 사용할 수 있도록 지원하고 있다.
소프트웨어 생태계가 중요한 이유는 하드웨어 성능이 소프트웨어 최적화에 크게 의존하기 때문이다. 실제로 AMD와 Nvidia는 H100과 MI300의 벤치마킹을 두고 공개적으로 의견 충돌을 빚기도 했다. 최신 벤치마크에 따르면 70B LLM 추론 작업에서 MI300이 H100과 동등하거나 더 우수한 성능을 보이는 것으로 나타났다.
3. Intel
Intel은 CPU 시장의 최대 업체로 반도체 개발의 오랜 역사를 가지고 있다. 2017년 Intel은 세계 최초로 매출 10억 달러를 돌파한 AI 칩 기업이 되었다.
Intel의 Xeon CPU는 데이터 센터 내 처리 작업을 비롯한 다양한 업무에 적합하며, 이는 Intel의 상업적 성공에 기여해 왔다.Gaudi3는 Intel의 최신 AI 가속기 프로세서이다. 2024년 공식 출시 예정이므로 현재 성능에 대한 벤치마크는 제한적이다.
퍼블릭 클라우드 기업의 AI 칩 현황
4. Alphabet / Google Cloud Platform
Google Cloud TPU는 Google 번역, 사진, 검색, 어시스턴트, Gmail 등의 제품에 사용되는 머신러닝 전용 가속기 칩이다. Google Cloud를 통해서도 사용 가능하다. Google은 2016년 TPU를 발표했다.
Google Alphabet의 또 다른 가속기 칩인 Edge TPU는 1센트 동전보다 작은 크기로, 스마트폰, 태블릿, IoT 기기 등의 엣지 디바이스용으로 설계되었다.
5. AWS
AWS는 모델 학습용 Tranium 칩과 추론용 Inferentia 칩을 생산한다. AWS가 퍼블릭 클라우드 시장을 선도하고 있지만, 자체 칩 제작은 Google 이후에 시작되었다.
6. IBM
IBM은 2022년 최신 딥러닝 칩인 AIU(Artificial Intelligence Unit)를 발표했다. IBM은 이 칩을 활용해 자사의 제너러티브 AI 플랫폼인 watson.x의 성능을 높이는 방안을 고려 중이다.
AIU는 IBM Z 메인프레임 서버의 AI 처리 능력을 강화하는 'IBM Telum 프로세서'를 기반으로 한다. 출시 당시 Telum 프로세서의 주요 활용 사례로는 부정 거래 탐지 등이 강조되었다.
IBM은 또한 컴퓨팅과 메모리를 통합함으로써 효율성을 높일 수 있음을 NorthPole 프로세서 프로토타입을 통해 입증했다.
7. Alibaba
Alibaba는 추론용 Hanguang 800 등의 칩을 생산한다. 그러나 지정학적 이유로 북미, 유럽, 호주의 일부 기관(예: 국방 산업 관련)은 Alibaba Cloud 사용을 꺼릴 수 있다.
AI 칩 스타트업 동향
최근 설립된 AI 칩 스타트업 중에서도 가까운 미래에 그 이름을 자주 듣게 될 만한 기업들이 있다. 이들 기업은 설립된 지 얼마 되지 않았음에도 이미 수천만 달러 이상의 투자를 유치했다.
8. SambaNova Systems
2017년 설립된 SambaNova Systems는 대용량 제너러티브 AI 워크로드를 위한 고성능, 고정밀 하드웨어-소프트웨어 시스템 개발을 목표로 한다. SN40L 칩을 개발했으며, 11억 달러 이상의 투자를 유치했다.
주목할 점은 SambaNova Systems가 자사 플랫폼을 기업들에게 임대도 한다는 것이다. SambaNova의 AI 플랫폼 서비스 접근 방식은 시스템 도입을 용이하게 하고, 순환 경제를 위한 하드웨어 재사용을 장려한다.
9. Cerebras Systems
2015년 설립된 Cerebras Systems는 2021년 4월 85만 개의 코어와 2.6조 개의 트랜지스터를 탑재한 신규 AI 칩 모델 WSE-2를 발표했다. 이는 1.2조 개의 트랜지스터와 40만 개의 처리 코어를 가진 WSE-1에 비해 큰 발전이라 할 수 있다.
Cerebras의 시스템은 유전체 연구 가속화와 신약 개발 기간 단축에 효과적인 기술로 평가받아, AstraZeneca, GlaxoSmithKline 등 많은 제약회사들과 협력하고 있다.
10. Groq
Groq는 전직 Google 직원들이 설립한 회사로, LPU라는 새로운 AI 칩 아키텍처 모델을 내세우며 기업들의 시스템 도입을 용이하게 하는 것을 목표로 한다. 이 스타트업은 이미 약 3억 5천만 달러를 투자 받았으며, GroqChip™ 프로세서, GroqCard™ 가속기 등의 첫 제품을 출시했다.
Groq는 LLM 추론에 주력하고 있으며, Llama-2 70B에 대한 벤치마크를 공개했다.
2024년 1분기 기준, Groq는 7만 명의 개발자가 자사 클라우드 플랫폼에 가입했으며, 1만 9천 개의 신규 애플리케이션이 구축되었다고 밝혔다.
2022년 3월 1일, Groq는 금융 서비스 분야의 HPC 솔루션 기업인 Maxeler를 인수했다.
AI 하드웨어 신규 진입자들
아래 기업들의 AI 하드웨어 솔루션은 시장에 갓 진입한 상태라 효과성에 대한 벤치마크가 제한적이다.
Meta
MTIA(Meta Training and Inference Accelerator)는 Meta의 LLaMa 모델 학습 등의 AI 워크로드를 위한 프로세서군이다.
최신 모델인 Next Gen MTIA는 TSMC 5nm 기술을 기반으로 하며, MTIA v1 대비 3배 향상된 성능을 제공한다고 한다. MTIA는 최대 72개의 가속기를 포함하는 랙에서 호스팅될 예정이다.
MTIA는 현재 Meta 내부용으로 사용되고 있다. 그러나 향후 Meta가 LLaMa 기반의 엔터프라이즈용 제너러티브 AI 솔루션을 출시한다면, 이 칩이 해당 서비스를 뒷받침할 수 있을 것이다.
Microsoft Azure
Microsoft는 2023년 11월 Maia AI 가속기를 출시했다.
Rebellions
한국의 스타트업으로 2024년 1억 2400만 달러를 투자 유치했으며, LLM 추론에 주력하고 있다.
기타 AI 칩 제조사
Graphcore
2016년 설립된 영국 기업 Graphcore는 IPU-POD256을 대표 AI 칩으로 발표했다. 현재까지 약 7억 달러의 투자를 유치했다.
Graphcore는 DDN, Pure Storage, Vast Data 등 데이터 스토리지 기업들과 전략적 파트너십을 맺고 있다. 또한 옥스퍼드대 퀀터티브 금융 연구소, 브리스톨대, 버클리 캘리포니아대 등 전 세계 유수의 연구기관들도 Graphcore의 AI 칩을 사용하고 있다.
2023년 10월 기준, 연간 약 2억 달러의 손실을 기록 중이며 2023년 1월 1일 기준 약 1억 6천만 달러의 자산을 보유하고 있어, 장기적인 생존 가능성에 의문이 제기되고 있다.
Mythic
2012년 설립된 Mythic은 엣지 AI에 주력하고 있다. 아날로그 컴퓨팅 아키텍처 접근법을 통해 전력 효율적인 엣지 AI 컴퓨팅을 제공하는 것을 목표로 한다. M1076 AMP, MM1076 키 카드 등의 제품을 개발했으며, 약 1억 6,500만 달러의 투자를 유치했다.그러나 2023년 3월 투자 유치 이후 대부분의 직원을 해고하고 사업을 구조조정했다.
AI 기술의 급격한 발전으로 고성능 AI 칩에 대한 수요가 급증하면서, Nvidia, AMD, Intel 등 기존의 대형 칩 제조사들과 Google, AWS, IBM 등 클라우드 기업들이 AI 칩 시장에서 경쟁하고 있다. 또한 SambaNova Systems, Cerebras Systems, Groq 등의 스타트업들도 막대한 투자를 유치하며 두각을 나타내고 있다.
기업들이 AI 칩을 선택할 때는 성능, 가격, 호환성, 소프트웨어 생태계 등 다양한 요소를 고려해야 한다. 또한 AI 워크로드의 특성에 따라 학습용 칩과 추론용 칩을 구분해 선택하는 것도 중요하다.
향후 AI 칩 시장은 더욱 치열한 경쟁이 펼쳐질 것으로 예상된다. 기존 업체들의 신제품 출시와 신규 진입자들의 도전이 이어지는 가운데, 기술 혁신과 시장 지배력 확대를 위한 노력이 한층 가속화될 전망이다.
AI 칩은 단순히 하드웨어 차원을 넘어, AI 기술 발전의 핵심 동력이 될 것이다. AI 칩의 성능 향상은 더욱 강력한 AI 모델 개발을 가능케 함으로써, 제너러티브 AI를 비롯한 AI 기술의 활용 범위를 대폭 확장시킬 것으로 기대된다.
기업들은 자사의 AI 전략에 최적화된 AI 칩을 선택함으로써 경쟁 우위를 확보할 수 있을 것이다. 아울러 AI 칩 개발사들과의 전략적 파트너십을 통해 AI 기술 혁신을 가속화하는 한편, 자체적인 AI 하드웨어 개발 역량을 확보하는 것도 고려해 볼 만하다.
