누가 AI에서 1등인가, MLPerf로 본다

광고를 걷어내고 본 AI 인프라의 진짜 승자

MLPerf이란?

MLPerf는 구글, 인텔, 바이두와 같은 기업들이 머신러닝 도구의 성능을 객관적으로 비교·검증하기 위해 만든 표준이다. 1988년 SPEC 벤치마크가 컴퓨팅 성능 혁신을 이끌었듯, AI 산업 역시 MLPerf를 통해

머신러닝 성능을 표준화하고 발전시키는 것을 목표로 한다. MLPerf는 산업계와 학계 40여 개 조직이 참여해 실제 머신러닝 워크로드를 기준으로 일관된 성능 평가 기준을 제공한다.

---

AI 전쟁의 진짜 성적표, MLPerf를 보면 답이 보인다

AI 시대에 “누가 1등인가?”라는 질문은 단순하지 않다.

광고도 많고, 보도자료도 넘친다.

하지만 업계에는 비교적 객관적인 시험지가 하나 있다.

바로 MLCommons가 주관하는 MLPerf 벤치마크다.

MLPerf는 AI 시스템의 실제 성능을 측정하는 글로벌 표준 테스트다.
핵심은 두 가지다.

1. Training (학습) : 모델을 얼마나 빠르게 훈련시키는가

2. Inference (추론) : 실제 서비스 환경에서 얼마나 빠르고 효율적으로 동작하는가

정리하면,

Training은 “AI를 만드는 능력”이고
Inference는 “AI를 돈으로 바꾸는 능력”이다.

2025~2026 최신 MLPerf 결과 핵심 정리

1. Training 부문 – 사실상 절대 강자

1등 NVIDIA

최신 Training v5.1 테스트에서

LLM, 비전, 추천 시스템 등 주요 항목에서

가장 빠른 학습 시간 기록

특히 Blackwell 아키텍처는 대형 LLM 학습에서
이전 세대 대비 큰 성능 개선을 보여줬다.

산업 해석

Training 시장은 CAPEX 중심 시장이다.
대형 클라우드·빅테크가 돈을 쓰는 구간.

현재 구조는 명확하다.

AI 학습 인프라 = NVIDIA 중심

2. Inference (데이터센터) – 수익화 구간

1등: NVIDIA

추격: AMD

Inference v5.1에서도
대부분 고성능 LLM 테스트에서 NVIDIA가 우위다.

다만 AMD의 MI300 계열은 특정 워크로드에서 경쟁력을 보이며 점유율 확대 시도 중이다.

산업 해석

Inference는 앞으로 더 중요해진다.

왜냐하면:

Training은 소수 기업만 한다.

Inference는 모든 기업이 한다.

즉, AI 보급이 늘수록 Inference 시장이 커진다.

3. CPU 기반 Inference

1등: Intel

GPU 없이 CPU만 사용하는 환경에서는 여전히 Xeon 기반 서버가 강하다.

금융·공공·보안 환경은 GPU 도입이 제한적인 경우가 많다.

산업 해석

폭발적 성장보다는 “방어적 캐시플로우 시장”

4. Mobile / On-device AI

1등: Qualcomm

온디바이스 AI는 Snapdragon NPU가 사실상 표준.

스마트폰에서 AI가 기본 기능이 되면서 이 영역은 점점 커질 가능성이 높다.

5. Edge / Tiny (임베디드·자동차)

선두 그룹:

NXP Semiconductors
STMicroelectronics

초저전력·산업용·자동차 AI에서 강점.

폭발력은 낮지만 10년 이상 꾸준히 갈 시장.

분야별 1등 기업 정리