GPU, TPU 그리고 ASIC

AI 가속기 전쟁

Dec 2. 2025

2025년 11월 말, 엔비디아라는 회사의 주가가 크게 한 번 흔들렸습니다. 메타(페이스북의 모회사)가 지금까지 주력으로 써 오던 엔비디아의 GPU(Graphics Processing Unit, 그래픽 처리 장치) 대신, 구글의 TPU(Tensor Processing Unit, 텐서 처리 장치)를 수십억 달러 규모로 도입하는 방안을 협의 중이라는 기사가 난 다음이었습니다.

엔비디아의 GPU로 돌아가던 AI 연산이 TPU 같은 특정 용도를 위한 전용 칩으로 대체, 분산될 수 있다는 기대와 불안이 반영된 것이라는 분석이 있었습니다.

<CPU / GPU / TPU / ASIC 이름부터 정리>

AI 칩 이야기를 하다 보면 비슷한 이름들이 등장합니다. CPU, GPU, TPU, APU, NPU, IPU, VPU, ASIC…. 계보를 정리해 보겠습니다.

CPU: 만능이지만 여유로운

CPU(Central Processing Unit)는 글자 그대로 컴퓨터의 중앙처리장치입니다. 중고등학교 시절 기술 가정 시간에는 “컴퓨터의 두뇌”라고 배웠습니다.

여러 연산을 순차적으로, 질서 있게 처리하는 데 최적화되어 있고, 문서 작성, 웹 브라우징, 각종 프로그램 실행까지 기본적인 일은 대부분 CPU를 거칩니다.

AI 측면에서 보면 CPU는 이런 역할을 맡습니다.

- 데이터 정리와 전처리

- 장치 간 조율과 제어

- 가벼운 추론 연산

그런데 수백 명의 손님이 식당으로 한꺼번에 몰려올 때, 아무리 뛰어나도 주방장 1명이 모든 요리를 만들면 시간이 오래 걸리는 것처럼, AI의 빠른 작업을 위해서는 CPU만으로는 충분하지 않습니다.

GPU: 미친 속도로 병렬 연산을 갈아 넣는 칩

GPU는 원래 3D 그래픽을 빠르게 그리기 위해 만들어졌습니다. 화면의 픽셀과 폴리곤(3차원 물체를 구성하는 작은 삼각형 조각들)에 대해 비슷한 계산을 엄청나게 반복해야 하는 작업이기 때문에, ‘같은 계산을 동시에 수천, 수만 개 병렬로 돌리는’ 일에 특화되어 있습니다.

딥러닝 모델 대부분은 결국 거대한 행렬 연산의 반복입니다. 이것이 GPU가 특히 빛나는 지점입니다. 복잡한 의사 결정은 CPU보다 못할 수 있지만, 단순 계산을 엄청난 속도로 엄청 많이 반복하는 능력은 최고 수준입니다. AI 연구자들 사이에서는 “GPU의 성능이 곧 연구 속도다.”라는 말이 있습니다. GPU는 원래 그래픽 전용 가속기였지만, 지금은 그래픽 바깥의 일반 연산에도 널리 쓰입니다.

엔비디아는 이 GPU를 대량 생산해 사실상 AI 가속기의 표준을 만들었고, 자체 소프트웨어 생태계 쿠다(CUDA, Compute Unified Device Architecture)를 얹어 AI 칩 시장의 80~90%를 장악하고 있습니다.

쿠다는 엔비디아가 만든 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델인데, CUDA 덕분에 GPU는 단순한 그래픽 가속기를 넘어, AI 훈련, 데이터 분석, 과학 시뮬레이션 등 고성능 계산의 핵심 엔진으로 쓰일 수 있게 되었다고 이해하시면 됩니다.

TPU: 텐서 연산만을 위해 태어난 특급 셰프

TPU(Tensor Processing Unit)는 구글이 개발한 딥러닝 특화 프로세서입니다. ‘Tensor’는 딥러닝에서 쓰는 다차원 배열을 말하는 것으로, TPU라는 이름 자체가 ‘텐서 연산에 최적화된 연산 장치’를 의미합니다.

구글은 TensorFlow라는 머신러닝 프레임워크를 개발했는데, TPU는 처음부터 이 TensorFlow를 염두에 두고 설계된 칩입니다. 대규모 행렬, 텐서 연산에 특화되어 범용성은 GPU보다 약하지만, 설계된 작업에 대해서는 속도, 전력 효율, 운영 비용 면에서 매우 뛰어납니다.

ASIC와 NPU, IPU, VPU… 특화 칩들의 지도

ASIC(Application Specific Integrated Circuit, 특수 목적 집적 회로)는 범용 CPU처럼 뭐든 조금씩 하는 것이 아니라, 딱 한 가지 혹은 소수의 작업을 극도로 잘하도록 설계된 칩입니다. 즉, ASIC를 쓰면 속도와 효율을 얻고 유연성은 일부 포기하게 됩니다.

앞서 설명해 드린 TPU도 바로 ASIC 계열에 속합니다. 그 외에도 스마트폰과 같은 모바일 환경에서는 NPU(Neural Processing Unit)가 신경망 연산과 딥러닝 추론에 최적화되어 활용되고, 영상 처리, 이미지 인식, 카메라 신호 처리와 같은 시각 데이터 전용 작업에는 VPU(Vision Processing Unit)가 쓰입니다. 암호화폐 채굴에 특화된 비트코인 채굴 전용 칩인 ASIC miner 역시 대표적인 특화 목적 칩의 한 사례로 볼 수 있습니다.

<26만 개의 GPU, 여전히 강한 엔비디아>

엔비디아의 위상이 흔들린다는 뉴스가 나오던 시기에 한국에는 또 다른 뉴스도 있었습니다. APEC CEO Summit 참석차 방한한 엔비디아 CEO 젠슨 황이 총 26만 개의 차세대 블랙웰(Blackwell) GPU를 한국에 공급하겠다고 발표했었던 것이죠. 한국의 주권 AI 모델, 제조 로봇, 모빌리티용 AI 인프라 확충을 위한 AI 공장을 짓는다는 청사진도 함께 발표되었습니다.

<언급된 사건의 타임라인>

- 2025년 10월 23일: Anthropic-Google TPU 계약 발표

- 2025년 10월 31일: 젠슨 황 한국 방문, 26만 개 GPU 공급 발표

- 2025년 11월 25일경: Meta-Google TPU 협상 보도, 엔비디아 주가 하락

정리해 보면, 엔비디아는 여전히 GPU 기반 범용 AI 가속기로 시장의 80~90%를 장악하고 있지만, 구글이 TPU를 외부 고객에 적극적으로 개방하기로 하고 Anthropic 사(Claude를 개발한 회사)에 최대 100만 개 규모의 TPU를 공급하겠다는 계약을 발표하기도 했고, 또 메타가 2027년부터 데이터센터에 TPU 도입 가능성을 검토하며 구글과 협상을 벌이고 있는 상황입니다.