엔비디아와 CUDA역할 및 기타
1부. 인공지능 탄생과 진화 3장 인공지능 진화를 이끈 인프라
인공지능을 설명할 때 가장 어려운 부분 중 하나는, 눈에 보이지 않는 추상적인 기술들을 어떻게 쉽게 설명할 수 있을까이다.
하지만 우리가 매일 보는 자동차에 비교하면 이해가 쉬워진다.
AI 모델, 예를 들어 구글의 제미나이(Gemini), 앤트로픽의 클로드(Claude), 그리고 우리가 자주 쓰는 ChatGPT는 마치 자동차와 같다.
자동차는 우리가 직접 타고 목적지까지 이동하는 서비스이고, AI 모델도 우리가 직접 활용하는 결과물이기 때문이다.
그렇다면 자동차를 움직이게 하는 건 무엇일까? 바로 엔진이다.
인공지능 세계에서 이 엔진의 역할을 하는 것이 바로 GPU다. 특히 엔비디아 GPU는 오늘날 AI 혁명의 핵심 동력으로, 수십억 개의 작은 연산을 동시에 처리하며 모델을 굴러가게 만든다.
하지만 엔진만 있다고 차가 움직이지는 않는다. 엔진 안에서 연료가 폭발하고 그 힘이 제어되어야만 바퀴가 돌아간다.
여기서 연료와 점화 장치에 해당하는 것이 CUDA다.
CUDA는 GPU라는 엔진을 제대로 돌릴 수 있게 해주는 특별한 소프트웨어 도구 상자(toolkit)다.
2006년 엔비디아가 CUDA를 세상에 내놓으면서, 연구자들은 GPU를 단순히 게임용 그래픽 장치가 아니라 과학 계산과 인공지능 학습의 심장으로 활용할 수 있게 되었다.
그러나 자동차가 연료와 엔진만으로 움직일 수 있을까? 아니다. 반드시 운전자가 필요하다.
이 운전자가 바로 파이토치PyTorch와 텐서플로우 TensorFlow 같은 딥러닝 프레임워크다.
운전자가 핸들과 페달을 조종하듯, 프레임워크는 GPU와 CUDA를 활용해 모델을 훈련하고 제어한다. 페이스북이 개발한 PyTorch는 연구자들이 아이디어를 자유롭게 실험하도록 도와주었고, 구글이 만든 TensorFlow는 대규모 산업 서비스에 최적화되어 AI를 실제 제품 속으로 끌어왔다.
결국 인공지능의 여정은 이렇게 정리할 수 있다.
- 자동차 = AI 모델 (Gemini, Claude, ChatGPT 등)
- 엔진 = GPU
- 연료/점화 장치 = CUDA
- 운전자 = PyTorch, TensorFlow
자동차가 고속도로를 달릴 때, 우리는 엔진 속에서 연료가 어떻게 폭발하는지 일일이 알지 못한다.
다만 핸들을 잡고 원하는 방향으로 나아갈 뿐이다.
인공지능도 마찬가지다. 우리가 사용하는 모델 뒤에는 GPU라는 강력한 엔진, CUDA라는 정교한 점화 시스템, 그리고 PyTorch와 TensorFlow라는 운전자가 긴밀하게 협력하며 돌아가고 있다.
오늘날 우리는 거대한 기술 문명의 자동차를 타고 있다. 속도는 점점 빨라지고, 도로는 전 세계로 뻗어나가고 있다. 하지만 그 밑바닥에는 여전히 엔진, 연료, 운전자라는 단순한 원리가 존재한다.
AI를 이해한다는 건, 바로 이 보이지 않는 기계장치들을 바라보며 우리가 타고 있는 ‘지식의 자동차’가 어디로 달려가고 있는지 성찰하는 일이다.
2005년, 엔비디아는 단지 그래픽카드 회사였다.
게임을 더 화려하게 보여주는 칩, 워크스테이션용 그래픽 카드가 매출의 전부였다.
삼성, 하이닉스 같은 메모리 업체에서 GDDR 메모리를 공급받아 조립·판매하던, 그래픽 카드 기업에 불과했다. 당시 나처럼 엔비디아를 찾아간 사람들은, 지금의 엔비디아 제국을 상상하기 어려웠을 것이다.
하지만 불과 20년이 채 안 되는 시간에, 엔비디아는 AI 시대의 절대 강자가 되었다.
시가총액 4조 달러를 넘으며, 인텔을 40배 이상 앞서게 된 지금, 그 비밀은 어디에 있을까?
2000년대 초, 과학자와 연구자들은 공통된 문제에 부딪혔다.
“CPU로는 계산이 너무 느리다.”
유전자 분석, 기후 시뮬레이션, 분자 모델링 등 복잡한 문제를 풀려면 수십 년이 걸릴 판이었다.
그때 눈에 들어온 것이 GPU였다.
GPU는 원래 화면의 픽셀을 동시에 처리하기 위해 수천 개의 단순 코어를 병렬로 연결해 놓은 칩이었다.
연구자들은 “이걸 계산에 쓰면 어떨까?”라는 발상을 하기 시작했다.
엔비디아는 이 요구를 놓치지 않았다.
2006년, CUDA(Compute Unified Device Architecture)라는 툴킷을 발표한다.
GPU를 그래픽 전용이 아닌 범용 병렬 계산 엔진으로 바꿔주는 소프트웨어였다.
연구자들은 익숙한 C 언어 코드 몇 줄만으로 GPU를 활용할 수 있게 되었고,
수학적 연산, 행렬 곱, 벡터 연산이 수백 배 빨라졌다.
그 순간부터 GPU는 단순한 게임용 칩이 아니라, 슈퍼컴퓨터를 대체할 가능성을 품은 엔진이 되었다.
CUDA가 나온 뒤, 물리학·유전체학·기상학 연구자들이 앞다투어 GPU를 실험했다.
“이 기능이 부족하다”, “저 라이브러리를 추가해 달라.”
연구자들의 요구는 곧 CUDA의 업데이트로 반영되었다.
엔비디아는 CUDA Toolkit에 수많은 라이브러리를 추가했고,
AI·과학 계산·로보틱스·그래픽 시뮬레이션을 아우르는 범용 플랫폼으로 성장시켰다.
이 과정에서 연구자와 기업은 점점 더 CUDA에 묶이게(lock-in) 되었다.
이미 작성한 코드를 다른 플랫폼으로 옮기는 건 불가능에 가까웠다.
전환점은 2012년이었다.
토론토 대학 제프리 힌튼 연구팀은 알렉스넷(AlexNet)이라는 딥러닝 모델을 엔비디아
GPU(CUDA 기반)로 학습시켰다.
그 결과, 이미지 인식 대회에서 기존 기술을 압도적으로 따돌리며 우승했다.
이 사건은 “AI = GPU”라는 공식을 역사에 새긴 순간이었다.
딥러닝이 가능해진 건 알고리즘의 발전 때문이기도 했지만,
CUDA로 GPU를 활용할 수 있었기에 현실로 구현된 것이었다.
이후 텐서플로(TensorFlow), 파이토치(PyTorch), MXNet 같은 딥러닝 프레임워크는 전부 CUDA에 최적화되었다.
대학 강의실에서, 연구소에서, 스타트업에서, 빅테크 기업의 데이터센터에서
AI = CUDA = 엔비디아 라는 등식이 자연스럽게 굳어졌다.
누구도 CUDA를 벗어날 수 없게 된 것이다.
AMD는 ROCm, 인텔은 oneAPI를 내세웠지만,
이미 CUDA 생태계에 쌓인 수많은 코드와 개발자 커뮤니티를 넘어서지 못했다.
오늘날 AI 데이터센터의 서버 한 대를 보면 CPU 2개, GPU 8개가 들어간다.
CPU는 한 대당 2만 달러 수준, GPU는 한 장에 3만 달러 이상.
서버 한 대 총 26만 달러 중 GPU가 90% 이상을 차지한다.
이게 수만 대 서버로 확장되면?
GPU 투자액은 수십억 달러로 치솟는다. 그 결과, 인텔 시가총액 1,000억 달러 vs 엔비디아 4조 달러라는 극적인 격차가 만들어졌다.
