GPU는 왜 AI 시대의 금이 되었을까
교수님 1명 vs 초딩 1000명
1.
테크 뉴스를 볼 때 엔비디아(NVIDIA)의 H100 칩이 없어서 AI 학습을 못 한다거나, 개발자들이 이 AI 모델을 돌리려면 GPU 서버 사양이 얼마나 되어야 하느냐고 묻는 글을 접하곤 합니다. 챗GPT가 답변을 할 때 속도가 느리면 GPU 병목(Bottleneck, 데이터가 몰려 처리가 지연되는 현상)이 걸렸다라고 말하는 사람들도 있는데요. 이처럼 GPU는 현대 AI 아키텍처의 핵심 엔진이라고 할 수 있죠. 근데 CPU와 무슨 차이가 있는 걸까요? 컴퓨터에 두뇌 CPU는 들어봤는데, GPU는 무슨 역할을 하는 걸까요?
2.
CPU가 무엇이든 잘하는 '천재 교수님'이라면, GPU는 단순한 덧셈과 뺄셈만 기가 막히게 잘하는 '수천 명의 초등학생'이라고 볼 수 있습니다. 좀 과장되지만요. 인공지능 학습은 사실 엄청나게 복잡한 논리가 아니라 아주 단순한 숫자 계산인 행렬 연산을 수억 번 반복하는 일인데요. 그래서 똑똑한 교수님 한 명보다 단순 계산을 동시에 처리할 수 있는 초등학생 수천 명이 수천 배 더 유리한 구조를 가지게 되죠.
3.
학교 운동장에 모래알 1억 개가 뿌려져 있고 이를 세어야 하는 미션을 한다고 해보죠. CPU(전교 1등) 방식은 아주 똑똑한 학생 한 명이 돋보기를 들고 모래알을 정밀하게 하나하나 세는 것과 같습니다. 실수는 없지만 혼자서 1억 개를 세려면 며칠 밤을 새워야 하죠. 반면 GPU(전교생 1,000명) 방식은 평범한 전교생 1,000명을 운동장에 투입해 각자 자기 발밑의 모래알만 세게 하는 방식입니다. 학생 한 명은 전교 1등보다 느릴지 몰라도, 1,000명이 동시에 세기 시작하면 단 몇 분 만에 작업을 끝낼 수 있습니다. 인해전술이랄까요.
4.
GPU는 원래 그래픽 카드는 게임 화면을 부드럽게 만들기 위해 태어났습니다. 화면 속 수만 개 픽셀의 색상을 동시에 계산해야 했기 때문인데요. 인공지능 학자들이 AI 학습용 수학 계산이 게임 화면을 만드는 계산과 똑같다는 사실을 발견하며 혁명이 시작되었습니다. 엔비디아는 이 기회를 놓치지 않고 쿠다(CUDA, 그래픽 카드로 AI 계산을 하게 돕는 소프트웨어)를 만들어 전 세계 개발자들이 그래픽 카드로 AI 연산을 쉽게 할 수 있게 길을 닦았습니다.
5.
현재 오픈AI의 챗GPT나 구글의 제미나이 같은 거대 AI들은 수만 개의 엔비디아 GPU가 연결된 거대한 'AI 공장'에서 만들어집니다. 엔비디아가 단순한 부품 회사를 넘어 AI 시대의 왕이 된 이유가 바로 이 병렬 처리(Parallel Processing, 여러 계산을 동시에 수행하는 방식) 능력 때문인데요. 기업은 AI 프로젝트 비용을 검토할 때, GPU 비용이 문제라면 모델을 가볍게 경량화하여 추론(Inference, 학습된 모델로 결과를 내놓는 과정) 단계의 연산량을 줄여보자고 결정하기도 합니다. 한 마디로 최대한 덜 쓴다는 말이죠.
6.
GPU는 서비스의 '기술적 맷집'과 같습니다. 우리가 만드는 AI 서비스가 얼마나 빠르고 정확하게 대답하느냐는 결국 뒷단에 얼마나 좋은 GPU 자원을 확보했느냐에 달려 있기 때문입니다. 중국의 딥시크가 주목받았던 이유고 평범한 GPU로 엄청난 성능을 냈기 때문이고요. 최근 GPU 가격이 매우 비싸지고 있는 만큼, 기업들은 무조건 서버를 늘리기보다 GPU 자원 할당이 효율적인지 살피고 자원 없이도 돌아가는 구조(아키텍처)를 고민하고 있는 것 같습니다.
[세줄 이해]
- CPU는 복잡한 일을 잘하는 만능 교수님이고 GPU는 단순 계산을 동시에 잘하는 수천 명의 초등학생입니다.
- AI는 단순 반복 계산이 엄청나게 많기 때문에 병렬 처리에 특화된 GPU가 반드시 필요합니다.
- 엔비디아는 게임용 병렬 처리 기술을 AI 연산용으로 전환하여 AI 시대의 필수 인프라가 되었습니다.