21화. AI 전쟁의 본질:더 빠른 칩은 왜 무의미한가

제3부: 미래 권력의 조건 - 기술 패권 전쟁

AI 생태계의 진짜 전쟁: 왜 더 빠른 칩이 나와도 엔비디아는 끄떡없을까?

"새로운 AI 칩이 엔비디아보다 100배 빠르대!"

주식 커뮤니티에 이런 글이 올라올 때마다 나는 쓴웃음을 짓는다.

아, 또 누군가는 이걸 믿고 엔비디아 주식을 팔겠구나.

그리고 몇 달 후 땅을 치며 후회하겠지.

왜 그럴까? 답은 간단하다.

AI 전쟁은 칩 성능 싸움이 아니라 생태계 전쟁이기 때문이다.

이 글을 다 읽고 나면,

당신은 AI 산업의 본질을 꿰뚫어 볼 수 있게 될 것이다.

그리고 왜 수많은 "엔비디아 킬러"들이 모두 실패했는지,

왜 AMD조차 엔비디아를 넘지 못하는지 완벽히 이해하게 될 것이다.

EP21. AI 생태계의 진짜 전쟁: 왜 더 빠른 칩이 나와도 엔비디아는 끄떡없을까?

1. 시작하기 전에: 부두(3dfx)의 비극

이야기를 시작하기 전에, 한 가지 역사를 되짚어보자.

1990년대 후반, PC 게임계의 절대 강자가 있었다.

부두(3dfx)라는 회사였다.

그들의 '글라이드(Glide)' API는 당시로선 혁명이었다.

퀘이크를 부두 카드로 돌려본 사람은 안다.

"와, 이게 같은 게임이야?"라는 감탄이 절로 나왔다.

그런데 부두는 치명적인 실수를 했다.

원래는 칩만 만들어서 여러 그래픽카드 제조사에 공급했는데,

어느 날 갑자기 "우리가 직접 그래픽카드도 만들면 더 많이 벌겠네?"라고 생각한 것이다.

결과는? 재앙이었다.

기존 파트너들이 등을 돌렸다.

"뭐야, 우리가 고객이면서 경쟁자라고?"

다들 엔비디아와 ATI로 갈아탔다.

생태계가 무너지자 부두도 함께 무너졌다.

부두가 우리에게 가르쳐준 교훈은 명확하다:
기술이 아무리 뛰어나도 생태계를 파괴하면 망한다.

엔비디아는 이 교훈을 뼈저리게 이해했다.

그래서 그들은 절대 그래픽카드를 직접 만들지 않는다.

(레퍼런스 카드인 "Founders Edition"은 예외. 생산량 극소수

각 제조회사마다 고유의 설계디잔인을 반영하여 고급화전략을 구사.

그래서 표준인 파운더스 에디션이 필요하다. )

칩과 CUDA만 제공하고, 제조는 파트너들에게 맡긴다.

모두가 돈을 버는 구조. 이것이 생태계다.

(데이터센터 영역에서는 엔비디아가

DGX/HGX 같은 보드·시스템을 자체 브랜드로 공급한다.)

2. CUDA와 Windows: 놀라운 유사성

자, 이제 본격적으로 들어가보자.

나는 CUDA를 처음 이해했을 때 소름이 돋았다.

이거 완전히 Windows 아닌가?

생각해보라.

Windows가 기술적으로 최고의 OS인가? 아니다.

리눅스가 더 안정적이고, macOS가 더 세련됐다.

그런데 왜 전 세계 PC의 70%가 Windows를 쓸까? (StatCounter, 2025.08)

답은 생태계다.

• 모든 프로그램이 Windows 기준으로 만들어진다

• 문제가 생기면 구글링하면 답이 나온다

• 주변 사람들이 다 쓰니까 물어볼 사람이 많다

• 기업들이 Windows 기준으로 시스템을 구축한다

CUDA도 정확히 같은 현상이 일어나고 있다.

• 모든 AI 라이브러리가 CUDA 기준으로 만들어진다.(PyTorch Docs, 2025; TensorFlow Docs, 2025)

• Stack Overflow에 가면 CUDA 답변이 넘쳐난다

• 대학에서 AI 배울 때 CUDA로 배운다.(PyTorch University/Teach Resources, 2025)

• 기업들이 CUDA 기준으로 인프라를 구축한다

여기서 무서운 진실이 하나 있다.

리눅스가 아무리 좋아도, 일반인들은 불편해서 안 쓴다.

마찬가지로 AMD의 ROCm이 아무리 발전해도, 개발자들은 불편해서 안 쓴다.

"그런데 리눅스는 무료잖아요?"라고? CUDA도 무료다.

"리눅스가 더 안정적이잖아요?"라고? 개발자들은 안정성보다 편의성을 택한다.

3. 개발자의 하루: CUDA 감옥에 갇힌 사람들

한 AI 개발자의 하루를 상상해보자.

아침에 출근해서 PyTorch를 연다.

PyTorch는 CUDA를 기본으로 한다.

오픈소스를 찾아본다.

다 CUDA 기준이다.

버그가 생겨서 검색한다.

CUDA 기준 답변뿐이다.

동료에게 물어본다.

"어? CUDA에서는 잘 되는데?"

이때 회사에서 "AMD 칩이 30% 더 싸대. 바꿔볼까?"라고 한다면?

개발자의 속마음:

• "내 코드 다 다시 짜야 하나?"

• "버그 생기면 누가 해결해주지?"

• "검색해도 답 안 나올 텐데?"

• "실패하면 내 책임인가?"

결론: "그냥 CUDA 씁시다."

이게 현실이다.

개발자들은 이미 CUDA라는 감옥에 갇혀있다.

그런데 신기한 건, 이 감옥이 꽤 편하다는 거다.

4.쿠팡 vs 지마켓: CUDA 락인의 완벽한 비유

개발자가 CUDA를 떠나지 못하는 이유를 더 쉽게 이해하려면,

우리가 매일 쓰는 쇼핑앱을 생각해보자.

쿠팡과 지마켓의 차이를 아는가?

쿠팡:

• 자체 물류 시스템으로 로켓배송

• 오늘 밤 11시 59분에 주문해도 내일 새벽 도착

• 앱도 깔려있고, 카드도 등록되어 있고, 와우 멤버십도 가입됨

• 반품? 그냥 문 앞에 놔두면 끝

지마켓:

• 여러 판매자가 각자 배송

• 오후 4시까지 주문해야 내일 도착 (어쩌면)

• 쿠폰 쓰면 조금 더 싸긴 한데...

• 반품? 판매자마다 다름

자, 이미 쿠팡에 완전히 적응한 사람에게

"지마켓이 쿠폰 쓰면 10% 더 싸요!"라고 하면 갈아탈까?

대부분은 "에이, 귀찮아. 그냥 쿠팡 쓸래"라고 한다.

CUDA가 바로 AI 개발 세계의 쿠팡이다.

• 모든 AI 라이브러리가 CUDA에 최적화 (로켓배송)

• 문제 생기면 바로 해결책 검색 가능 (고객센터)

• 이미 모든 개발 환경이 세팅됨 (앱 설치, 카드 등록)

• 커뮤니티 지원 완벽 (와우 멤버십 혜택)

AMD ROCm은 지마켓 같은 존재다.

• 성능은 비슷하거나 조금 나을 수도 (쿠폰 쓰면 더 쌈)

• 하지만 사용하기 불편 (배송 느림)

• 문제 생기면 해결 어려움 (판매자 직접 연락)

• 처음부터 다시 세팅해야 함 (새로 가입, 주소 입력...)

"그래도 더 싸잖아요?"라고?

개발자의 시간은 돈이다.

하루 인건비가 30만 원인 개발자가 AMD 환경 세팅하느라 일주일을 날리면?

150만 원이다.

차라리 비싸도 CUDA를 쓰는 게 이득이다.

더 무서운 건 이미 쌓인 경험치다.

쿠팡을 3년 쓴 사람은 어디에 뭐가 있는지 다 안다.

로켓프레시로 새벽배송 받는 법도 안다.

반품 프로세스도 완벽히 숙지했다.

마찬가지로 CUDA를 3년 쓴 개발자는:

• 어떤 버전이 안정적인지 안다

• 버그 생기면 어디서 해결책 찾는지 안다

• 최적화 팁과 트릭을 모두 안다

이 모든 걸 버리고 AMD로 갈아타라고? "미쳤어?"

5. 100억 원의 저주: 이미 쓴 돈은 돌아오지 않는다

더 끔찍한 이야기를 해보자.

대기업 A가 ChatGPT 같은 거대 AI를 만들었다고 치자.

얼마나 들었을까?

• GPU 구매: 200억 원

• 전기료: 50억 원

• 개발자 인건비: 100억 원

• 시간: 1년

총 350억 원과 1년이라는 시간.

그리고 이 모든 게 CUDA 기반이다.

이때 AMD가 나타난다.

"우리 새 칩은 40% 더 빠르고 30% 더 싸요!"

CEO가 CTO를 부른다.

"이거 바꾸면 얼마나 절약되지?"

CTO의 대답을 상상해보자:

"절약은 되는데요...

지금까지 만든 거 다 버리고 처음부터 다시 해야 합니다.

아마 6개월은 더 걸릴 거고,

중간에 예상 못한 문제가 생길 수도 있고요..."

CEO: "그럼 그냥 CUDA 쓰자."

이것이 바로 매몰비용의 함정이다.

이미 투자한 돈과 시간이 너무 커서, 더 좋은 대안이 있어도 바꿀 수 없다.

경제학에서는 이를 "경로의존성(Path Dependency)"이라고 부른다. 한 번 선택한 길에서 벗어나기가 극도로 어려워지는 현상. CUDA가 만든 경로의존성은 이제 전 세계 AI 산업을 지배하고 있다.

6. 오픈소스의 아이러니: 자유가 만든 감옥

"그래도 오픈소스가 있잖아? 오픈소스는 자유롭잖아?"

아, 이것이야말로 최고의 아이러니다.

현재 AI 개발의 80~90% 이상이 오픈소스를 사용한다.

PyTorch, TensorFlow, Hugging Face... 모두 오픈소스다.

그런데 이 오픈소스들이 뭘 기준으로 만들어졌을까?

당연히 CUDA다.

실제 상황을 보자:

• 개발자 A: "제가 만든 AI 모델 공유합니다! MIT 라이선스예요!"

• 개발자 B: "오, 감사합니다! 그런데... CUDA 11.8 필수네요?"

• 개발자 A: "아... 네. 다들 그거 쓰지 않나요?"

• 개발자 B: "AMD GPU로는 안 되나요?"

• 개발자 A: "음... 직접 포팅하셔야 할 거예요. 전 CUDA만 써서..."

보이는가?

오픈소스가 자유를 준 게 아니라, CUDA 종속을 더 강화시켰다.

왜?

개발자들이 CUDA 환경에서 개발하고,

CUDA 환경에서 테스트하고,

CUDA 환경에서 배포하니까.

오픈소스가 많아질수록 CUDA 표준은 더 공고해진다.

이것이 진정한 네트워크 효과다.

사용자가 많아질수록 더 많은 사용자를 끌어들인다.

그리고 이제는 탈출이 불가능한 수준에 이르렀다.

7. 빅테크의 반란? 아니, 그들도 못 벗어난다

"잠깐, 구글이나 아마존 같은 빅테크는 자체 칩 만들잖아?"

맞다.

구글은 TPU를,

아마존은 Trainium을,

애플은 Neural Engine을 만들었다.

그런데 왜 CUDA가 여전히 왕좌에 있을까?

답은 간단하다. 그들의 칩은 그들만을 위한 것이기 때문이다.

생각해보라. 당신이 AI 스타트업을 운영한다고 치자.

구글 TPU를 쓰려면? 구글 클라우드에 종속된다. (Google Cloud TPU Docs, 2025)

아마존 칩을 쓰려면? AWS에 갇힌다. (AWS Neuron/Trainium Docs, 2024)

반면 CUDA는? 어디서든 돌아간다.

내 컴퓨터에서도,

회사 서버에서도,

어떤 클라우드에서도.

이는 마치 쿠팡이 아무리 좋아도,

쿠팡에서만 쓸 수 있는 결제 수단은 전국 표준이 될 수 없는 것과 같다.

반면 CUDA는 비자카드처럼 어디서나 통용되는 표준이 되었다.

더 흥미로운 사실:

그 빅테크들조차 여전히 CUDA를 대량으로 구매한다.

왜? 자체 칩만으로는 부족하고, 개발자들이 CUDA를 원하니까.

8. 빅테크 칩의 한계: 쿠팡 전용 결제수단의 함정

빅테크들의 자체 칩을 더 정확히 이해하려면, 이런 비유를 생각해보자.

쿠팡이 "쿠팡페이로만 결제하면 50% 할인!"이라고 한다면?

• 쿠팡에서는 엄청 좋다

• 하지만 다른 쇼핑몰에서는 못 쓴다

• 네이버쇼핑, 11번가, G마켓... 다 안 된다

구글 TPU가 바로 이런 존재다.

• 구글 클라우드에서는 정말 좋다

• 가격도 싸고 성능도 좋다

• 하지만 AWS로 옮기면? 못 쓴다

• 내 회사 서버실에서? 당연히 못 쓴다

반면 CUDA는 뭐와 같은가?

비자카드나 마스터카드 같은 존재다.

• 어느 쇼핑몰에서든 된다

• 어느 나라에서든 된다

• 온라인이든 오프라인이든 된다

스타트업 입장에서 생각해보자:

"우리가 구글 TPU로 개발하면 영원히 구글 클라우드에 묶이는데...

나중에 비용 협상력도 없어지고... 다른 클라우드로 못 옮기고..."

"차라리 비싸도 CUDA 쓰자. 어디서든 돌아가니까."

이래서 빅테크들이 아무리 좋은 칩을 만들어도, 결국 자기들 서비스에만 쓰고 끝나는 거다.

진짜 아이러니는 뭔지 아나?

그 빅테크들조차 여전히 엔비디아 GPU를 대량 구매한다.

왜? 자체 칩만으로는 부족하고,

외부 개발자들을 끌어들이려면 결국 CUDA 환경을 제공해야 하니까.

쿠팡이 쿠팡페이 만들어도 여전히 다른 카드사 결제를 지원하는 것과 같은 이치다.

9. CUDA의 진짜 무기: 하드웨어와 소프트웨어의 완벽한 결합

여기서 많은 사람들이 놓치는 핵심이 있다.

CUDA는 단순한 소프트웨어가 아니다.

CUDA는 엔비디아 GPU의 하드웨어 구조와 완벽하게 맞물려 있다.

(NVIDIA CUDA Programming Guide, 2025)

무슨 말인가? CUDA 코드는 엔비디아 GPU에서만 100% 성능을 낸다.

AMD가 아무리 CUDA 호환을 외쳐도,

결국은 생태계의 벽이다.

세팅 빡세고, 호환 구멍 있고, 재현성 흔들린다.

이는 마치 아이폰 앱을 안드로이드에서 돌리려는 것과 같다.

기술적으로 가능할지 몰라도, 제대로 돌아가지 않는다.

엔비디아는 하드웨어와 소프트웨어를 동시에 지배한다. 이것이 진정한 해자(moat)다.

10. 온디바이스 AI: 마지막 희망? 글쎄...

"그래도 스마트폰이나 IoT는 아직 기회 아닌가?"

이론적으로는 맞다.

온디바이스 AI 시장은 아직 CUDA가 완전히 장악하지 못했다.

하지만 현실을 보자.

AMD나 다른 회사들이 이 시장을 잡으려면 뭐가 필요할까?

개발자들에게 엄청난 인센티브

• 근데 그 돈이 어디서 나오지?

CUDA보다 쉬운 개발 환경

• 15년간 쌓인 CUDA의 노하우를 어떻게 따라잡지?

완벽한 코드 변환 도구

• 만들어봤자 버그 투성이

강력한 커뮤니티

• 커뮤니티는 하루아침에 만들어지지 않는다

더 큰 문제가 있다.

이미 개발자들 머릿속에는 "AI = CUDA"라는 공식이 박혀있다.

이걸 바꾸는 건 칩을 만드는 것보다 백배는 어렵다.

마치 한국인에게 "밥 대신 빵을 주식으로 먹으세요"라고 설득하는 것과 같다.

이론적으로는 가능하지만, 현실적으로는...

11. 2등의 반란이 불가능한 진짜 이유

자, 이제 핵심에 도달했다.

왜 AMD가, 인텔이, 심지어 구글과 같은 거대 기업도 엔비디아를 이기지 못할까?

답은 간단하다. 생태계는 자생적으로 성장하기 때문이다.

엔비디아가 개발자들에게 "CUDA를 쓰세요"라고 강요한 적이 있나? 없다.

개발자들이 써보니 편해서 쓴 거다.

그리고 쓰는 사람이 많아지니 더 편해졌다.

문서가 늘어나고, 예제가 늘어나고, 커뮤니티가 커졌다.

이제는 신입 개발자가 AI를 배우려면?

당연히 CUDA부터 배운다. 왜? 그게 표준이니까.

이것이 인텔이 ARM에게 모바일에서 진 것과 다른 점이다.

• 인텔 vs ARM: 하드웨어 성능과 전력 효율의 싸움

• 엔비디아 vs AMD: 생태계와 개발자 경험의 싸움

하드웨어는 돈과 시간을 투자하면 따라잡을 수 있다.

하지만 생태계는?

생태계는 시간이 만들고, 사람이 만들고, 신뢰가 만든다.

이 셋 중 어느 것도 돈으로 살 수 없다.