AI 삼국지의 반전: 구글이 TPU로 판을 뒤집고 있다

8억 사용자 vs 무한 자본: OpenAI는 왜 광고를 켜지 않는가?

스타워즈와 AI 영웅의 여정

스타워즈가 대성공을 거두고 반세기가 지난 지금까지 여전히 공명을 일으키는 이유로 흔히 거론되는 설명은, 이 작품이 '영웅의 여정(Hero's Journey)'을 거의 완벽하게 구현했다는 것이다. 타투인에서 지루한 나날을 보내던 루크는 R2-D2가 전한 신비로운 메시지를 통해 모험의 부름을 받지만 처음에는 거부한다. 멘토인 오비완 케노비가 그를 타투인 밖으로 이끌어 시험에 직면하게 하고, 새로운 적과 동맹을 만나게 한다.

그는 동굴 (Death Star) 에 들어가고, 오비완의 죽음이라는 시련을 겪은 후 탈출하여 반란군에게 전투 기지 설계도를 전달하며 데스스타로 돌아갈 준비를 한다. 최후의 시험에서 포스를 믿고, 변모한 모습으로 귀환한다. 오리지널 3부작 전체로 확대해보면 같은 이야기의 확장판일 뿐이다. 다만 이번에는 시련이 두 번째 영화 전체 — 제국의 역습 — 이다.

지난 3년간 AI 스토리의 영웅은 두 회사였다: OpenAI와 엔비디아(Nvidia). 전자는 ChatGPT 출시와 함께 차세대 거대 소비자 테크 기업이 되라는 소명을 받은 스타트업이고, 후자는 선견지명 있고 끝없이 낙관적인 창업자가 이끄는 호황-불황 사이클의 게임용 칩 회사로 알려져 있다가 AI 혁명의 가장 핵심적인 인프라 제공자로 변모한 기업이다. 그러나 지난 2주간 두 회사 모두 동굴에 들어가 최대의 시련에 직면하게 되었다: 구글 제국이 맹렬히 역습하고 있다.

구글의 역습

구글의 첫 번째 일격은 Gemini 3였다. 이 모델은 다수의 벤치마크에서 OpenAI의 최신 모델보다 높은 점수를 기록했다(실제 사용에서는 다소 엇갈린 평가가 있긴 하지만). Gemini 3의 가장 큰 강점은 순전한 규모와 모델 생성에 투입된 막대한 컴퓨팅 파워이다. 이는 OpenAI가 GPT-4 수준의 규모와 복잡성을 넘어서는 차세대 모델 개발에 어려움을 겪고 있다는 점에서 주목할 만하다. OpenAI를 지탱해온 것은 많은 경우 더 나은 결과를 내는 추론(reasoning) 분야의 진정한 돌파구였지만, 이는 시간과 비용을 대가로 한 것이다.

Gemini 3의 성공은 언뜻 엔비디아에게 좋은 소식처럼 보였다. 필자는 당시 엔비디아를 이 출시의 수혜자로 꼽았다:

"아마도 가장 흥미로운 부분이다. 오늘 실적을 발표하는 엔비디아는 한편으로는 패자이다. 세계 최고의 모델이 그들의 칩으로 훈련되지 않았기 때문에, 엔비디아의 프리미엄을 지불하지 않고도 경쟁력을 갖출 수 있다는 것이 최종적으로 입증되었다.

반면, 엔비디아에 대해 낙관할 수 있는 두 가지 이유가 있다. 첫째, 모든 기업이 Gemini에 대응해야 하며, 그것도 자사 칩이 충분히 좋아지는 미래 시점이 아니라 지금 당장 대응해야 한다. 구글은 10년 전부터 TPU 작업을 시작했다. 따라잡으려면 다른 모든 기업은 엔비디아를 고수하는 것이 나을 것이다. 둘째, Gemini는 따라잡거나 앞서나가기 위한 가장 중요한 요소가 더 많은 컴퓨팅 파워라는 점을 재확인해준다."

그러나 이 분석은 한 가지 중요한 점을 놓쳤다: 구글이 TPU를 엔비디아의 대안으로 판매한다면 어떻게 될까? 이것이 바로 이 검색 거인이 하고 있는 일이다. 먼저 앤트로픽(Anthropic)과의 계약, 그 다음 메타(Meta)와의 계약 루머, 그리고 셋째로 암호화폐 채굴업체에서 출발해 전력 접근성을 활용하여 AI로 진출하고 있는 차세대 클라우드 기업(네오클라우드)들과의 계약이다. 갑자기 엔비디아가 표적이 되었다. 만약 그들의 칩에 진정한 경쟁자가 존재한다면, 특히 고공행진하는 마진율 하에서 장기 성장에 대한 새로운 의문이 제기되고 있다.

말할 필요도 없이, 이는 엔비디아의 블랙웰(Blackwell) 칩으로 수행되는 OpenAI의 다음 사전 훈련(pre-training)에 대한 압박을 높인다: 기본 모델은 여전히 중요하며, OpenAI에게는 더 나은 모델이 필요하고, 엔비디아에게는 자사 칩으로 그것이 가능하다는 증거가 필요하다.

구글로부터 더 위험에 처한 회사는?

흥미롭게 고려해볼 점은 어떤 회사가 구글로부터 더 큰 위험에 처해 있으며, 그 이유는 무엇인가 하는 것이다.

한편으로 엔비디아는 막대한 수익을 올리고 있으며, 블랙웰이 좋다면 베라 루빈(Vera Rubin)은 더욱 좋을 것으로 예상된다. 또한 메타는 구글의 자연스러운 파트너가 될 수 있지만, 다른 하이퍼스케일러들은 그렇지 않다.

반면 OpenAI는 그 어느 때보다 많은 돈을 잃고 있으며, 그 어느 때보다 역량이 분산되어 있다. 아직 존재하지 않는 매출로 더 많은 컴퓨팅 파워를 구매하기로 합의하면서도 말이다. 그럼에도 불구하고 — 엔비디아에 대해 여전히 상당히 낙관적이면서도 — 필자는 OpenAI의 승산이 더 높다고 본다. 사실, 가장 큰 우려는 필자가 OpenAI의 승산을 OpenAI 자신보다 더 높게 평가하는 것 같다는 점이다.

엔비디아의 해자(Moat)

1~2년 전으로 돌아가보면, TPU 대비 엔비디아가 세 가지 해자를 가지고 있다고 주장할 수 있었다: 우월한 성능, GPU가 TPU보다 범용적이기 때문에 훨씬 더 높은 유연성, 그리고 CUDA와 이를 둘러싼 개발자 생태계이다. 한편 OpenAI는 최고의 모델, API의 광범위한 사용, 그리고 ChatGPT를 이용하는 방대한 수의 소비자를 보유하고 있었다.

그렇다면 각 회사의 첫 번째 차별화 요소가 사라지면 어떻게 될까? 이것이 지난 2주간 제기된 질문의 핵심이다: TPU가 GPU만큼 좋다면 엔비디아는 우위를 유지할 수 있는가? 그리고 의문의 여지 없이 최고의 모델을 보유하지 못한다면 OpenAI는 장기적으로 생존 가능한가?

유연성의 우위

엔비디아의 유연성 우위는 실제로 존재한다. 마이크로소프트와 메타 모두 자본지출 증가의 정당화 근거로 다양한 워크로드에 걸친 GPU의 대체 가능성(fungibility)에 초점을 맞춘 것은 우연이 아니다. TPU는 하드웨어 수준에서 더 특화되어 있고, 소프트웨어 수준에서 프로그래밍이 더 어렵다. 고객이 유연성을 중시하는 한 엔비디아는 여전히 명확한 선택지로 남는다.

CUDA의 양면성

CUDA는 오랫동안 엔비디아 고착(lock-in)의 핵심 원천이었다. 이는 개발자에게 제공하는 저수준 접근성 때문이기도 하고, 개발자 네트워크 효과 때문이기도 하다: 스택이 엔비디아 기반이라면 저수준 엔지니어를 고용하기가 더 쉽다.

그러나 엔비디아의 과제는 "대기업 효과"가 유연성 논거와 반대 방향으로 CUDA에 작용할 수 있다는 점이다. 하이퍼스케일러 같은 대기업은 GPU의 유연성으로부터 이점을 얻을 수 있는 다양한 워크로드를 보유하고 있지만, 대안적인 소프트웨어 스택을 구축할 역량도 갖추고 있다. 그들이 오랫동안 그렇게 하지 않은 것은 단순히 시간과 노력을 들일 가치가 없었기 때문이다. 그러나 자본지출 계획이 수천억 달러에 달하게 되면 무엇이 시간과 노력을 들일 "가치가 있는지"가 달라진다.