엔비디아가 AI 시대에 대응하는 방법
[테크수다 기자 도안구 eyeball@techsuda.com] 엔비디아 이익 관련한 인포그래픽을 봤다. 2019년부터 2023년까지의 매출에 대한 이야기다. 이걸 보고 간단히 정리하고 싶었다. 설 연휴기도 하고.
NVIDIA Korea 엔비디아가 AI 시대에 대응하는 방법에 대해서 간단히 정리해 봤습니다.
엔비디아, 분석과 AI를 위한 데이터센터용 프로세서를 제공하는 기업으로 완전히 탈바꿈.
학습과 추론칩 분야에서 가장 비용효율적이면서 고객이 요구하는 수요에 가장 빠르게 대응하는 기업.
엔비디아는 AI 시장 에 상당히 유연하게 대응하고 있다. 그 대응책 7가지 영역을 초간단히 정리해봤다.
1. 클라우드 사업자들에게 A100, H200 칩을 제공 - 전통 비즈니스
칩을 클라우드 기업과 서버 업체에 판다. 그들은 구매한 후 자체적인 이더넷 네트워킹 기술이던 혹은 엔비디아가 제공하는 인피니밴드 기술을 활용해 시스템을 구성해 자체 슈퍼컴퓨터 만든다.
전세계 클라우드와 통신 회사가 가장 큰 고객이다. 미국에서는 5대 슈퍼고객이라 부른다. 아마존(AWS), 마이크로소프트 (애저), 구글(GCP), 메타(페이스북), AT&T다. 아마 이들 고객들이 서버 사이드 매출 50% 이상을 차지할 거다.
그러니 지금 벌어지는 AI 칩 확보 경쟁은 클라우드 사업자들의 전쟁 시즌 2라고 볼 수 있다. 마이크로소프트가 치고 나가고 클라우드 분야에서 수익은 내지만 여전히 그닥이었던 구글클라우드가 AI 를 무기로 무섭게 치고나가려고 하고 있다. AWS가 부랴 부랴 오픈AI에서 나온 이들이 만든 엔쓰로픽에 부랴부랴 40억 달러를 투자한 이유다.
그나마 기존 클라우드 고객들이 있으니 저렇게 버티는거지 안그랬으면 이번에 완전히 게임 끝나고 미래를 잃을 뻔했다.
저 5개 회사 뒤에 중국 회사들이 있다. 수출 못하게 하니 전세계 나가 있는 중국 돈으로 만들어진 수많은 금융회사 혹은 현지 회사들 통해서 모두 사서 중국으로 가져간다.
알리바바클라우드, 텐센트, 바이두가 있다. 죽다 살아난 화웨이도 있다. 화웨이는 중국 밖으로 나오기 어렵지만 통신 장비와 휴대폰, 다양한 디바이스, 그리고 애플이 제공하는 다양한 서비스 모델까지 벤치마킹해서 자체 LLM 모델도 만들어서 운영한다. 화웨이가 스마트폰에 가장 먼저 인공지능 칩을 넣어서 출시한 걸 잊으면 안된다.
한국 클라우드 사업자들은 큰 손은 커녕 엔비디아에 장비달라고 해도 얻을 길이 없는 거 같다. 아마도 삼성전자 정도 되니까 어느 정도 가져가는 거 같다. 여기가 가져가고 나야 다른 곳들에게 그나마 순서가 돌아가지 않을까 싶다. 참고로 네이버클라우드가 세종시에 각이라는 데이터센터를 짓고 A100 인프라를 도입했다.
참고 글 : 네이버 ‘세종’ 슈퍼컴퓨터에 엔비디아 A100 텐서 코어 GPU 탑재
엔비디아 A100 텐서 코어 GPU(NVIDIA Tensor Core A100 GPU)가 네이버 슈퍼컴퓨터 세종(Sejong)에 탑재됩니다!
슈퍼컴퓨터가 위치한 지역의 명칭이자 한글 데이터의 생성과 확산에 전환점을 마련한 세종대왕의 뜻을 기린 슈퍼컴퓨터 ‘세종’은 엔비디아 A100 텐서 코어 GPU 2,240개로 구성됩니다. 엔비디아 A100 텐서 코어 GPU는 엔비디아 암페어(Ampere) 아키텍처로 구동되며, 이전 세대보다 최대 20배 더 높은 성능을 제공하고 7개의 GPU 인스턴스로 파티셔닝하여 변화하는 수요에 동적으로 대응할 수 있습니다.
또한 슈퍼컴퓨터 ‘세종’은 엔비디아 퀀텀 인피니밴드(Quantum InfiniBand) 네트워킹 플랫폼과 인네트워크 컴퓨팅(In-Network Computing)을 통해 저지연, 고속 통신이 가능합니다. 아울러 슈퍼 컴퓨터 전용으로, 3.6페타비이트(PB)의 스토리지를 구축했으며, 구축된 스토리지 네트워크 대역폭은 22Tbps입니다.
슈퍼컴퓨터 ‘세종’은 최근 오픈한 네이버의 두번째 데이터센터 ‘각 세종’에 구축됐으며, 미국 덴버 콜로라도주에서 열린 고성능 컴퓨팅 국제 컨퍼런스 ‘SC23’에서 공개된 슈퍼컴퓨터 ‘톱 500’에서 22위를 기록했는데요. 슈퍼컴퓨터 ‘세종’의 연산 능력은 32.97 PFlops로 올해 11월 기준, 국내의 슈퍼컴퓨터 중에서는 최고 성능이자 최고 랭킹입니다.
‘세종’은 기존 네이버가 구축했던 슈퍼컴퓨터의 2배 규모에 달하며, 네이버는 슈퍼컴퓨터로 무장한 ‘각 세종’을 기반으로 기술 혁신을 선도하고 AI 비즈니스 확대를 가속화할 예정이라고 밝혔습니다.
네이버클라우드 화이팅이다. 네이버원팀과 삼성전자 메모리 파트의 협업도 기대해보자.
2. 클라우드 사업자들에게 엔비디아가 만든 데이터센터 전용 인프라를 통째로 넣어서 호스팅 사업
클라우드 사업자들은 엔비디아 칩을 사서 자체 슈퍼컴을 만들어서 서비스한다. 이게 메인이다. 근데 엔비디아는 자체 데이터센터용 시스템을 만들어서 CSP 안에 통째로 넣고 호스팅하는 모델도 내놨다.
단순 부품 회사로 끝나지 않고 시스템 회사답게 통으로 만들었다. DGX 클라우드 상품이다. 이걸 통째로 클라우드 서비스 사업자의 데이터센터 안으로 넣어서 서비스할 수 있도록 한다.
클라우드 사업자들은 진작에 이런 제안을 받아들였다. Microsoft Azure, Google Cloud Platform GCP , Oracle 등이 대표적이다. AWS는 자체 추론칩과 학습칩도 만들고 있어서 엔비디아 칩을 별도로 구매해서 구축하는 건 했지만 이런 통째로 데이터센터에 넣어주는 건 거부해 왔었다.
하지만 마지막으로 이 제안을 받아들였다.
지난해 말 Amazon Web Services 가 협력을 발표했다. 운이 좋아 #awsreinvent 2023 초대받아 갔었다. 후배들에게 분명히 젠슨 황 엔비디아 CEO가 이 행사장에 깜짝 등장할거라고 말했었는데 정말 그가 나타났다.
AWS CEO 기조연설할 때 진짜 등장했다. 역시 촉이 ㅎㅎ.
AWS 입장에서도 AI 분야에 대한 투자를 실기하면서 고객들의 엔비디아 인프라 구축 요구를 더 이상 외면할 수 없었을 거다. 대신 엔비디아도 최신의 새로운 제품군을 가장 먼저 제공하고 넣는 선에서 협력이 빛을 발하게 했다.
이런 딜 행태도 재미난 거 같다.
당시 두 회사 협력 보도자료 요약
———-
AWS, 엔비디아 그레이스 호퍼 슈퍼칩 및 AWS 울트라클러스터 확장성 갖춘 최초의 클라우드 AI 슈퍼컴퓨터 제공
AWS, 클라우드 제공업체 최초 엔비디아 GH200 NVL32 탑재한 엔비디아 DGX 클라우드 도입
양사 협력 ‘프로젝트 케이바’…세계에서 가장 빠른 GPU 기반 AI 슈퍼컴퓨터이자 엔비디아 AI R&D 및 커스텀 모델 개발 위한 최신 엔비디아 DGX 클라우드 슈퍼컴퓨터
엔비디아 GH200/H200/L40S/L4 GPU 기반 신규 ‘아마존 EC2 인스턴스’…생성형 AI, HPC, 설계, 시뮬레이션 워크로드 강화
AWS 기반 엔비디아 소프트웨어 니모 LLM 프레임워크, 니모 리트리버, 바이오니모…커스텀 모델, 의미 검색, 신약 개발 위한 생성형 AI 개발 촉진
———
재미난 건 AWS가 SK하이닉스 (SK hynix) HBM 고객인 걸 처음 공식적으로 알려줬었다. 같이 간 동료 기자 중 한명이 확인. 난 메모리 분야 출입 기자가 아니지만 멋진 성과라서 CES 2024 미디어 행사때 천신만고 끝에 간신히 들어가서 막판에 물어보려고 맨 뒤에서 손 엄청 들었는데 기회를 못잡았다. 늙으니 “여기요” 하던 패기는 사라졌다.
한국 제조업체들은 자기네 기자단이 아니면 응대를 절대 안한다. 아쉽다.
3. 채굴 전용 호스팅 업체들에게 AI 인프라 먼저 제공
대형 클라우드 사업자들이 자체칩을 만들면서 의존도를 떨어뜨리는 상황도 잘 알고 있는 만큼 암호화폐 채굴 전문으로 기존부터 협력해 왔던 기업들이 AI 시대를 맞아 새로운 사업모델로 탈바꿈할 수 있도록 이 회사들에게 A100, H100 같은 인프라를 우선적으로 공급해준다. 이들 회사에 투자도 한다. 이름을 까먹었다. 코어위브 말고도 몇개 더 되는 거 같았는데.
이들이 AI 전용 데이터센터를 짓고 엔비디아는 학습칩과 추론칩을 제공한다. 이 기업들은 마이크로소프트 애저와 계약하거나 통신사 혹은 엔터프라이즈 기업들과 계약해 돈을 번다.
이런 우군 확보에 열을 올리니 AI 칩 물량이 더 딸리지.
4. AI 스타트업에 막대한 투자
코히어 같은 B2B 겨냥한 LLM 만드는 회사부터 프랑스 기업으로 오픈소스 영역에서 갑자기 등장한 미스트랄, 인플렉션AI 등등. 다시 찾아보니 Hugging Face, AI21 Labs, Funway, Cohere, Inflection, Databricks, imbue, Adept 기업들에게도 다 투자를 했다고.
지난해 10월경까지 엔비디아는 35개 AI 기업에 투자했다고 한다. 당시 규모로만 보면 1조 1500억원이다. 삼성전자나 SK하이닉스는 AI 스타트업에 얼마나 했을까.
5. 고객 커스텀 칩 개발로 다시 한번 주목을
엔비디아의 독주는 올해도 쭈욱 이어질거다. 하지만 이미 클라우드 사업자들이 자체칩을 만들면서 투자를 높여가고 있다. 아마존이 이미 치고 나간 상황에서
구글은 브로드컴과 협력해 TPU를 만들어 냈다.
Microsoft 는 지난해 11월 연례 개발자 회의 '이그나이트 콘퍼런스'에서 자체 개발한 AI 칩인 '마이아 100'과 ARM 기반 고성능 컴퓨팅 작업용 중앙처리장치(CPU) '코발트 100'을 공개했다. 오픈AI와 협력했다고 한다.
이들은 더더욱 그렇게 하고 싶어한다. 한국에서 네이버 원팀(네이버, 네이버클라우드, AI 팀들 등등)와 삼성전자 메모리 파트가 협력해 새로운 시도를 하고 있다.
메타(페이스북)도 지난해 선보인 MTIA(Meta Training and Inference Accelerator)라는 자체 설계 칩의 2세대에 해당하는 제품을 선보였다. 신규 칩은 '아르테미스'라는 이름으로 내부에서 불린다고 한다.
엔비디아는 이런 자체칩 만드는 기업들에게 커스텀 칩을 자신들이 만들어주겠다고 역제안하면서 다가서고 있다.
브로드컴이 구글 TPU 만들어주면서 가격을 높게 부르면서 구글이 진짜 자체인력과 다른 반도체 기업과 손잡고 TPU 차기 제품에 대한 설계부터 생산을 하려는 움직임이 포착될 정도로 커스터칩 시장은 알짜 시장이기도 하다.
6. AMD, 인텔 파괴력은 여전히 미흡
어쩌면 올해가 AMD와 인텔이 엔비디아의 독주를 막을 제품을 선보이는 첫해가 될 듯 보인다. 하지만 막상 선보인 AMD의 M1300X 시리즈가 기대만큼 큰 파괴력을 보이지는 않는 거 같다. 또 인텔이 새로운 제온 5세대 데이터센터용 반도체를 선보였지만 가우디 3는 올 하반기에나 나올 예정이다. 방향은 잘 잡았지만 실제 고객에게 파괴력을 보이려면 여전히 내년이나 내후년은 되어야 한다.
엔비디아의 독주는 지난해부터 시작해서 올 상반기까지일거 같았지만 웬지 올해 말까지는 제대로 브레이크를 걸 기업은 없어 보인다.
7. AI 네트워킹 인프라도 내가 최강
오히려 엔비디아의 발목을 잡는 건 수많은 칩을 장착한 서버와 서버끼리 연결하는 '네트워킹' 장비 영역이 아닐까 싶다. 이 네트워킹 스위치 만들어서 고객에게 전달하는데 AI 칩 인프라보다 더 오래 걸린다는 소리가 나올 지경이다.
엔비디아는 인피니밴드 기술을 만든 회사를 인수했다. DGX에는 이런 걸 완전히 접목해 시스템으로 팔고 있다. AI 전용 스위치까지 만들어서 AI 인프라에서 엔비디아를 벗어나지 못하게 하려고 한다.
인피니밴드 이외에 이더넷 진영이 상당 부분 준비를 다 하긴 했지만 제대로 대응하기가 쉽지 않다. 얼마전 엔비디아와 네트워크 자이언트 출신 Cisco 시스코 협력을 눈여겨 볼 필요가 있다.
한국에서는 AI 영역에서 네트워킹 이슈가 상댕적으로 무척 소홀히 다뤄지는 거 같다. 안타까운 일이다.
뉴스 요약
가. 인프라 관리, 보안 AI 인프라, 관찰 가능한 엔드투엔드 AI 솔루션, 고급 AI 및 생성 AI 워크로드의 구축 및 배포를 지원하는 NVIDIA AI 엔터프라이즈 소프트웨어에 대한 액세스를 포함한 간소화된 클라우드 기반 및 온프레미스 AI 인프라, 네트워킹 및 소프트웨어를 기업에 제공합니다.
나. 시스코와 엔비디아의 특수 제작된 이더넷 네트워킹 기반 솔루션은 시스코의 방대한 글로벌 채널을 통해 판매될 예정이며, 이더넷 인프라를 통해 기업의 GPU 클러스터 구축을 지원하는 주요 파트너를 통해 전문적인 서비스와 지원을 제공할 예정입니다.
다. 이번 협력을 통해 유럽의 클라우드 서비스 제공업체인 ClusterPower와 같은 주요 고객을 유치하여 클라이언트 인프라 및 서비스의 기반이 되는 혁신적인 AI/ML 솔루션으로 데이터센터 운영을 촉진할 수 있게 되었습니다.
참 이 영역 이야기는 엄청 중요한데 한국에서는 AI 영역에서 네트워킹 분야가 상당히 소홀하게 다뤄지는 거 같다. 네트워크 엔지니어들 간바레!!!
최근 이슈에 대해 더 관심이 많으면 지디넷 김우용 팀장의 'AI 네트워킹, 인피니밴드에서 이더넷으로 대세 바뀐다'는 글을 꼭 읽어보시길 권한다. 한국에서 이제 기술 기사 쓸 기자는 김우용 팀장 한명 남은 거 같다. 해당 글은 댓글에.
대략 7가지 정도를 이야기했다.
엔비디아는 GPU를 만들면서 더하기 곱하기 에 최적화되게 만들었다. 그러다가 이런 세상을 만났다. 어려울 때는 천운으로 암호화폐 채굴 시기를 만나 위기를 넘기기도 했다.
아래 이미지를 보면 지금은 클라우드 기반 AI 시대라는 걸 아주 명확히 알 수 있다. 지금 가장 큰 전쟁은 이 영역 싸움이다. 여전히 CSP들간 경쟁이다. 온디바이스 AI 이야기가 나오지만 그건 조금은 뒤에 꽃을 필거같다.
삼성전자 갤럭시 S24 에 생성형 LLM 이 탑재되어 있지만 서클 투 서치는 구글 클라우드에 있는 제미나이 프로를 사용해야 가능한 서비스다. 구글 클라우드가 이걸 제조사에게 팔고 있다.
물론 이건 실적 소식은 잘 모르는 이의 글이니 그냥 참고만 하시기 바란다. 꼭 이런 글을 쓰면 그래서 주식 사라는 거냐라고 하는데 난 그 분야 전문가도 아니니 답을 해드릴 수도 없다.
아래 장표를 보고 그냥 기록으로 남겨야 해서 그냥 정리차원에서 가볍게 썼다.
이런 데 살을 붙여야 하는데 그게 힘들다.
설이다. 모두들 건강하시길.
One More Thing... 커스텀 칩 고객이 오픈AI라면?
커스텀 칩 영역에서 다뤄야 했지만 그 커스텀 칩 고객이 향후 오픈AI 된다면 어떨까 싶다. 이건 완전 차원이 다른 이야기다. 그래서 원 모어 씽으로 뺐다.
샘 알트럼 오픈AI CEO가 최근 9조 달러(9331조원)의 투자금을 조달해 전 세계 반도체 산업을 변화시키려고 한다는 기사들이 떴다.
다들 저 시끼 뭔 헛소리야 라는 느낌이고 나도 마찬가지다.
다만 지난해 AI 시장이 개화될 때 약장수들은 입을 모아 '애플이 아이폰을 내놓은 그 첫해 같은 느낌'이라는 말들을 했다. 그런 측면에서 본다면 AGI 시대, GPT-5, 제미나이 울트라 같은 AI 엔진은 이제 시작에 불과한지도 모를 일이다.
모든 로봇에 생성형 AI가 다 붙은 시대가 도래했다. AI 에이전트들이 수많은 영역에서 이전과는 전혀 다른 수준의 자동화를 선보일거다. AI 2.0 시대라고 인식해야 변화를 받아들일 수 있어 보인다. 이전 AI와 뭐가 다른지 질문하고 궁금해야 한다.
참, 마지막 상상은 오픈AI 저 많은 돈을 가지고 반도체 업체와 함께 스스로 슈퍼컴퓨터를 만드는 일이다. 하루 아침에 안되겠지만 저런 돈이 있다면 스스로 데이터센터를 짓고 스스로 서비스르 시작한다고 하면 어떻게될까.
지금은 마이크로소프트에 의탁해서 시장에 들어섰지만 이 참에 완전히 내 데이터센터가 필요하다고 하면서 독립을 한다면. 저들이 언제까지 마이크로소프트의 인프라에 발목이 잡혀 남 좋은 일을 하고 있을까.
어쩌면 저런 말도 안되는 행보는 독립 자금을 구하려는 행보가 아닐까? 그런 상상도 해본다.
엔비디아가 커스텀 칩 이야기를 했다. 오픈AI 인력들은 엔비디아와 엄청 친하다. 새로운 시대에 맞는 칩이 필요하다는 것도 알고 있다. 마이크로소프트와 협력도 했다.
그럼 이제 오픈AI가 돈을 엄청 많이 투자를 받은 후 엔비디아를 통해 커스텀 칩을 만들면? 엔비디아는 영원할 수 있다. ㅎ.ㅎ
난 반도체와 이 인프라가 가져달 쓸 에너지 이슈 양측에서 엄청난 혁신이 일어날 거 같다. 다 아는 이야기다. 시장 전체를 다 먹으려고 뭔가를 본 인간의 말에 너무 동조할 필요는 없다고 하지만 완전히 바뀌는 세상을 한번 정도는 꿈을 꿔본다면 저 닝겐이 지금 왜 저러나 귀를 기울일 필요는 있어 보인다.
한국엔 핵융합 관련 스타트업 안나오나?
참 국내 추론 영역 AI 스타트업들도 파이팅. 올해 더 유의미한 성과들이 있기를 기대한다. 엔비디아는 절대 안서니까 엔비디아 게섯거리라는 말 할 시간에 더 빨리 달려가는 수밖에 답이 없어 보인다. 그래도 이 어려운 영역에 도전하는 그대들에게 아낌없는 박수를.
#nvidia #ai #microsoft #awz #azure #google #gcp #tpu #openai
