GPU와 CUDA의 이야기
2012년 10월, 캘리포니아 주 산타클라라. 새벽 5시 30분이었지만, CEO인 잰슨 황(Jensen Huang)의 사무실은 불이 켜져있었다. 그의 루틴이었다. 그는 새벽에 출근해 이메일부터 체크한 후 하루의 일과를 시작하는 것으로 유명했다. 이날도 이메일 함을 확인하고 있었는데, 한 통의 메시지가 눈에 띄었다.
발신: Alex Krizhevsky (토론토대학 대학원생)
제목: ImageNet 우승 - NVIDIA GPU 덕분입니다.
내용: Mr. Huang, 저희 팀이 ImageNet Challenge에서 우승했습니다. 2위보다 10% 이상 앞선 앞도적 승리였습니다. 비결은 깊은 신경망과…… 귀사의 GTX 580 GPU 2장이었습니다. 그리고, CUDA 없이는 불가능했을 것입니다. 감사합니다.
젠슨은 이 이메일을 3번 읽었다. 그가 기다린 순간이었다. 무려 6년. 2006년 CUDA를 출시한 이후, 모두가 그의 의지를 꺾으려 했다. 내부 회의 때마다 드러나는 구성원들의 의심, 이사회의 노골적인 압박, 그리고 투자자들이 끊임없이 의문을 제기할 때, 그는 뚝심있게 이 프로젝트를 밀고 나갔다. 그리고, 이제 그가 맞았다는 결과가 한 통의 이메일로 전달된 것이었다. 미국으로 건너온 후, 지난 40년간 고군분투하던 그의 노력이 이제 결실을 보는 순간이었다.
타이완에서 실리콘밸리까지
1972년, 켄터키의 기숙학교. 9살이 된 젠슨은 이제 막 켄터키주의 산속에 있는 기독교 기숙학교에 입학했다. 그의 부모는 동아시아의 일반적인 부모들처럼 자식 교육에 관해 매우 헌신적인 사람들이었다. 다만, 그들은 한 발 더 나아가, 자신들의 총명한 아이가 더 나은 환경에서 더 우수한 교육을 받아야 한다고 믿었다. 하지만, 별다른 정보가 없었다. 그저, 아는 사람의 추천을 받아 입학시킨 학교가 이곳이었다. 그의 부모는 이 곳이 명문 기숙학교로 추천 받았으나, 사실은 문제아들을 훈육하는 일종의 교정시설이었다. 영어도 제대로 못하는 9살의 동양 아이가 혼자 지내기에는 최악의 조건이었다.
젠슨의 부모는 얼마 후 착오가 있다는 사실을 알아챘다. 그러나, 제대로 조치하기까지 1년의 시간이 지났고, 이 기간 동안 9살의 아이는 살벌한 환경을 극복하고 스스로 다스리는 법을 배워갔다. 항상 그렇듯, 가혹한 환경을 극복한 사람들은 쉽게 좌절하거나 포기하지 않게 된다. 사태의 심각성을 깨달은 부모가 대만의 생활을 정리하고 미국으로 이민을 온 후, 가족이 재결합해 살게 된 오레곤 주의 포틀랜드에서 10살이 된 젠슨은 더 이상 칭얼대는 아이가 아니었다. 짧은 기간이었지만, 극도로 어려웠던 환경이 어린 젠슨의 무언가를 일깨웠다.
편안한 환경에 익숙해지자, 그의 경쟁심은 금새 드러났다. 학교 성적은 물론이고, 교외 활동과 스포츠 등의 분야에서 그는 지는 것을 극도로 싫어했다. 교내 탁구대회처럼 사소한 일에도 그는 이기기 위한 전략을 수립하고 반복적으로 연습하면서 기어코 챔피언 트로피를 따곤 했다. 이후, 전기공학 학위로 오레곤 주립대를 졸업한 1984년, 그는 ‘실리콘 밸리의 락스타’ 제리 샌더스가 이끄는 AMD에 취업했다.
1980년대 내내 AMD는 인텔과의 경쟁에서 살아남기위해 몸부림치고 있었다. 이 치열한 현장에서 젠슨은 칩 설계 분야에 배치받고 관련 전문성을 키워나갔다. 젠슨의 경쟁심은 이 곳에서도 금방 드러났다. 매일매일 숨막히는 경쟁 환경 속에서 젠슨은 오히려 의욕이 샘솟는 걸 느꼈다. 더불어 작은 칩 하나가 세상을 얼마나 바꾸는 지 여실히 깨닫는 기간이기도 했다. 그러나, 그는 타고난 창업가이기도 했다. 이런 종류의 사람들은 대기업의 관료주의 속에서 금방 갑갑함을 느끼곤 하는데, 젠슨도 AMD 내부의 느린 의사결정과 관료주의에 신물이 나기 시작했다. 또한, 연구실의 환경을 벗어나 시장 한가운데서 고객들과 소통하고 싶어했다. 비즈니스의 본질을 더 잘 이해할 수 있으리라 믿었기 때문이었다.
이에, 1988년 그는 AMD를 떠나 LSI Logic으로 이직했다. 직책은 마케팅 디렉터. 또한, 스탠퍼드 석사과정에 입학해 부족한 전문성을 보완했다. 1992년, 그는 준비가 됐다고 믿었다. 기술과 마케팅, 기업의 핵심인 두 영역에서 충분한 역량을 쌓았고, 석사 학위도 받았다. 이제, 남의 회사가 아니라 내 회사를 만들 시점이었다.
데니스에서 시작된 꿈
1993년 4월의 토요일, 산호세의 Denny’s 레스토랑. 물가가 비싼 이 지역에서 비교적 싸고 맛있는 집으로 유명한 곳이었다. 그 영향인지, 이 식당은 실리콘 밸리의 개발자들이 좋아하는 곳이었고, 이 곳에서 만나 자신들의 아이디어를 교환하는 경우도 많았다. 이날은 젠슨도 비슷한 상황이었다. 그는 사람들의 소개로 두 명의 엔지니어를 만나기로 했다. PC 게임에 대한 해박한 지식을 가지고 있고, 무엇보다 그래픽 칩의 개선에 대한 아이디어가 있다는 소문을 들었다. 썬 마이크로시스템즈(Sun Microsystems)의 크리스 말라초스키(Chris Malachowsky)와 커티스 프리엠(Curtis Priem)도 사업 아이디어가 있다는 소식에 젠슨을 만나러 나온 길이었다. 짧은 대화였지만, 세명은 금새 의기투합할 수 있었다. 문제 인식이 명확했기 때문이었다. ‘PC 게임은 계속 발전할 것이고, 더 정교한 그래픽이 필요한데, 현재의 그래픽 칩은 이를 충분히 수용하지 못한다. 컴퓨터 게임을 더 아름답게 만들어줄 그래픽 칩을 개발하자.’ 30년 후 세상을 뒤짚을 결정은 이렇게 다소 소박한 꿈에서 출발했다.
이날 이후 창업 논의는 급물살을 탔다. 회사 이름도 정해졌다. Next Version, 줄여서 NV라고 불렀다. 한참 지난 일이지만, 창업 후에 NVision이라는 이름으로 교체하려 했으나, 이미 다른 회사가 사용 중이었고, 다른 이름을 찾던 끝에 NV가 들어간 라틴어 ‘인비디아(Invidia, 질투를 의미)’에서 착안해 최종적으로 ‘엔비디아(NVIDIA)’라는 이름이 탄생했다. 1993년 4월, 실리콘 밸리의 변두리, Sunnyvale에서 한 기업이 조용히 탄생했다. 우여곡절이 있었지만, 투자도 무사히 받을 수 있었다. 이제는 실리콘 밸리의 거물로 성장한 세콰이어 캐피탈(Sequoia Capital)의 돈 발렌타인(Don Valentine)이 2천만 달러를 투자했다. 페어차일드 출신으로 칩의 생태계를 정화하게 이해하고 있었던 그는 그래픽 칩의 전망을 매우 긍정적으로 평가했다.
엔지니어 중심의 스타트업이 흔히 그럿듯, 이들은 높은 이상을 현실화하기위해 미친듯이 일하기 시작했다. 그 결과, 1995년 5월, 회사 설립 후 불과 2년 만에 새로운 칩을 출시했다. 이름은 간단했다. NV1. 3D+2D 그래픽, 오디오, 그리고 게임패드 컨트롤러가 모두 한 칩에 구현되어 있었다. 대단한 성과였지만, 시장의 반응은 싸늘했다. 당시의 회로 시스템에 지나치게 높은 사양이었기 때문이었다. 과속방지턱이 잔뜩 깔린 아파트 단지에 최고급 스포츠카를 몰고 나온 꼴이었다. 첫 칩을 출시했다는 기쁨은 곧 사라지고, 젠슨은 시장에 대한 분석을 다시 시작했다. 사업 성공을 위해서는 시장이 원하는 칩을 고객이 원하는 시간에 공급해야지, 무턱대고 고성능 칩을 공급해서는 안된다는 점을 깨달았다. 똑똑하지만 순진했던 엔지니어가 냉철한 사업가로 변모하는 순간이었다.
NV1의 실패로, 기업의 자금이 말라버렸다. 1995년 가을, 젠슨은 전 직원과의 타운홀 미팅에서 솔질한 회사 상황을 설명했다. 그리고, 실패를 통해 그가 배운 것을 직원들과 소통했다. 긴 미팅이었다. 후에 그의 트레이드 마크가 된 가죽 재킷은 아직 아니었다. 검은 티셔츠를 입은 젠슨은 회사 자금이 6개월 남았다고 고백했다. “우리에게 한 번의 기회가 더 있습니다. 이 기간에 다음 칩을 출시합시다. 성공하면 살고, 실패하면 문 닫습니다.” 다행스럽게도 실망하거나 회사를 떠나는 직원은 없었다.
원래도 그랬지만, 젠슨 황과 엔비디아 직원들은 미친듯이 일하기 시작했다. 젠슨 황의 사무실은 불이 꺼지지 않는다는 소문이 나돌곤 했다. 어떤 미친 기업이 PC 게임용 그래픽 칩 개발에 몰두하고 있다는 소식이 실리콘 밸리에 퍼지면서, 자금을 더 모을 수 있었다. 이제 6개월이 아닌 최소 2년은 버틸 수 있는 상황이 마련되었다. 끔찍했지만, 보람있었던 시간이 지나고, 1998년 8월, ‘RIVA 128(코드명 NV3)’이 출시되었다. 시장이 기대에 딱 반 발짝 앞선 성능, 저렴한 가격, 저전력, 높은 호환성. 첫 실패에 대한 반성이 하나의 칩에 오롯이 구현되었다. 젠슨 황의 눈에 이 것은 단순한 칩이 아니라 자신의 어리석음에 대한 반성문이었다.
시장의 반응은 폭발적이었다. 출시 후 불과 몇 개월 지난 1998년 연말 회의에서 젠슨 황은 직원들에게 회사가 흑자로 돌아섰다는 점을 통보했다. 의심의 여지없이 엔비디아는 성공한 것이었다. 축제의 시간이 시작되었고, 엔비디아의 그래픽 칩은 없어서 못 파는 상황이었다. 그러나, 젠슨 황의 비전은 더 높은 곳에 있었다. 그는 산업의 형태를 바꿀만한 획기적인 칩을 꿈꿨다. 단순한 그래픽 칩이 아니라, 프로세서 기능까지 결합해 더 정교해진 게임 영상을 가능하게 만드는 칩. 아예 이름도 그렇게 바꾸자고 제안했다. Graphics Processing Unit, 줄여서 GPU. 20년 후에 세상을 바꿀 칩이 조용히 제작되고 있었다.
GPU의 탄생
RIVA 128의 성공에 힘입어 엔비디아는 나스닥에 무사히 상장할 수 있었다. 이제 자금에 대한 부담이 많이 줄었고, 젠슨 황을 비롯한 공동창업자들은 상당한 자산가가 되었다. 물론, 20년 후에 벌어질 일들을 생각하면 아직까지는 소소한 금액이었다.
1999년 8월, 뉴 밀레니엄을 몇 달 앞둔 시기에 전 세계 게임 유저들에게 하나의 소문이 돌았다. 불과 1년 전 획기적인 그래픽 칩을 개발한 엔비디아가 완전히 새로운 성능의 칩을 출시한다는 것이었다. 그리고 소문은 사실이었다. 사람들의 기대감이 높아진 다음, 엔비디아는 ‘GeForce 256’이라는, 현재까지도 칩 이름 중 가장 멋있다는 평가를 받는 새로운 그래픽 칩을 출시했다. 이것은 단순한 그래픽 칩이 아니라, 게임 성능을 2~3배 향상시키는 프로세서라는 설명이 함께 붙었다. 이때부터 GPU라는 말이 퍼져나갔다. 시장의 반응은 이전보다 더 열렬했다. 엔비디아와 젠슨 황은 수퍼스타 대접을 받았다. 그러나, 사업은 경쟁이 있게 마련이었다. 엔비디아는 시장 점유율 30%를 넘어서면서 선두 자리를 차지했으나 경쟁사들도 치열하게 따라붙었다. 이 때부터 약 10년간 사람들의 머리 속에서 희미해지던 무어의 법칙이 뜬금없이 GPU 시장에서 재현되었다. 누가 더 많은 트랜지스터를 칩 위에 직접시키는지, 그 성공 여부에 따라 업계 선두가 달라졌다. 엔비디아와 경쟁사, ATI는 이를 위해 치열한 경쟁을 지속했고, 그 덕분에 PC 게임의 성능은 눈부시게 발전했다.
GeForce 256의 핵심은 '하드웨어 T&L(Transform and Lighting)' 기능이었다. 기존에는 CPU가 처리하던 3D 변환과 조명 계산을 GPU에서 직접 처리할 수 있게 된 것이다. 이는 혁명이었다. CPU의 부담이 줄어들면서 게임 성능이 비약적으로 향상되었다. 더 중요한 것은 GPU의 설계 철학이었다. CPU는 복잡한 계산을 순차적으로 처리하는 몇 개의 강력한 코어로 구성되어 있다. 하지만 GPU는 수백, 수천 개의 작은 코어들이 동시에 같은 작업을 수행하도록 설계되었다. 이를 '병렬 처리'라고 한다. 예를 들어, 화면에 100만 개의 픽셀을 그려야 한다면, CPU는 이것을 하나씩 순서대로 처리한다. 반면 GPU는 수천 개의 작은 코어가 동시에 각자 맡은 픽셀을 처리한다. 마치 한 명의 천재가 문제를 푸는 것과 수천 명이 동시에 분업해서 푸는 것의 차이다. 이 병렬 처리 능력이 훗날 AI 혁명의 열쇠가 될 줄은 당시 아무도 몰랐다.
아무도 원하지 않던 프로젝트, CUDA
정신없는 경쟁이 진행되던 와중에, 운명의 시간이 찾아왔다. 2005년 가을, 젠슨 황은 스탠포드 대학을 방문했다. 회사에서 차로 20분 거리여서 종종 방문하곤 했다. 스탠포드 대학의 교수들은 좋은 친구이자 훌륭한 조언자들이였다. 이 날은 스탠포드의 AI 연구실에서 간담회가 있었다. 평소에는 진지한 얘기보다는 자신들의 연구 아이디어를 서로 교환하는 시끌벅적한 모임 성격이었다. 조교수 중 한명인 앤드류 응(Andrew Ng)이 젠슨 황에게 다가왔다. 선한 눈매에 영국식 영어를 쓰는 동양인으로 이 연구실의 스타 중 하나였다. 앤드류는 한 가지 아이디어를 제안했다. 머신러닝 프로그램을 위해 엔비디아의 GPU를 사용하면 좋겠다는 것이었다. 복잡한 얘기였지만, 인공지능을 생태학적으로 접근하겠다는 말로 정리가 되었다. 아이에게 세상을 가르치듯이, 이 시스템을 학습시키기 위해 외부 감각기관이 필요한데, 여기에 GPU가 최적일 것 같다는 것이었다. 병렬 처리에 최적화된 수 천개의 작은 프로세서. 딱 맞는 말이었다. 젠슨 황 자신은 몰랐지만, GPU는 또 다른 가능성을 품고 있었다. 거대한 변화를 일으킬 가능성. 눈이 맑아지는 기분이었다. 지난 10여년간 사업을 정상화시키기 위해 비즈니스 세계에 몸담으면서 희미해졌던 칩 본능이 다시 꿈틀거렸다. CPU가 똑똑한 한 명의 천재라면, GPU는 단순한 일을 빠르게 처리하는 수천 명의 일꾼이었다. AI에 딱 들어맞을 것 같았다.
앤드류의 아이디어는 훌륭했지만, 문제는 적절한 프로그래밍이 너무 어렵다는 점이었다. 여러 번 시도했지만, 최적의 방법을 찾기 어려워 반쯤 포기했다는 말로 상황을 설명했다. 젠슨 황은 회사로 돌아와 사람들을 호출했다.
“GPU를 범용 연산에 쓸 수 있게 만듭시다. 이제부터 우리는 그래픽 회사를 넘어 컴퓨팅 회사입니다.”
모두가 동의한 것은 아니지만, 젠슨 황의 비전은 상당한 설득력이 있었다. 팀은 빠르게 구성됐다. 목표는 프로그램 언어(C/C++)로 GPU를 프로그래밍 하는 것이었다. 프로젝트 코드명은 Compute Unified Device Architecture, 줄여서 CUDA. 200명이 넘은 하드웨어 및 소프트웨어 연구원들이 CUDA 개발에 참여했다. 새로운 프로그램을 설계하고, 여기에 맞는 칩을 개발하는 과제가 시작되었고, 엔비디아는 수억 달러의 연구 자금을 쏟아 부었다. 게임쪽에서 번 돈을 여기에 들이 붓는 양식이었다.
당시 일부 과학자들은 이미 GPU를 일반 계산에 활용하려는 시도를 하고 있었다. 날씨 예측, 단백질 접힘 시뮬레이션, 유전체 분석 같은 분야에서 GPU의 병렬 처리 능력이 유용하다는 것을 발견한 것이다. 하지만 문제가 있었다. GPU를 프로그래밍하는 것이 너무 어려웠다. 그래픽 API를 억지로 활용해야 했고, 전문가가 아니면 접근하기 힘들었다. CUDA는 이 문제에 대응하기 위한 해법이었다.
이 결정은 엄청난 모험이었다. 개발 비용만 해도 수억 달러가 들어갈 것으로 예상되었다. 당장 돈이 되는 사업도 아니었다. 월스트리트의 애널리스트들은 고개를 저었다. "게임 회사가 왜 과학 연구에 돈을 쓰냐"는 비판이 쏟아졌다. 엔비디아 주가는 하락했다.
내부에서도 회의적인 목소리가 많았다. 엔지니어들은 게임 성능을 높이는 데 집중해야 한다고 주장했다. 마케팅 팀은 과학자들이 과연 우리 제품을 살 것인지 의문을 제기했다. 하지만 젠슨은 확고했다. "미래에는 엄청난 병렬 연산이 필요한 시대가 올 것입니다. 그때를 위해 지금 준비해야 합니다.”
CUDA의 혁명
2007년 6월, CUDA 1.0이 정식 출시되었다. CUDA는 프로그래머들이 C 언어를 약간 확장한 형태로 GPU를 프로그래밍할 수 있게 해주었다. 더 이상 그래픽 전문가가 아니어도 GPU의 강력한 병렬 처리 능력을 활용할 수 있게 된 것이다.
CUDA의 핵심 개념은 얼핏 간단했다. 물론, 세부 내용은 말 그대로 전문적이었다. GPU의 수천 개 코어를 '스레드(thread)'라는 작은 작업 단위로 관리하고, 프로그래머가 각 스레드에서 실행할 코드를 작성하면, CUDA가 자동으로 이를 GPU 전체에 분산해서 실행해주는 것이다. 마치 오케스트라 지휘자처럼 CUDA가 수천 개의 연주자(코어)를 조율했다.
초기 반응은 미지근했다. 2007년, 2008년에는 주로 대학 연구실과 국립 연구소에서만 사용했다. 하지만 결과는 놀라웠다. 기존에 CPU로 며칠 걸리던 계산이 GPU로는 몇 시간, 심지어 몇 분 만에 끝났다. 속도가 10배, 50배, 때로는 100배 이상 빨라졌다.
엔비디아는 여기서 멈추지 않았다. 회사는 막대한 자원을 투입해 CUDA 생태계를 구축했다. 대학에 무료로 GPU를 제공하고, 연구자들을 지원했다. CUDA 프로그래밍 교육 과정을 만들고, 온라인 포럼을 운영했다. 수학 라이브러리, 신호 처리 라이브러리, 영상 처리 라이브러리 등 다양한 도구들을 무료로 배포했다.
젠슨은 이렇게 말했다. "우리는 단순히 칩을 파는 것이 아닙니다. 우리는 플랫폼을 만들고 있습니다." 그의 전략은 장기적이었다. 당장의 수익보다는 미래의 생태계를 구축하는 데 집중했다.
운명의 만남: 딥러닝
2009년, 스탠퍼드 대학의 앤드류 응 교수는 GPU로 신경망을 학습시키는 실험을 했다. 결과는 충격적이었다. CPU로 몇 주 걸리던 학습이 GPU로는 하루 만에 끝났다. 그는 논문에서 "GPU가 딥러닝의 미래를 바꿀 것"이라고 예언했다.
같은 시기, 토론토 대학의 제프리 힌턴 교수 연구실에서도 GPU를 이용한 딥러닝 연구가 진행되고 있었다. 힌턴의 제자였던 알렉스 크리제브스키는 CUDA를 활용해 'AlexNet'이라는 신경망을 개발했다. 2012년 9월, AlexNet은 ImageNet 이미지 인식 대회에 출전했다. 결과는 압도적이었다. AlexNet의 오류율은 15.3%로, 2위(26.2%)를 큰 차이로 따돌렸다. 이는 컴퓨터 비전 역사상 가장 극적인 돌파구였다. 그리고 이 모든 것이 두 대의 엔비디아 GTX 580 GPU로 이루어졌다.
이 순간부터 모든 것이 달라졌다. 구글, 페이스북, 마이크로소프트, 바이두 같은 기술 대기업들이 앞다투어 GPU를 사들이기 시작했다. AI 연구자들에게 GPU는 선택이 아닌 필수가 되었다. 젠슨이 6년 전 시작한 도박이 드디어 대박으로 터진 것이다.
AI를 위한 칩
딥러닝 붐이 시작되자, 엔비디아는 더욱 공격적으로 움직였다. 2014년, 회사는 데이터센터용 Tesla 시리즈를 강화했다. 이는 게임이 아닌 오로지 AI 계산을 위한 GPU였다. 냉각 시스템, 메모리 대역폭, 정밀도 등 모든 것이 딥러닝에 최적화되었다.
2017년, 엔비디아는 Volta 아키텍처를 발표했다. 여기에는 '텐서 코어(Tensor Core)'라는 새로운 회로가 포함되었다. 텐서 코어는 오로지 딥러닝의 행렬 곱셈 연산을 위해 설계된 특수 회로였다. 이것이 얼마나 효율적이었는지, 기존 GPU 대비 AI 성능이 12배나 향상되었다. 게임용 칩으로 시작한 회사가 이제는 AI 전용 하드웨어를 설계하고 있었다. 하지만 이것은 자연스러운 진화였다. 젠슨은 "GPU는 원래부터 AI를 위해 만들어진 것이나 다름없었습니다. 우리는 단지 그것을 깨달은 것뿐입니다"라고 말했다.
2020년, 엔비디아는 Ampere 아키텍처의 A100을 출시했다. A100은 542억 개의 트랜지스터를 탑재한 괴물 같은 칩이었다. 단일 칩으로 초당 312조 번의 AI 연산을 수행할 수 있었다. 가격도 괴물 수준이었다. 한 개에 1만 달러가 넘었다. 그리고 2022년, H100이 등장했다. 800억 개의 트랜지스터, 초당 1,000조 번의 AI 연산. 이 칩은 ChatGPT를 학습시키는 데 사용되었다. OpenAI는 수만 개의 H100을 사용해 GPT-4를 훈련시켰다. 한 개에 3만 달러가 넘는 이 칩은 너무 인기가 많아서 구하기조차 어려웠다.
검은 가죽 재킷의 예언자
젠슨 황은 언제나 검은 가죽 재킷을 입고 무대에 선다. 이것은 그의 트레이드마크가 되었다. 스티브 잡스의 검은 터틀넥처럼, 마크 저커버그의 회색 티셔츠처럼. 하지만 젠슨의 발표는 잡스와는 다른 스타일이다. 그는 마치 록 콘서트처럼 열정적이고, 기술적 세부사항을 거침없이 설명한다.
2016년 GTC(GPU Technology Conference)에서 그는 DGX-1이라는 AI 슈퍼컴퓨터를 공개하며 이렇게 선언했다. "AI의 빅뱅이 시작되었습니다!" DGX-1은 여덟 개의 Tesla P100을 탑재한 괴물 같은 기계였고, 가격은 12만 9천 달러였다. 그는 무대에서 일론 머스크에게 첫 번째 DGX-1을 직접 전달하기도 했다.
2020년, 그는 "소프트웨어가 세상을 먹어치우고 있다면, AI는 소프트웨어를 먹어치우고 있습니다"라고 말했다. 그의 예언은 계속해서 현실이 되었다. 2023년 3월, ChatGPT가 전 세계를 놀라게 했을 때, 젠슨은 조용히 미소 지었다. 그가 17년 전 CUDA에 투자하기로 결정한 순간, 10년 전 딥러닝을 위한 칩을 설계하기 시작한 순간, 모든 것이 이 순간을 위한 준비였다.
2024년, 엔비디아의 시가총액은 3조 달러를 돌파했다. 한때 파산 직전까지 갔던 그래픽 카드 회사가 세계에서 가장 가치 있는 기업 중 하나가 된 것이다.
우연이 아닌 집념
많은 사람들은 엔비디아의 성공을 행운이라고 말한다. AI 붐이 우연히 왔고, 그들이 마침 적절한 위치에 있었다고. 하지만 이것은 진실의 절반에 불과하다. 젠슨 황은 반박한다. "우리는 15년 동안 준비했습니다. CUDA에 수십억 달러를 투자했고, 아무도 관심 없을 때부터 과학자들과 협력했습니다. 우리는 미래를 기다린 것이 아니라 미래를 만들었습니다."
실제로 CUDA가 없었다면 현재의 AI 혁명도 없었을 것이다. AlexNet도, ChatGPT도 불가능했을 것이다. 연구자들이 쉽게 GPU를 프로그래밍할 수 있는 환경, 방대한 소프트웨어 라이브러리, 수십만 명의 개발자 커뮤니티 - 이 모든 생태계를 구축하는 데 엔비디아는 10년 이상을 투자했다.
칩 개발도 마찬가지다. H100 같은 칩은 하루아침에 만들어지지 않는다. 수천 명의 엔지니어가 5년 이상 매달려야 한다. 아키텍처 설계, 회로 설계, 제조 공정, 소프트웨어 최적화 - 모든 단계가 정교하게 조율되어야 한다. 엔비디아는 매년 R&D에 수십억 달러를 투자했다. 젠슨은 장기적 비전과 단기적 실행을 동시에 추구했다. 그는 10년 후를 내다보면서도 내일 출시할 제품에 집착했다. 그는 직원들에게 "우리는 항상 파산 30일 전에 있다고 생각하라"고 말했다. 이 긴박감과 장기 비전의 조합이 엔비디아를 만들었다.
새로운 시대의 도구
오늘날 엔비디아의 GPU는 단순한 컴퓨터 부품이 아니다. 그것은 AI 시대의 필수 인프라이며, 미래를 만드는 도구다. 자율주행차는 엔비디아의 Drive 플랫폼으로 주변을 인식한다. 의사들은 GPU로 가속화된 AI로 암을 진단한다. 과학자들은 GPU로 신약을 개발하고, 기후 변화를 예측한다. ChatGPT 같은 대화형 AI, 미드저니 같은 이미지 생성 AI, 알파폴드 같은 단백질 구조 예측 AI - 이 모든 것의 배후에 GPU가 있다. 매일 수백만 명이 사용하는 AI 서비스들은 수만 대의 엔비디아 GPU가 돌아가는 데이터센터에서 작동한다.
젠슨은 이에 만족하지 않는다. 그는 다음 목표를 향해 나아가고 있다. 로봇 공학, 디지털 트윈, 메타버스. 엔비디아는 Omniverse라는 플랫폼으로 가상 세계를 구축하고 있다. Isaac이라는 플랫폼으로 로봇에게 학습시키고 있다.
"우리는 가속 컴퓨팅의 시대에 살고 있습니다"라고 젠슨은 말한다. "앞으로 모든 데이터센터, 모든 컴퓨터에 가속기가 들어갈 것입니다. 이것이 미래입니다.”
1993년 데니스 레스토랑에서 시작된 작은 꿈이 30년 만에 세상을 바꿨다. 타이완에서 온 이민자 소년이 켄터키의 거친 기숙학교를 견뎌내고, 실리콘밸리에서 여러 번 고비를 넘기며, 마침내 시대를 정의하는 기업을 만들어냈다. 젠슨 황과 엔비디아의 이야기는 단순한 기술 성공담이 아니다. 이것은 미래를 믿고 그것에 모든 것을 거는 집념에 관한 이야기다. 남들이 미쳤다고 할 때도 자신의 비전을 밀고 나가는 용기에 관한 이야기다. 그리고 때로는 가장 혁명적인 발명이 가장 예상치 못한 곳에서 탄생한다는 것을 보여주는 증거다.
게임을 위해 만든 칩이 인공지능의 심장이 되었듯이, 우리는 지금 무엇을 만들고 있는가? 우리가 오늘 하는 작은 결정이 30년 후 어떤 세상을 만들어낼지 누가 알겠는가? 젠슨 황은 여전히 검은 가죽 재킷을 입고 무대에 선다. 그리고 다음 혁명을 꿈꾼다. 그의 여정은 아직 끝나지 않았다.