엔비디아의 미래가 불안한 이유

학습의 시대에서 추론의 시대로

맥미니를 포함한 애플의 다양한 실리콘맥들은 "시스템메모리 = 비디오메모리"  입니다. 이런 메모리방식을 UMA(Unified Memory Architecture)구조라고 부릅니다.

따라서 딥러닝 학습 및 추론시에 전처리 지연시간이 거의 없습니다. 보통 gpu 는 cpu완 달라서 복잡한 수학적 영상처리가 불가눙합니다. 띠라서 데이타 전처리나 오그먼테이션을 수행하려면 비디오메모리에서 데이타를 시스템메모리로 보낸뒤 cpu에서 처리를 한후에 다시 비디오메모리로 보내야만 딥러닝망에 입력 및 학습이 가능한데, 실리콘맥의 메모리는 그럴필요가 없이 바로 처리가 되는 것이죠.

손바닥 만한 라즈베리파이나 젯슨보드 같은 arm코어기반 임베디드 머신들도 그런 메모리 구조인데 데탑급 연산속도를 갖는 맥들이 그런 구조라는건 그러한 놀라운 결과를 가져다 줍니다.

엔비디아 그래픽카드들을 꼽은 데탑들은 시끄럽고 뜨겁고 전기먹는 괴물(?)들이지만, 맥들은 딥러닝을 학습할때 마저도 전기를 덜먹고 조용하고 미지근한 정도입니다. 학습속도는 엔비디아보다 느리지만 이는 기술력 차이 보다는 철학의 차이에서 기인한 거라고 샹각됩니다.

이렇게 전성비(전력 대 성눙바)는 비교가 안되니 이제 가성비를 살펴볼까요?

24기가 비디오메모리가 꼽힌 맥미니는 140만원이면 구입이 가능한 반면,
24기가 비디오메모리를 가진 엔비디아의 RTX4090은 그래픽카드 만으로 350만원을 가볍게 넘어갑니다. 본체까지 왕성하려면 최소 600만원 가량이 들고요.

더 놀라운건 140만원짜리 맥미니가 엔비디아 글카(그래픽카드) 데탑에 견줄정도로 추론속도가 빠르다는 사실…! 그리고 메타가 공개한 로컬 챗봇 모델인 llama3 70빌리언 모델도 그적저럭 돌아간다는 사실~!

엔비디아 그래픽카드는 하드웨어 설치및 CUDA라는 GPGPU의 소프트웨어 설치가 제법 까다롭습니다. 그래픽카드 설치에서부터 리눅스에도 윈도우즈에도 초심자는 헤매기 일수인데요... 심지어 어떤 조립업체는 고가의 그래픽카드 설치 비용을 별도로 받기도 하죠. 반면에 맥은 GPU 하드웨어 설치는물론 그래픽카드 드라이버나 GPGPU 소프트웨어(metal, mps)의 추가 설치가 필요없습니다.  언박싱을 하면 바로 GPGPU의 활용 및 개발이 가능하죠.

이것이 바로 엔비디아의 미래가 밝지만은 않은 이유입니다.
글카도 주식도 "트랜스포머라는 알고리즘"에도 거품이 상당하다고 봅니다. 그래서 구입해논 엔비디아 글카들은 감가상각 속도가 어마무시 합니다.

앞으로는 점점 딥러닝은 학습(Training)보단 추론(Inference)이 더 중요해지는 시대가 올것입니다.  학습도 "from the scratch" 같은 초거대 파운데이션 모델(백본 모델)의 학습은 극소수 글로벌 빅테크 기업들이 담당하고 개인이나 중소기업들은 원샷(oneshot)이나 퓨샷(fewshot) 파인튜닝으로 소규모로 학습하는 방식의 비중이 점점 더 커질 수 있다고 봅니다.

여러분들 생각은 어떠신지요?

댓글 부탁드립니다~