+ 화사첨족
지난 매거진을 삭제하며 ZeliAI 매거진에 통합합니다.
이 글은 사실 안 쓰려고 하지만 최근 게임용 그래픽 카드밖에 모르는 사람이 이래저래 물어봐서 나도 잘 모르는 지식이나마 나눠야겠다는 생각이 들어 쓴다. 이 글을 코랩에 올리는 이유는 사실 서비스 용이 아니라 인공지능 공부용이라고 하면, 코랩으로도 충분하다. 코랩 프로 버전은 월 6만 원 선이다.
인공지능 학습 분야는 NVIDIA가 통일했다고 간주해도 되며, 보통 이런 서비스의 경우 A100이라는 GPU 카드를 쓴다. 코랩 프로가 A100 하드웨어를 쓴다고 한다.
실제 집에서 하드웨어를 구축한다고 했을 때 대략적 가격은 쿠팡에 나온 가격으로 얼추 알 수 있다. 실제로는 쿠팡에서 주문하면 안 되고 NVIDIA 공식 판매처에 직접 방문해서 상담을 받고 사는 것이 맞다. 차량 구입과 맞먹는 시대에 인터넷으로 주문해서 문 앞에 던져 놓는 일은 없어야 할 것이다. 최근 400만 원이 넘는 그래픽 카드도 문 앞에 던져져서 상자 모서리가 약간 찌그러져 있었는데, 직접 경험해 보니 수천만 원 하드웨어는 웬만하면 가서 사야겠다는 생각이 들어 이리 적는다.
A100은 40GB 메모리와 80GB 메모리가 있다.
각각 1000만 원, 3000만 원이 훌쩍 넘는다.
여기서 상위 모델로 가면 H100을 쓴다. 후속작은 H200이다.
최근에 나온 건 RTX pro 6000이다.
그리고 https://www.nvidia.com/en-us/data-center/gb300-nvl72/?ncid=no-ncid
데이터 센터용은 여기서 볼 수 있다.
가정용 AI 머신이 나왔는데 파운더 에디션은 국내 1500대 한정이라고 한다.
https://www.nvidia.com/ko-kr/products/workstations/dgx-spark/
600만 원 선이고(가격 변동 가능) 2개까지 연결 가능하다고 한다. 스파크 나오기 이전에 디스크 추론 머신은 맥미니를 여러 개 연결해서 돌리는 것이 유행이었다. 맥은 특이하게도 자기 메모리와 GPU 메모리 공유가 가능하다. 그리고 지금은 이제 NVIDIA에서도 해당 기술은 넣은 것으로 알고 있다.
하드웨어 선택에 중요한 점은 동영상 전처리에는 RTX 시리즈가 아니면, 영상 전처리 후처리, 코덱 부분을 CPU에서 작업하기 때문에 무조건 비싼 게 능사는 아니라는 것이다. 관련해서 하드웨어 컨설팅 가능한 파트너를 찾는 것이 중요하다.
타깃도 워낙 다양하고 제품군도 다양해서 전문 리셀러의 도움을 받는 것은 필수로 보인다. LLM 자체 개발 시에는 최소 H200이 1000장은 있어야 한다고 들었다. 스타트업 기준에서는 4장 혹은 8장만 해도 많이 쓴다고 생각한다. GROK 만들 때는 10만 장 이상 썼다고 한다. LLM 개발 비용은 수십억~수조 원까지 다양하다고 하는데 대부분 하드웨어 비용으로 보인다.
한국 전체가 가진 LLM 훈련 가능한 하드웨어가 1만 장도 안된다고 하고 향 후 3만 장 확보가 목적이라고 하니 사실, 게임이 안 되는 것은 사실이다. 그동안 어떤 노하우인지 조차 알 수가 없기 때문이다. 다행히 AI의 위험성을 강조하는 제프리힌트 교수의 힘과 일론머스크의 geek 함으로 많은 공개가 되어 따라가는 속도는 더 빠르겠지만 이미 범용 챗봇 전쟁은 이길 수 없다고 생각한다. 그래서 one team으로 가는 것이 중요하고, 국가 돈이 들어가야 그나마 조금 공개가 되는데 사실 그마저도 지켜봐야 하는 상황이다. 한국어만 타게팅해서 모델 개발하는 것도 괜찮고, 소버린 AI는 이미 한국에서 정해놓은 타깃이다.
이런 와중에 대기업에 있지 않다 보니, 포기할 건 깔끔하게 포기하고 다른 틈새시장을 보게 된다. 남는 시간은 그래도 LLM이 많다고 생각하고 관련해서 공부를 한다. 어차피 거대 LLM에 대한 도전에서 파생되는 지식이 다른 AI 산업에도 고려해야 할 포인트 이기 때문이다.
최종 모델 크기와 추론 성능이 H100 한 장에 다 담기를 것이라면, 분산 컴퓨팅으로 학습을 해도 되지 않을까 라는 생각을 한 적도 있지만, 그것을 모으는 분산시키는 시스템 비용, 또 연산 결과를 모으는 네트워크 비용이 더 많을 것 같았다. 그렇다고 해서 불가능할 것도 아니지만, 그렇게 한다고 해서 항상 1등만 살아 남고, 유저도 1등이 나오면 언제든 기존 쓰던 서비스에서 이동해 버리기에 시장성이 있을까 싶기도 했다. AGI가 아닌 각 분야의 AI 모델로 가고 그것을 조합하는 것보다 정말 수많은 데이터를 학습시켜서 AGI에 갈 수도 있겠지만, 일 년 전 앤드류 옹의 말을 서비스의 결과로 점점 확인이 가능해지고 있다.
그래서 트랜스포머 모델에 특화되고 있는 지금의 GPU 업그레이드 방식이 나중에 문제가 될 것 같기도 하다. 그래도 먼저 확보한 기업에서 스타트업의 아이디어를 금세 따라 해서 실현 가능한 점은 있다. 나는 기술 분야에 30년 넘게 있었다. 그래서 사람들의 기술 저항성을 알고 있기에 런쳐는 분명 성공하리라 믿는다. 최신의 뉴스르 보면 수많은 틈새시장도 보인다. 이런 글 쓸 시간이 더 개발하는 것이 낫기도 하지만. 또 써야 할 부분은 써야 배우고 싶은 비전공자 지인들에게 가르쳐줄 자료가 되니까 써둔다.
LLM의 핵심인 트랜스포머 아키텍처는 구글이 만들기도 했기에 결국 이 바닥 승자는 구글이 될 것이라 생각한다. 그리고 트랜스포머 모델을 뛰어넘는 그 무엇인가도 애플이나 구글 같이 대규모 서비스를 운영하는 곳에서나 통찰을 찾을 수 있다고 생각한다.
AI를 활용하다 보니 AI로 할 수 있는 게 많고 AI 조차 AI로 만들고, IT 뿐 아니라 의학, 화학, 재료공학 등 수많은 분야에 활용 가능하다 보니 나 역시 하드웨어 욕심이 난다. 그런데 8장짜리만 해도 13억이니... 차라리 5억짜리 슈퍼카를 가지고 싶다는 편이 더 현실적으로 다가온다.
인공지능 세상에서 또 한 번 쩐의 전쟁이다. 나는 24시간 LLM을 효율적으로 쓸 수 없는 미국이 한국의 국가대표 AI 엔지니어에게 쓸 수 있도록 하면 좋겠다. 인공지능으로 맺어지는 외교고 국가 간 조약이라고 보면 되겠다. 그리고 지구 온난화 문제 해결은 위해서는 미국, 중국의 엔지니어가 함께 온난화 해결을 위해 연합하는 모습도 머릿속에 그려본다. 사실 지구가 지금보다 더 아파야 실현 가능하리라는 것은 인간의 지난 역사를 통해 쉽게 알 수 있다.
내가 이렇게 썼다고 해서 한국에서 인공지능을 공부하면서 위대한 것에 도전하지 말라는 법은 없다. 충분히 설득력 있는 타깃 모델과 도메인 지식 그리고 데이터와 리소스가 필요한 이유에 대해 설명이 가능하다면, 어느 기업이라도 설득 가능하다고 생각하고 협업도 가능하다고 생각한다. 그래서 한계는 두지 말고 공부하면 좋겠다. 그리고 어린 친구들에게 꼭 당부하고 싶은 것은. 인공지능 관련해서는 수많은, 또 다양한 의견이 존재하고 나 역시 생각이 달라도 의견을 내라고 독려를 하는 중이니 다양하고 다채로운 생각들 속에서 본인의 생각을 키워나가길 바란다. 코랩은 학원비 보다 싸기 때문에 부모님이 어느 정도는 해 줄 수 있다. 물론, 무료 버전도 훌륭하긴 하나... 어느 순간 결제를 해야 하는 순간이 온다. 게임 아이템 사달라는 것도 아닌데, 기분 좋게 결제해줬으면 한다. 나 역시 그러고 있다.(월 6만원선)