PC에 AI를 운영해 볼까? H100 급인데 천만원??

Dual RTX 5090이 $25,000 H100을 이기다.

지난 시간에 "몇천만" 원으로 AI developer를 구현할 수 있다고 썼었는데, 그 글을 쓸 때도 이 기사를 보긴 했었다. 주제와 좀 동떨어진 이야기고 따로 언급하는게 좋겠다 싶어서 "몇천만"이라고 언급하고 말았다.

기사에서는 최근 Benchmarks 결과를 안내하면서 최근 NVIDIA에서 출시한 RTX 5090을 Dual로 연결하고 vLLM을 사용하면 H100을 사용했을 때보다 응답 속도가 좀 더 빨라 졌다는 것이다.

기사를 읽고 검색을 좀 더 해 봤는데, 기사 이상의 정보는 찾을 수 없었다. Dual GPU Card를 설치하는 게 쉬운 일인지, vLLM을 설치하는 데 주의할 점은 없는 지, 아무 모델이나 사용해도 - Qwen 2.5 Coder와 같은 것 등을 사용해서 개발에 이용할 때에도, H100을 능가할 지 등이 궁금했는데, 직접적인 답은 찾을 수 없었다.

돈만 많으면 테스트 해보고 싶다는 욕구가 치밀어 오르지만, 돈 천만원 넘게 궁금증을 해결하기 위해서 태우기에는...

다시 본론으로 돌아 와서, Benchmark 테스트를 살펴보면, 한 번에 하나의 Request만 처리하도록 천천히 요청하고 있다. Benchmark 처럼 단순한 요청이 아니라, 수초 내지 수십초가 걸리는 일성적인 요청에 대해서도 좋은 성능을 발휘할 지 매우 궁금하긴 하지만, 일단 가능성이 있다는 사실이 중요하고, 불가하더라도 대세에는 지장이 없다.

내가 의사 결정권자라면 무조건 AI Coder를 활용해서 개발을 할 수 있도록 할테니까. 비용이 좀 더 적어진다면 마다할 이유가 없다. 회사차원에서 능력이 넘사벽인 신입사원을 1천만원에 고용할 수 있는데, 누가 마다하겠는가? 그것도 단 한번만 지불하면 끝이다.

그리고 기존 (인간) 사원에게 요구할 것이다. 해당 신입 사원을 엄청나게 갈구면서 쉴 틈 없이 일을 시키면서, 개발 생상성을 높이라고...