GPU 26만장은 AI 산업에 도움될까?
생존형 개발자의 생각 #138
IT(Information Technology)는 이슈로 먹고산다고 해도 과언이 아니다.
IT에서 새로운 산업은 새로운 패러다임과 기술로 사람들에게 알 수 없는 무엇인가를 계속 알려준다. 목적은 단순하다. 새로운 가치를 인정받기 위함이다. 그러다보니 “기술”과 “이슈”는 언제나 짝을 맞추어 소개된다. 문제는 그런 것들을 이해하기 위해서는 “다방면”으로 학습을 하고 본질을 분석해야 한다는 점이다. 한 쪽 스피커의 말만 듣다가는 그들의 의도에 함몰되어 “본질”을 보기 힘들기 때문이다. 그런 점에서
GPU 26만개는 AI 산업에 도움이 될까? 얼마만큼 도움이 될까?
같은 이슈는 “나”와 “우리”에 속한 IT 개발업종에서는 생존과 연결된 내용이다. 2022년 11월의 이슈(생성AI)는 아직까지도 이슈로만 자리잡고 있다. 일반유저(B2C) 시장에서는 거대한 변화가 있었지만 B2B 시장에서는 가시적인 성과가 존재하지 않는다. 그렇기에 “AI 거품론”은 “론”이 아닌 보고서로 여겨지고 있는 추세다.
1. GPU가 왜 필요한 것일까?
3만원 주고 ChatGPT(또는 재미나이 또는 클로드)만 사용해도 왠만한 회사일 처리 가능한대, 왜 수 억의 비용과 수개월의 시간을 들여서 ChatGPT만도 못한 성능의 소프트웨어 솔루션을 만들려고 하는걸까? 이런 서비스 환경을 개발용어로 온프라미스라고 한다.
기업(정부기관 포함)들이 온프라미스로 GPU를 사용해서 구축하려는 이유는 단순하다. “정보보안” 및 “산업현장에 맞게 커스텀”하기 위함이다. AI를 미신으로 믿는 사람(실제로 이런 Tech를 종교로 만드는 사람들이 있다)들은 AI가 “데이터를 가공하는 툴”임을 인지하지 못한다. 데이터를 가공하는 툴이므로 “데이터”가 생명이다. 그런데, 그 데이터가 “공개되면 안되는 정보”일 경우는 어떻게 해야 할 까? 회사의 생명인 데이터를 다른 회사의 서버에 고스란히 들어가는 것이 용납되는 것일까?
아니다.
그렇게 하면 안된다(데이터가 노출되는 순간 회사의 생명력과 경쟁력은 보장받을 수 없다). 그렇기에 ChatGPT나 Gemini의 3만원 이용료보다 못한 성능의 자체 온프라미스를 구축은 AI를 도입하려는 회사는 다음 질문을 반드시 하게된다.
“이거 해야 돼? 말아야 돼?”
그 이유 중에 하나는 네트워크 인프라(전기사용료, 유지보수 시스템)도 있겠지만, AI 개발의 핵심인 병렬 프로그래밍의 필수도구인 GPU(게임하려면 필수인 그래픽 카드) 확보가 부담되기 때문이다. 소프트웨어 개발은 그 다음 문제이다.
AI 시스템을 구축하기 위해서는 병렬 프로그래밍 환경이 제공되어야 한다. CUDA(2007)는 꽤 오래전부터 특수한 환경에서 개발되었던 C/C++로 만들던 소프트웨어 솔루션이다. 시간이 오래된 만큼 CUDA를 직접 개발할 필요는 사라졌다. 단지, AI를 활용하는 소프트웨어의 최하단에는 CUDA 엔진이 존재한다.
그리고 CUDA는 당연히 NVIDIA의 GPU가 필수가 된다.
2. 어떤 식으로 필요했던 것일까?
[경주APEC] 정부, '엔비디아 GPU 5만장' 공공 AI에 투입 | 연합뉴스
예상과 달리 GPU의 할당량은 이미 정해진 것 같다. 그러나 개인적으로 26만장의 GPU가 효율적으로 사용될 것이라는 것에는 회의적이다. 마치 좋은 학습지 100개만 있으면 100명 모두 성적이 좋을 것이라는 논리와 비슷하다. GPU는 장비일 뿐, AI는 소프팅파워와 AI 문해력이 존재해야 구축할 수 있다. 그런 점에서 정부의 R&D까지는 의미가 있지만 나머지 회사들에게 집중된 GPU 내용을 보면 과연 “AI의 B2B 생태계”가 만들어질까?라는 의문을 가지게 된다.
3. AI 도입(B2B)의 현황
실패율 80%? 글로벌 기업의 AI 도입 실패 사례 4 - 스파르타 AI 기업교육 블로그
AI를 도입한 회사가 적거나 성공사례가 적은 이유는 첫 번째 이슈는 “품질”이다.
“어~ 할 만한데?”의 수준이 최고의 결과이다. 때로는 “위험한 자동화”가 이루어져 사람이 재작업해야 하는 경우가 많다. 그런 이유로 “과도한 비용(재작업)”과 “만족스럽지 못한 결과(상용가치없음)”로 인해 적지않은 기업들이 AI 도입을 꺼리고 있다.
두 번째 이슈는 “사람”이다.
AI라는 도구(기계)를 움직일 줄 아는 사람이 많지않다는 점이다. 자신의 업무에 AI를 도입하는 것은 “문해력”이라는 능력이 필요하다. 문해력은 AI가 도구임을 알고 내 업무에 어떻게 활용할 것인가를 결정하는 능력이다. 이러한 문해력이 떨어지는 이유는 지금까지 해왔던 방법으로도 문제해결이 되기 때문이기도 하다. 그리고 구축과 학습에 드는 비용이 결코 쉽지 않다. 결과적으로 많은 기업들이 AI 도입을 말로만 하고 있지 현장에 적용하고 있지 않는 모습이다.
개발현장은 어떨까? 대기업에서 내부 AI 자동화를 구축하는 지인들과 대화하다보면 3가지로 정리가 된다.
Ollama도 이젠 구축하지 않는다.
품질 및 가성비가 ChatGPT plus 3만원보다 못하다.
AI B2B “구라”는 끝났다.
특화 기술없이 서비스 기획 만으로는 시작도 못한다(너네 회사를 왜 써야해?).
그럼에도 연구소나 국책은 도움된다.
GPU는 그 쪽부터 사용되는 것이 맞다.
4. 뭐가 되던 Go 해야 하지 않나?
지난 10년간 IT 개발은 시대가 요구하는 카타고리에 종속적이었다. 블록체인, AR, 메타버스, 그리고 AI까지 그 매직키워드에서 벗어나 생존할 수 있는 프로젝트는 없었다. 그런 점에서 카타고리가 흥해야 개발사업자들도 흥하게 된다. 그런데 AI는 아직까지 산업에 미치는 영향이 크지않다. 빅테크와 정부 외에는 그다지 일이 많지 않다.
AI 산업이 흥하려면 어떤 것들이 필요할까? 사실 모르겠다.
어떤 것이라도 재대로 만들어 봤어야 문제가 무엇인지 나아갈 방향이 무엇인지를 알 수 있지 않겠는가? 이런 고민은 “나와 우리”만 하는 것은 아닐 것이다. 여하튼, 그런 고민 중 그나마 공감하는 기사를 아래와 같이 찾게 되었다. 손재권 대표를 본 적이 없다. 단지 친한 지인 형(형과 같은 동문이라 막걸리파가 아닐까 추정된다)은 손재권 대표를 자랑스러운 후배로 이야기했기에 컬럼들을 꾸준히 읽는 편이다. 인사이트가 명확해서 좋다. 단지, 프로필 사진은 나이(92학번)에 비해 너무 젊게 나온 것 같다. 이것은 AI 시대가 만든 불신의 문화이다.
