내 기기 안에서 작동되는 AI
AI가 구동되는 과정에는 엄청난 전력 에너지와 고성능의 컴퓨팅 파워가 필요하다. 그런 시스템의 집약체가 데이터센터이고, 그 데이터센터를 통해 AI 모델이 훈련되고 운영된다. 그렇게 2023년부터 전 세계가 ChatGPT로 시작된 AI 서비스들에 열광하면서 수요 대비 데이터센터 공급이 부족해져 이에 대한 투자가 본격화되고 있다. 처음 수백 메가와트에서 시작된 데이터센터는 이제 1GW를 넘고 10GW까지 내다보고 있다. 그런데, 늘 세상은 작용이 있으면 반작용이 있기 마련이다.
데이터센터 기반으로 운영되는 AI 서비스는 비싸고 개인정보 이슈에서 자유로울 수 없다. 그렇다보니 컴퓨터나 스마트폰 내에서 구동되는 AI에 대한 관심이 쏠리고 있다. 사실 이미 자율주행차는 차량 내에서 AI가 구동되고 이를 위해 차체 내에 이를 돕는 AI 칩이 내장되어 있다. 테슬라는 자체 설계한 AI4 칩셋이 장착되어 인공지능이 운영된다. 그렇게 삼성전자의 갤럭시 스마트폰에는 퀄컴의 스냅드래곤이나 삼성의 엑시노스가, 아이폰에는 A19 등의 자체 칩셋이 내장되어 AI를 구동한다. 심지어 엔비디아는 AI 구동에 최적화된 AI 전용 PC인 디지트라는 컴퓨터를 출시했다. 이 제품에는 블랙웰이라는 AI 칩셋이 내장되어 약 700억 파라미터급의 모델을 구동할 수 있고, AI 연구 개발자들이 사용하기 적합한 성능으로 약 4000달러 수준이다. 이렇게 기기 내에서 AI가 구동되는 것을 가리켜 온디바이스 AI라고 한다.
굳이 이들 기기 내에서 AI를 구동하는 이유는 생성형 AI 서비스 사용 시 구독료를 내야 하기 때문이다. 대부분의 생성형 AI는 매월 20달러에서 많게는 200달러까지 비용 지불을 매월 해야 한다. 반면 기기 내에서 AI를 사용하면 요금에서 자유로울 수 있다. 또, AI를 사용하다보면 늘 걱정되는 것이 AI가 날 알아갈수록 더 많은 개인정보가 데이터센터로 간다는 점이다. 우리가 AI에게 더 많은 것들을 묻기 시작하면서 내 직업과 업무, 나이와 사는 주소와 연봉, 재산 수준, 가족을 포함한 정보들이 데이터센터로 흘러들어간다. 하지만, 내 기기 내에서 사용한 AI는 내 소유의 기기 속에서만 개인정보가 저장되기 때문에 상대적으로 안심일 수 있다.
또한, 온디바이스 AI는 이미 우리가 사용해오던 컴퓨터, 스마트폰, 자동차에만 적용되는 것은 아니다. 향후 크게 성장할 로봇과 AR 글래스와 같은 기기에도 적용될 수 있다. 이들 기기 내에서 자체적으로 AI가 구동되어야 하는 것은 속도 때문이다. 자동차도 마찬가지이지만 로봇의 동작 과정에 매번 데이터센터 속 AI가 구동되어야 하면 속도의 딜레이가 생길 수 밖에 없다. 당장 움직여야 하는 차량이나 로봇 내의 AI가 구동되어야 즉시 실행할 수 있다. 안경처럼 쓰는 AR 역시 내가 보고 듣는 것을 AI가 듣고 바로 작동되어야 하기에 시간이 지체되는 순간 불편함이 커질 수 밖에 없다.
그렇게 기기 내에서 AI 구동이 늘어가면 당연히 AI 동작을 도와주는 AI 가속기 즉, 기기 내에서 저전력으로 동작할 수 있는 작은 NPU와 그런 AI 칩에 최적으로 연결되어 작동될 수 있는 LPDDR이나 SRAM같은 메모리도 필수적이다. 데이터센터만큼의 고성능은 아니지만 기존에는 필요없던 새로운 반도체가 필요하다. 결국 그렇게 AI 시장은 고성능 반도체가 집약된 데이터센터와 저전력 고효율의 반도체를 품은 온디바이스 AI로 양분화될 것이다. 온디바이스 AI가 데이터센터를 대체하는 것이 아니라 복잡한 모델의 훈련과 대규모 추론은 데이터센터에서 일상적이고 즉각적인 AI 작업은 기기 내에서 처리되는 하이브리드 방식으로 자리 잡아갈 것이다.