온디바이스 AI 와 소형언어모델
빅테크들이 기존보다 작고 효율적인 소형 AI 모델을 속속 선보이고 있습니다. 메타 '라마3', 구글 '젬마', 마이크로소프트 '파이(Phi)-3 미니' 등이 대표적인데요, 이런 소형언어모델(sLM)은 스마트폰이나 노트북에서도 작동할 수 있을 것으로 기대를 모으고 있습니다.
생성형 AI 분야에서 뒤처졌다는 평가를 받고 있는 애플 역시 온디바이스 AI 성능을 강화한 'M4' 칩을 조기에 투입하며 본격적인 행보에 나설 것으로 전망되고 있습니다. 애플은 기기 내부에서 구동되는 AI를 구현하는 방향으로 전략을 수정하면서 칩 설계까지 바꾼 것으로 알려지고 있습니다.
이번에는 디바이스 AI 와 소형언어모델에 대해서 알아보고자 합니다.
온디바이스 AI 란?
온디바이스AI 설명(출처 : 삼성전자)온디바이스 AI는 기기 자체에서 실행되는 인공지능 기술을 의미합니다. 이는 클라우드나 외부 서버에 의존하지 않고 기기 내부에서 작동하는 AI 시스템을 가리킵니다. 이러한 시스템은 주로 성능, 개인 정보 보호, 응답 시간 등의 측면에서 장점을 가지며, 인터넷 연결이 불안정하거나 느릴 때에도 작동할 수 있습니다. 온디바이스 AI는 보안 및 개인 정보 보호 측면에서도 중요한 역할을 합니다.
삼성의 '갤럭시 AI'는 온디바이스 AI와 클라우드 AI가 섞여 있는데 그 중 Gemini Nano는 온디바이스에 속한다. 그러나, 현재로썬 핸드폰에서 제대로 온디바이스 AI를 움직이려면 상당히 강력한 프로세서를 장착해야 합니다.
현재, 온디바이스 AI가 사용되고 있는 예로서는, 대표적으로 스마트폰의 카메라에서 많이 활용되고 있습니다.
예를 들어 Google Pixel 3은 구글이 제조하고 출시한 안드로이드 스마트폰 시리즈 중 하나입니다.
Pixel 3은 2018년에 발표되었으며, 고급 카메라, 탁월한 소프트웨어 기능, 그리고 최신 안드로이드 업데이트를 빠르게 받을 수 있는 것으로 유명합니다.
Pixel 3 시리즈는 전면에 듀얼 카메라를 탑재하여 셀피 사진과 초점이 조절된 이미지를 촬영할 수 있습니다.
또한, 구글의 AI 기술을 활용하여 사진을 개선하고, 자동으로 태그를 지정하며, 리마인드를 설정할 수 있는 기능도 제공합니다.
사진 촬영은 내장된 이미지 처리 모델을 통해 클라우드에 연결하지 않고 사진에서 사람의 표정이나 물건, 텍스트 등을 인식할 수 있습니다.
Pixel 3의 포토 부스 모드에서 이미지 점수 링크 모델은 얼굴 표정과 사진 품질을 실시간으로 분석하고 미소와 재미있는 표정의 얼굴을 자동 감지하고 최적의 순간에 자동으로 셀프 촬영을 합니다.
온디바이스 AI가 클라우드 AI에 비해 뛰어난 점은 뭐니뭐니해도 실시간성입니다.
예를 들어, 온디바이스 AI가 탑재된 CCTV 의 경우 화재가 발생했을 경우,
기존에는 클라우드 서버장비에서 화재라고 판단여부를 체크한다면, 동작을 다시 CCTV 에게 화재난 곳을 확대해서 비추게 했다면, 이제는 바로 CCTV 스스로 판단하게 되고, 바로 화재난 곳을 확대해서 비추게 할 수 있습니다. 인터넷이 없는 곳 또는 실시간으로 바로 처리해야 하는 경우 효과적입니다.
또 다른 장점으로는, 개인적인 정보가 많이 포함되는 스마트폰 카메라 특성상,
사진을 클라우드로 전송하고 싶지 않다는 요구가 있을지도 모릅니다. 온디바이스 AI라면 그러한 우려에도 대응할 수 있을 것입니다.
소형언어모델이란?
소형언어모델이란(출처 : 매일경제)소형언어모델(sLM)은 상대적으로 작은 크기의 언어 모델을 가리킵니다. 이 모델들은 대규모 언어 모델(예: GPT, BERT)보다 더 작은 파라미터 크기와 계산 비용을 가지고 있습니다. 이러한 sLM은 제한된 리소스 환경에서 작업할 때 특히 유용합니다.
sLM은 모바일 기기, 에지 디바이스, 임베디드 시스템 등의 제한된 용량 및 연산 능력을 가진 환경에서 사용될 수 있습니다. 이러한 모델은 주어진 리소스 내에서 효율적으로 작동하면서도 자연어 이해, 텍스트 생성, 음성 인식 등의 다양한 자연어 처리 작업을 수행할 수 있습니다.
소형언어모델은 온디바이스 AI의 중요한 구성 요소 중 하나입니다. 온디바이스 AI는 기기 자체에서 실행되는 인공지능 기술을 의미하며, 클라우드나 외부 서버에 의존하지 않고 기기 내부에서 작동합니다. 소형언어모델은 이러한 온디바이스 AI 시스템 내에서 사용되어, 자연어 처리 작업을 위한 작은 크기의 언어 모델을 구동합니다. 이 모델은 제한된 리소스 환경에서 효율적으로 작동하면서도 자연어 이해, 텍스트 생성, 음성 인식 등의 다양한 자연어 처리 작업을 수행합니다. 이를 통해 기기의 성능을 최적화하고, 사용자의 개인 정보를 보호하면서도 효과적인 자연어 처리를 제공할 수 있습니다. 따라서, 소형언어모델은 온디바이스 AI의 필수적인 부분으로 간주됩니다.
대표적인 제품
MS 의 Phi
MS는 미국 시간 4월 23일, 향후 몇 개월 이내에 3개의 소형 AI 모델을 출시하는 것을 밝히고, 최초의 모델로서 「Phi-3-mini」를 릴리스했습니다.
성능지표현재 공개되고 있는 첫번째 모델은, 38억 파라미터의 「Phi-3-mini」로, 이를 필두로 'Phi-3' 패밀리는 향후 70억 파라미터의 'Phi-3-small', 140억 파라미터의 'Phi-3-medium'이 라인업될 예정이며
Azure AI Model Catalog 등의 모델 운용 기반으로 이용 가능하게 됩니다.
Phi-3-mini는 Microsoft Azure AI Model Catalog에서 제공이 시작되었습니다.
또 「Hugging Face」나, 로컬 머신상에서 모델을 실행하기 위한 경량 프레임워크 「Ollama」로 이용할 수 있습니다. Phi-3-mini는 MIT 라이센스하에 제공되며 무료로 상업적으로 이용할 수 있습니다.
결 론
온디바이스 AI의 약점은 수백억 개의 매개변수와 계속 업데이트되는 데이터가 있는 거대한 클라우드 서버에서 실행되는 모델만큼 강력하지 않다는 것입니다.
그러나 다른 한편으로는 외부와의 통신이 필요 없기 때문에 응답 시간은 훨씬 빨라질 것입니다. 게다가 프라이버시 보호가 더욱 견고해질 것이라고 업계에서는 기대하고 있습니다.
또한, 작아진 모델과 향상된 성능으로 기기 내부에서 AI 기능을 구현하겠다는 온디바이스 AI의 비전이 조금씩 현실로 다가오는 모습입니다. 마지막으로 현재 남은 키(key)는 '킬러 앱'이 될 전망입니다. 온디바이스 AI의 강점인 빠른 응답속도, 강력한 보안, 비용 효율성 등을 제대로 활용한 애플리케이션이 등장해야 진정한 온디바이스 AI 시대를 열 수 있을 전망입니다.
