PART 4. 통찰 — 미래 산업을 읽는 눈
해외출장 중 기내에서 노트북을 열었다. 며칠간 정리하지 못한 보고서를 ChatGPT의 도움을 받아 마무리하려던 참이었다. 하지만 화면에는 냉정한 메시지가 떴다.
"인터넷 연결이 필요합니다."
이 짧은 문장이 불편함 이상의 질문을 던진다. 아무리 똑똑한 AI라도, 인터넷 선이 끊기면 아무것도 할 수 없는 것일까? 내 스마트폰 안에 AI가 있다고 했는데, 정작 필요한 순간에 왜 침묵하는 걸까?
지금 이 순간, 우리가 쓰는 대부분의 AI는 '클라우드'라는 거대한 서버 컴퓨터에 의존하고 있다. ChatGPT에게 질문을 보내면, 그 질문은 인터넷을 타고 OpenAI의 데이터센터까지 날아갔다가 답변을 들고 돌아온다. 마치 편지를 미국 본사에 보내고 답장을 기다리는 것과 같다.
그렇다면 질문을 인터넷 없이, 내 기기 안에서 직접 처리할 수는 없을까? 바로 이 질문에서 '온디바이스 AI(On-device AI)'가 출발한다.
지난 12주를 돌아보자.
Part 1과 2에서 우리는 AI를 어떻게 다루는가를 배웠다. 막연한 공포를 걷어내고, 프롬프트로 원하는 결과를 뽑아내는 질문의 기술이었다. Part 3에서는 AI가 어떻게 작동하는가를 들여다봤다. LLM의 언어 처리 원리부터, 전문가로 만드는 파인튜닝, 거짓말을 막는 RAG, 그리고 세상과 연결하는 API까지였다.
이제 Part 4에서는 시선을 바깥으로 돌릴 차례다. 이 기술이 산업과 세상을 어떻게 바꾸는지, 그 변화 속에서 어떤 기회를 잡을 수 있는지 통찰하는 것이 목표다
.
그 첫 번째 주제가 바로 온디바이스 AI다.
AI가 클라우드를 떠나 내 손 안으로 내려올 때, 무엇이 달라지는가?
온디바이스 AI를 이해하는 가장 쉬운 비유는 기업의 의사결정 구조다.
과거의 중앙집권식 기업을 떠올려보자. 지점에서 발생하는 모든 결정은 본사를 거쳐야 한다. 지점 직원이 고객 요청을 받으면, 서울 본사에 보고하고 승인을 기다린다. 본사가 바쁜 날에는 대기 시간이 길어지고, 통신망이 끊기면 아무것도 진행되지 않는다. 무엇보다, 고객의 민감한 정보가 본사 서버를 오가는 과정에서 유출 위험에 노출된다.
지금의 클라우드 AI가 바로 이 구조다. 사용자의 질문(지점의 요청)이 데이터센터(본사)를 거쳐야만 답변이 나온다.
온디바이스 AI는 지점에 '전결권'을 주는 것이다. 일상적인 업무—번역, 음성 인식, 사진 편집—는 지점(내 스마트폰, 노트북)에서 직접 처리한다. 빠르고, 안전하고, 인터넷이 없어도 된다. 복잡하고 대용량의 판단이 필요할 때만 본사(클라우드)에 요청한다.
삼성SDS의 분석에 따르면 클라우드 AI는 네트워크를 왕복해야 해서 수십~수백 밀리초의 지연이 발생하지만, 온디바이스 AI는 수 밀리초 이내에 응답한다. 과거 클라우드 기반 음성비서가 명령에 늦게 반응했던 이유가 바로 이 네트워크 지연 때문이었다.
문제는 크기다. ChatGPT 같은 대형 AI 모델은 수천억 개의 '파라미터(매개변수)'로 이루어져 있다. 이를 그대로 스마트폰에 넣으려면, 스마트폰 한 대가 웬만한 서버실 수준의 성능과 배터리를 가져야 한다. 현실적으로 불가능하다.
그래서 두 가지 기술이 등장했다.
첫째, AI 모델의 경량화다.
거대한 백과사전을 핵심 내용만 추려 포켓북으로 만드는 것과 같다. '프루닝(Pruning)'은 모델에서 중요도가 낮은 연결을 제거하는 기법이고, '양자화(Quantization)'는 AI가 사용하는 숫자의 정밀도를 낮춰 메모리를 줄이는 방법이다. 또 '지식 증류(Knowledge Distillation)'는 대형 선생님 AI의 지식을 소형 학생 AI에게 압축 전수하는 기법이다. 이렇게 탄생한 것이 '소형언어모델(SLM, Small Language Model)'이다.
둘째, AI 전용 반도체 NPU의 등장이다.
스마트폰 안에는 여러 종류의 칩이 들어 있다. CPU는 모든 업무를 처리하는 만능 직원, GPU는 그래픽을 담당하는 전문가다. 여기에 새로운 전문가가 추가됐다. NPU(Neural Processing Unit, 신경망처리장치)는 AI 연산만을 위해 설계된 전용 칩이다. 마치 마라톤 선수와 역도 선수가 각자의 종목에 특화되어 있듯이, NPU는 AI 연산을 다른 어떤 칩보다 빠르고 전력 효율적으로 처리한다.
경량화된 AI 모델과 NPU가 결합될 때, 비로소 스마트폰 위에서 AI가 작동할 수 있게 된다.
온디바이스 AI는 아직 미래의 이야기가 아니다. 지금 이 순간, 우리가 매일 쓰는 기기 안에서 조용히 작동하고 있다.
삼성 갤럭시 AI를 먼저 보자.
2024년 1월, 갤럭시 S24 시리즈와 함께 공개된 갤럭시 AI는 온디바이스와 클라우드를 결합한 '하이브리드 AI'다. 사진의 피사체를 인식하거나 음성을 텍스트로 변환하는 작업은 기기 안에서 처리하고, 고품질 번역이나 복잡한 이미지 편집은 클라우드를 호출한다. 갤럭시 S25에서는 완전 오프라인 실시간 통역도 구현됐다. 특히 삼성은 최신 플래그십 모델뿐 아니라 구형 기기에도 AI 기능을 확대 적용하는 전략으로, 최대한 많은 사용자를 자사 AI 생태계로 끌어들이고 있다.
애플 인텔리전스(Apple Intelligence)의 전략은 다르다.
애플은 '강력한 개인정보 보호'를 최우선 가치로 내세웠다. 기본 연산은 기기 내에서 처리하되, 더 복잡한 요청은 자체 설계한 애플 실리콘 서버를 활용한 '비공개 클라우드 컴퓨팅(Private Cloud Compute)'으로 넘긴다. 핵심은 이 클라우드 서버조차 애플 자신이 들여다볼 수 없도록 설계했다는 것이다. 보안을 양보하지 않는 프리미엄 전략이다.
PC 시장도 빠르게 변하고 있다.
퀄컴의 '스냅드래곤 X' 칩을 탑재한 윈도우 노트북들이 'AI PC'라는 이름으로 속속 출시되고 있다. 마이크로소프트의 '코파일럿+ PC(Copilot+ PC)' 인증 제품들이 그 예다. 이 기기들은 NPU가 내장되어 인터넷 없이도 이미지 생성, 실시간 자막, 텍스트 요약 등을 처리할 수 있다.
시장의 반응도 뜨겁다. 삼일PwC경영연구원의 분석에 따르면, 2028년에는 전체 PC 시장의 80%, 스마트폰 시장의 60%가 AI를 탑재할 것으로 전망된다. 딜로이트는 글로벌 온디바이스 AI 시장이 연평균 약 28%씩 성장해 2031년에는 약 167조 원 규모에 이를 것으로 예측했다.
온디바이스 AI는 단순한 기술 진보가 아니다. 그 이면에는 세 가지 강력한 구조적 이유가 있다.
첫째, 프라이버시 규제의 강화다.
과거 아마존 알렉사와 애플 시리가 사용자의 음성 데이터를 서버로 전송하고, 직원들이 이를 검토한다는 사실이 알려졌을 때 세상은 발칵 뒤집혔다. 이후 유럽의 GDPR(일반개인정보보호법)을 시작으로 개인정보 규제는 전 세계적으로 강화되고 있다. 데이터를 기기 밖으로 내보내지 않는 온디바이스 AI는 이 문제를 근본에서 해결한다.
둘째, 클라우드 운영 비용의 폭발이다.
한 분석에 따르면, ChatGPT 같은 대형 AI 서비스를 운영하는 데 하루 약 70만 달러(한화 약 10억 원)의 서버 비용이 소모된다. AI 이용자가 늘어날수록 기업의 서버 비용은 기하급수적으로 증가한다. 온디바이스 AI는 연산 부담을 사용자의 기기로 분산시켜 기업의 클라우드 운영 비용을 줄인다. 사용자가 기기를 살 때 이미 비용을 지불하는 셈이다.
셋째, 에너지 문제와 속도의 한계다.
전 세계 데이터센터의 전력 소비는 이미 일부 국가의 전체 전력 사용량을 넘어섰다. AI 사용이 늘어날수록 데이터센터의 전력 수요는 더 치솟는다. 기기에서 처리할 수 있는 부분을 온디바이스로 분산하면, 이 에너지 부담을 줄일 수 있다. 동시에 클라우드를 거치지 않으니 응답 속도도 빨라진다.
온디바이스 AI는 단순히 스마트폰의 이야기가 아니다. 이 기술 전환이 불러오는 두 가지 산업 구도 변화를 주목해야 한다.
하드웨어의 귀환과 반도체 전쟁이 그 첫째다.
지난 10여 년간 AI의 주인공은 소프트웨어—알고리즘, 데이터, 모델—였다. 그런데 온디바이스 AI 시대가 되면서 하드웨어의 중요성이 다시 부상하고 있다. 얼마나 좋은 NPU를 만드느냐, 얼마나 많은 메모리를 얼마나 빠르게 처리하느냐가 경쟁력의 핵심이 됐다. 클라우드 AI 시대에 엔비디아의 GPU가 절대 강자였다면, 온디바이스 AI 시대에는 애플(자체 M·A 시리즈 칩), 퀄컴(스냅드래곤), 삼성(엑시노스), 그리고 메모리 반도체 강국인 한국의 삼성전자·SK하이닉스가 새로운 주인공으로 부상한다.
두 번째 전쟁은 플랫폼 생태계의 재편이다.
12주차에서 우리는 클라우드 AI 생태계의 주도권 경쟁을 살펴봤다. 온디바이스 AI 시대에도 같은 전쟁이 다른 무대에서 벌어진다. 애플은 자체 칩과 운영체제로 완전히 폐쇄된 생태계를 구축한다. 삼성은 스마트폰부터 TV, 가전, 자동차까지 모든 기기를 갤럭시 AI로 묶으려 한다. 퀄컴은 안드로이드 스마트폰과 윈도우 PC 시장을 동시에 공략한다. 어느 기업이 온디바이스 AI의 '기본값(default)'이 되느냐에 따라, 수십억 명의 사용자 데이터와 관심이 그 기업에 귀속된다. 이것이 빅테크들이 이 시장에 사활을 걸고 있는 이유다.
기업의 도입 관점에서도 이 흐름은 중요하다. 병원이 의료 기록을, 로펌이 의뢰인 정보를, 제조업체가 설계 도면을 다룰 때—클라우드로 내보낼 수 없는 민감한 데이터를 AI로 처리할 수 있는 유일한 방법이 온디바이스 AI다. '보안 때문에 AI를 못 쓴다'는 말이 사라지기 시작하는 것이다.
정리하자. 클라우드 AI는 거대하고 강력하지만, 한계가 있다. 인터넷이 필요하고, 내 데이터가 서버를 오가며, 비용이 늘어날수록 기업의 부담도 커진다.
온디바이스 AI는 이 한계를 개인의 기기 안에서 해결한다. 빠르고, 안전하고, 오프라인에서도 작동한다.
삼일PwC경영연구원은 이를 IT 역사에서 세 번째 혁명으로 평가했다.
인터넷 보급에 따른 PC의 등장이 첫 번째, 스마트폰 대중화가 두 번째였다면, AI를 기기 안에 탑재한 온디바이스 AI가 세 번째 혁명이라는 것이다.
이 변화 속에서 문과생 지휘자가 볼 것은 두 가지다.
하나는 '어떤 기기를 선택할 것인가'의 문제—이제 스마트폰과 노트북 선택은 AI 선택이기도 하다. 다른 하나는 '어떤 산업에 기회가 있는가'의 문제—온디바이스 AI를 구동하는 반도체, 이를 탑재한 기기, 그리고 기기 내 AI를 활용하는 서비스들이 다음 투자 지도를 다시 그릴 것이다.
다음 주에는 AI가 화면을 뚫고 물리적 세계로 나오는 '로봇과 피지컬 AI'를 다룬다. AI의 두뇌가 마침내 몸을 얻었을 때, 우리의 노동과 산업은 어떻게 달라지는가?
이번 주 미션은 아주 간단합니다.
온디바이스 AI가 정말 작동하는지, 직접 눈으로 확인해 보는 것입니다.
Step 1. 스마트폰을 비행기 모드로 전환하세요.
설정에서 '비행기 모드'를 켜거나, Wi-Fi와 모바일 데이터를 모두 꺼주세요. 이제 인터넷이 완전히 차단된 상태입니다.
Step 2. 다음 기능들을 하나씩 시도해 보세요.
갤럭시 사용자라면 카메라를 열고 사진 속 피사체를 길게 눌러보세요. 또는 녹음 앱에서 짧은 음성을 녹음하고 텍스트 변환 기능을 써보세요.
아이폰 사용자라면 사진 앱에서 이미지를 길게 눌러 피사체 분리 기능을 시도해 보세요. 또는 설정에서 번역 앱을 열고 오프라인 번역 언어팩을 다운로드한 뒤, 비행기 모드에서 번역을 시도해 보세요.
Step 3. 결과를 기록하고 질문해 보세요.
인터넷 없이 작동한 기능과, 작동하지 않은 기능을 각각 적어보세요. 그리고 스스로 질문해 보세요. "왜 이 기능은 오프라인으로 되고, 저 기능은 안 됐을까?"
이 작은 실험이 온디바이스 AI와 클라우드 AI의 차이를 가장 직관적으로 이해하는 방법입니다.
삼일PwC경영연구원 - 제3의 IT혁명 디바이스 시대가 온다: 온디바이스 AI 현황과 전망
삼성반도체 공식 블로그 - 삼성이 개척하는 온디바이스 생성형 AI의 전환점
삼성SDS 인사이트리포트 - 클라우드 AI vs 온디바이스 AI: 공존과 진화의 방향
AI 매터스 - 2025년 온디바이스AI 시장 연평균 27.95% 성장 (딜로이트 보고서)
ETRI 한국전자통신연구원 - 온디바이스 AI 기술 개발 동향
Qualcomm - AI Computing Power For Your Laptop | Snapdragon
Apple - Private Cloud Compute: A new frontier for AI privacy in the cloud
IDC - Generative AI Smartphone Forecast, 2024-2028