Chapter 7. 내 손안의 AI 공장
"모두가 똑같은 실력이 되지 않을까?"
업무혁신 공모전이 끝난 지 몇 주 후, 회사에서 큰 발표가 있었다.
“온프레미스 SLM 환경 구축 사업을 추진합니다. 회사의 모든 문서를 학습시켜 통합 AI 에이전트를 만들고, 직원 전용 AI 포털을 구축할 예정입니다.”
임원진의 발표가 끝나자 동료들은 환호했다.
“드디어 회사에서도 제대로 된 AI가 나오네요!”
“이제 개인적으로 툴 만들 필요 없겠다.”
“통합 시스템이면 훨씬 강력하겠지?”
하지만 내 마음은 묘하게 무거워졌다.
“모두가 똑같은 실력이 되면, 내가 만든 RAG 시스템의 우위는 사라지는 거 아닌가?”
평준화의 두려움
회사 AI가 모든 직원에게 동일하게 제공된다면, 그동안 내가 누렸던 작은 경쟁력은 무너진다.
정보 탐색 속도에서의 우위,
업무 효율의 차별성,
작은 ‘혁신가’라는 자부심.
모두가 같은 AI를 가진 순간, 나는 다시 원점으로 돌아간다.
은밀한 결심
그날 밤, 결심이 섰다.
“회사의 범용 AI로는 부족하다. 진짜 나만의 AI를 만들어야 한다.”
구체적 목표는 분명했다.
내 컴퓨터에서 직접 실행되는 독립 AI
내 업무와 스타일에 특화된 맞춤형 기능
내가 통제할 수 있는 환경
첫 시도: Ollama
찾아낸 도구는 Ollama였다. 로컬에서 LLM을 실행할 수 있는 플랫폼.
ollama pull llama2
몇 시간의 다운로드 끝에, 드디어 내 노트북이 AI처럼 대답하기 시작했다.
“안녕하세요. 테스트입니다.”
“안녕하세요! 무엇을 도와드릴까요?”
순간 전율이 흘렀다. 내 컴퓨터에서 AI가 돌아가고 있었다.
그러나 현실은 냉혹했다
곧바로 벽에 부딪혔다.
답변 품질은 클라우드 AI에 비해 떨어졌고,
속도는 느려 답답했으며,
내 노트북 성능으로는 큰 모델을 돌리기 어려웠다.
“이걸로 회사 AI와 경쟁한다고? 턱도 없네.”
두 번째 전략: 하이브리드
완전 로컬은 무리라는 걸 인정하고 전략을 바꿨다.
성능은 ChatGPT나 클로드 같은 클라우드 AI에 맡기고,
데이터와 워크플로우는 로컬에서 관리한다.
이 방식이라면,
성능은 확보하면서
데이터 통제권을 지키고
회사 시스템과의 차별화도 유지할 수 있었다.
개인 AI 연구소
나는 점점 집을 작은 연구실처럼 바꿔갔다.
외장 GPU와 메모리를 장착하고,
Python, Docker, 각종 라이브러리를 깔고,
개인 문서를 자동으로 처리하는 파이프라인을 만들었다.
노트북 팬은 끊임없이 돌았고, 방은 마치 작은 서버실 같아졌다.
“이제 진짜 내 연구소가 생긴 기분이야.”
회사 vs 개인
몇 주간 실험하며 깨달았다.
회사 AI
모든 직원에게 동일 기능 제공
안전하고 무난한 답변
규정과 정책에 최적화
개인 맞춤화는 제한적
개인 AI
내 습관과 취향에 최적화
실험적 기능을 빠르게 시도 가능
개인 데이터와 결합 가능
빠른 개선 사이클
“결국 회사 AI는 기본기, 개인 AI는 차별화.”
중요한 깨달음
실험을 반복하며 더 확실해졌다.
기술 자체보다 활용 방식이 중요하다.
같은 ChatGPT API라도,
어떤 프롬프트를 쓰는지,
어떤 데이터와 결합하는지,
어떤 워크플로우를 짜는지에 따라 결과는 완전히 달라졌다.
은밀한 시작
어느 날, 내가 밤늦게 개인 AI를 만지작거리는 걸 본 동료가 물었다.
“이거 뭐예요? 새로운 거 만들고 계세요?”
순간, 대답이 목구멍에 걸렸다.
“말해줄까? 같이 해볼까?”
하지만 지난번 RAG 때의 기억이 떠올랐다.
내가 어렵게 만들어낸 방식을 알려줬더니, 금세 다른 사람들이 따라잡고 더 발전시켜 버렸다.
“이번에도 똑같이 될 거야. 내가 가진 작은 우위가 사라질 거야.”
나는 고개를 저으며 대답했다.
“아… 그냥 이것저것 해보는 거예요. 별거 아니에요.”
공유 대신 은밀함, 협력 대신 방어.
이제 나는 사람들과는 완전히 다른 길을 걷고 있었다.
다음 이야기
개인 AI 환경을 구축하면서 한 가지 확신이 생겼다. 이제는 정말 나를 이해하는 AI를 만들어야 한다는 것이었다.
단순히 문서를 검색하는 시스템이 아니라, 내 업무 스타일을 학습하고, 내 사고방식을 따라하고, 나와 진짜 협업할 수 있는 AI 에이전트 말이다.
며칠 후, 나는 본격적으로 "나만의 비서"를 만들기 시작했다. 그런데 작업을 진행하면서 예상치 못한 현실과 마주하게 되었다.