Chapter 6. 나만의 AI로 MVP 만들기
“이거… 진짜 직접 만든 거예요?”
시작은 단순한 불편함
모든 것은 문서 찾는 고통에서 시작됐다.
“작년 프로젝트 보고서 어디 있지?”
“출장비 규정 언제 바뀌었어?”
“비슷한 사례 없나?”
폴더를 뒤지고 검색하고, 동료에게 묻는 일이 반복됐다. 이런 반복 작업이야말로 AI가 잘할 수 있는 일이 아닐까?
첫 시도: 막막함
머릿속에는 RAG(Retrieval-Augmented Generation)라는 개념이 떠올랐지만, 실제로 구현하려니 막막했다.
“문서를 AI가 이해하게 해야 하고… 임베딩도 하고… 벡터 DB까지?”
이론은 알겠지만 코드로 옮기려니 엄두가 나지 않았다.
클로드와의 협업
그때 떠오른 게 클로드였다. 코딩에 강하다는 이야기를 듣고 이렇게 물었다.
“회사 문서를 업로드하면 요약하고, 질문에 답변하는 RAG 시스템을 만들고 싶어. LangChain과 LLM API로. 코드와 UI까지 만들어줄 수 있어?”
몇 분 뒤, 화면에는 프로젝트의 뼈대가 완성된 코드가 나타났다. 문서 로딩, 임베딩, 벡터 DB 구축, 질의응답, 심지어 웹 인터페이스까지 모두 포함돼 있었다.
첫 테스트
반신반의하며 실행해보았다. 라이브러리를 설치하고 API 키를 입력하니 웹페이지가 떴다.
파일 업로드 버튼
질문 입력창
답변 출력 영역
문서를 올리고 물어봤다.
“이 프로젝트의 주요 성과는 뭐야?”
잠시 후, 정확히 요약된 답변이 나타났다.
“이게… 진짜 되네?”
점진적 개선
물론 처음부터 완벽하진 않았다. 한글 문서가 깨지고, 답변이 길거나 엉뚱한 내용이 나오기도 했다. 그때마다 클로드에게 물었다.
"한글 인코딩 문제 해결 방법 알려줘.”
“답변 길이 제한하는 법은?”
“관련성 낮은 답변은 거르고 싶어.”
그리고 하나씩 고쳐나갔다. 마치 동료 개발자와 짝코딩을 하는 기분이었다.
진짜 협업
돌이켜보니 역할 분담이 뚜렷했다.
내가 한 일: 문제 정의, 테스트, 실제 데이터 검증, 사용자 관점 개선
클로드가 한 일: 기술 구현, 라이브러리 통합, 에러 디버깅, UI 설계
둘 다 없으면 불가능했다. 이것이야말로 진짜 AI 협업이었다.
발표의 순간
부서 회의에서 ‘혁신적 업무 개선 사례’를 발표할 기회가 왔다. 시스템을 띄우고 시연을 했다.
“출장비 규정에 대해 물어보겠습니다.”
곧바로 답변이 나왔다. 관련 문서 3개를 참조해 핵심만 정리한 답변이었다.
동료들의 표정이 달라졌다. 놀람, 호기심, 약간의 경계심. 그리고 그 질문이 나왔다.
“이거… 진짜 직접 만든 거예요?”
솔직한 고백
목이 바짝 말랐지만 결국 말했다.
“클로드라는 AI의 도움을 받았습니다. 요구사항을 정의하고 테스트는 제가 했지만, 실제 코딩은 대부분 AI가 해줬어요.”
순간 정적이 흘렀다. 그러나 곧 손이 올라왔다.
“그럼 우리도 할 수 있는 건가요? 어떻게 시작해야 하죠?”
나는 답했다.
“직접 부딪혀 보세요. 백 번 설명 듣는 것보다, 한번 만들어보는 게 낫습니다.”
작은 변화
놀랍게도 그 말은 씨앗이 되었다.
며칠 뒤 동료들이 찾아와 말했다.
“저도 클로드로 간단한 자동화 스크립트 만들었어요!”
“회의록 자동 정리 도구 만들었는데, 생각보다 쉽네요!”
사람들이 AI를 ‘심심풀이 상대’가 아니라 업무 파트너로 쓰기 시작했다.
회의실 안 공기가 조금씩 달라졌다. ‘우리도 할 수 있다’는 자신감이 싹트기 시작했다.
불안감의 그림자
하지만 기쁨은 오래가지 않았다.
“김 대리는 마케팅 자동화 도구를 만들었대.”
“옆 팀은 보고서를 완전히 자동으로 생성한대.”
내가 만든 RAG 시스템이 초라해 보였다. 그리고 회사에 공지가 내려왔다.
“2024년 업무혁신 우수사례 공모전 개최. 1등 300만원, 인사평가 반영.”
가슴이 철렁했다. 혁신이 자랑에서 경쟁으로 바뀌는 순간이었다.
공유에서 경쟁으로
처음에는 다들 자랑스럽게 공유했지만, 시간이 갈수록 달라졌다.
“어떻게 만들었어요?”
“아, 그냥 인터넷 보고요.”
노하우를 숨기기 시작했다. 나 역시 그랬다. “내 경쟁력을 왜 다 알려줘야 하지?”
협력보다 경쟁이 먼저 떠오르는, 낯선 풍경이었다.
각자도생의 시작
나는 깨달았다.
AI 도구는 이제 ‘나만의 무기’가 되었다.
더 이상 모두가 같은 도구를 공유하지 않는다.
AI 활용 능력이 곧 개인의 경쟁력이다.
결심
처음엔 단순히 불편함을 해결하려고 시작했지만, 이제는 달라졌다.
“회사에서 제공하는 범용 AI로는 부족하다. 내 데이터를 이해하고, 내 방식대로 학습한, 진짜 나만의 AI가 필요하다.”
그리고 구체적인 목표를 세웠다.
집에서 로컬 환경에서 돌아가는 나만의 LLM 실험해보기
개인 업무 데이터셋을 직접 모아 파인튜닝하기
다른 사람보다 한 발 앞서, 나만의 MVP를 빠르게 만들어보기
다음 이야기
회사에서 사내 SLM 도입사업을 추진한다고 했다.
누군가는 환호하고 또 누군가는 소리없는 불만이 생기고 있다.