AI 시대에 살아남기
지난해 이맘때 일 것이다.
프롬프트 엔지니어링에 대하여 스터디 그룹을 만들어서 학습하기 시작했다. 직전에 AI 페어 프로그래밍에 대해서 학습하기도 했지만 프롬프트 작성을 잘하고 싶다는 생각에 스터디를 시작했다. 3개월 정도 책 네 권을 학습했다. 프롬프트 엔지니어링뿐만 아니라 AI 시대 어떤 소양을 키워야 할지도 학습하고 AI 페어 프로그래밍에 대해서도 추가로 학습했다.
그래서 조금씩 할 수 있는 일이 늘어났지만 당시에는 LLM의 성능이 지금처럼 뛰어나다고 할 수 없어서 내가 할 수 있는 일이 많지 않았다. 그러다 올해 겨울이 끝날 무렵 외부의 AI 스터디를 돈을 내고 참여하게 되었다. 그때 학습한 것은 n8n(https://n8n.io/) 이란 것이었다. 자동화 워크플로우를 만드는 툴인데 예전에도 있었지만 AI Agent를 만들 수 있어서 학습해 보게 되었다. Youtube 에는 관련된 콘텐츠가 많이 있었고 빠르게 학습할 수 있었다. 스터디가 끝날 무렵에는 툴을 사용하는 것이 익숙해졌지만 대단한 것을 만들지는 못했다. 그러다 회사에서 지지부진하게 진행되던 프로젝트가 있었는데 가만히 옆에서 보고 있으니 이것을 AI로 문제를 풀 수 있겠다는 생각이 들었다. 그래서 가볍게 제안을 해보았는데 담당 PM 이 이틀 동안 고민하더니 해보자고 연락이 왔다. 그래서 PoC(Proof of Concept)를 진행해 보게 되었다. n8n으로 워크플로우를 만들어서 프로젝트 리포트를 만드는 AI Agent였다.
처음 그렇게 시작한 프로젝트는 역시나 어려움이 있었다. 일단 나는 AI Agent를 만들어 본 경험이 없었다. 프롬프트 엔지니어링도 스터디한 게 전부였다. 처음 한 달은 스트레스가 많았다. 70% 정도 완성을 했지만 나머지 30% 를 해결하는데 어려움이 있었다. LLM 이 생각했던 것보다 문제를 해결하지 못하는 케이스가 있었다. 주로 사용했던 AI Model 은 Chat GPT 4였다. 사람들에게 보기 좋으나 AI 가 읽어 들이기 복잡한 데이터로 인하여 문제 해결을 하지 못했다. 이 문제는 아주 우연한 계기로 해결되었다. 회사가 제공하는 것은 Chat GPT 만 제공하는 줄 알았는데 그사이에 Claude Model을 지원하기 시작한 것이다. 그래서 모델을 변경해 보게 되었다. 이 과정에 조금 어려움이 있었다. 하지만 연결하는 문제를 해결하고 돌려보니 너무 허탈하게 문제를 해결해 버렸다. 그래서 첫 번째 어려움을 해결하게 되었다.
그렇게 문제를 해결하고는 처음 분석하던 프로젝트 하나에서 여러 개로 확장을 하게 되었다. 그리고 두 번째 문제를 마주하게 된다. 1년 정도 진행하던 프로젝트들은 데이터양이 많지 않아서 단일 프롬프트로 문제가 없었다. 그런데 2년 넘어가는 프로젝트 분석을 하게 되면서 문제가 발생하였다. 타임아웃! 분석을 하지 못하는 것이다. 마침 모델의 발전도 있어서 변경해 보았으나 데이터양이 많아지니 이상한 결과를 내놓기도 했다. 이래저래 성능도 떨어지고 해서 방법을 찾기 시작했다. Token 비용이 아깝지만 프롬프트를 분할하기로 했다. 하나를 두 개로 나누어서 진행했다. 어느 정도 문제가 해결되었다. 타임아웃이 나는 현상은 없앴다. 하지만 결과 품질이 좋지 않았다. 그래서 좀 더 나누었다. 딱 하나의 단일 목적을 가진 프롬프트로 나눈 것이다. 그렇게 4개의 프롬프트로 확장되었다. 문제도 해결되고 품질도 좋아졌다.
이렇게 문제 해결을 하고 나서 본격적으로 내부에 홍보를 하게 되었고 정식 프로젝트로 진행하게 되었다. 새롭게 진행하는 프로젝트에서 도입을 하고 사람들이 조금씩 관심을 갖게 되었다. 아직 개발 프로젝트는 진행 중이지만 PoC 할 당시 만든 n8n workflow를 통해 임시로 프로젝트 리포트를 만들고 이를 통해 상위 보고를 하는 등의 실제 업무 적용을 해보기 시작했다.
회사에서 AI 사용을 권장하면서 회사가 제공하던 LLM Proxy 가 버벅 대기 시작했다. 잘 작동하던 프롬프트들이 동작하지 않기 시작했다. LLM Proxy 문제 일 수도 있지만 프롬프트를 조금 더 경량화 할 필요성을 느꼈다. 그래서 좀 더 잘게 나누기로 했다. 그러면서 실무 적용했을 때 요청되는 사항을 추가하기로 했다. 그렇게 프롬프트는 최종 7개가 되었다. 그리기 새로운 프롬프트 추가를 위해 테스트 중에 있는 것도 있다. 번역을 담당한 부분까지 포함하면 한국어, 영어, 일어를 커버해야 해서 2개의 프롬프트가 추가되었다. 번역도 언어별로 분리하는 것이 유리했다.
아직 개발 프로젝트는 진행되고 있다. PoC를 진행했던 것들을 튜닝하면서 몇 개 프로젝트에서 실무 적용을 해서 사용 중이다. 개발 프로젝트가 완료되고 나면 제법 괜찮은 애플리케이션이 나올 듯하다. 하지만 나의 욕심을 여기서 끝이 아니다. 다양한 프로젝트를 분석하고 프로젝트 리포트를 만들어 내고 있는데 여기서 수집되는 데이터를 더 활용할 수 있는 방안들이 있어 보인다. 최소 1년 정도 정식 운영을 하면서 수집되는 데이터를 통해 또 그 과정을 통해 새로운 AI Agent로 만들고 싶다는 생각이다.
약 1년 동안 AI 시대 살아남기 위해 스터디를 시작했던 것은 AI Agent를 만드는 프로젝트를 할 뿐만 아니라 향후 방향성까지 생각할 수 있는 기회가 되었다. 이 과정에서 핵심은 학습, 실행, 경험, 회고, 인사이트... 뭐 이런 단어들을 이야기할 수 있으며 대표 단어로는 성장이라고 말할 수 있다고 생각한다.
AI 시대 살아남기? 별거 아니다 애자일 하게 학습하고 실행하고 실패하고 다시 학습하면 된다.
