RAG Chatbot 구축기 (3)

다시 찾아온 열정, 그리고 새로운 도전의 문

2022년 11월 30일, ChatGPT가 세상에 첫발을 내딘 이후 6개월간의 기록

ChatGPT가 세상에 첫발을 내딘 이후 나는 단순한 지적 호기심을 넘어서는 강렬한 끌림을 느꼈다. 이전까지의 기술은 늘 보이지 않는 한계에 가로막히곤 했지만, ChatGPT는 무한한 가능성의 문을 여는 열쇠처럼 보였다. 합리적이고 효율적인 아이디어만 있다면 무엇이든 창조해낼 수 있다는 확장성이 그 속에 담겨 있었다.

나는 한 분야만을 평생 파고드는 학자의 길을 걷지는 않는다. 하지만 그렇다고 겉핥기식으로 지식을 흉내내는 사람도 아니다. 세상에는 깊이 탐험하고 싶은 기술들이 너무나 다양하게 펼쳐져 있어, 어느 하나에만 머무르기에는 그 매혹이 너무도 크다. 그래서 나는 원리를 이해하고 직접 구현하기 위해 부단히 공부하고, 개발에 힘쓴다. AWS 프로페셔널 자격을 취득할 정도로 끊임없이 실력을 갈고닦으며, 기술의 본질을 파고든다.

나의 방식은 시작부터 끝까지 스스로 구축할 수 있는 기반을 다진 뒤, 더 정교한 부분은 뛰어난 동료들과 협력하여 완성해가는 것이다. 마치 스티브 잡스나 일론 머스크처럼 다양한 기술을 조합해 새로운 가치를 창출하는 혁신가의 길을 걷는다. 기존의 기술을 새롭게 엮어 사람들의 삶을 더 편리하고 풍요롭게 만드는 것... 그것이야말로 기술이 지닌 진정한 힘이라고 믿는다.

“기술과 현실의 효율적인 통합..." 이것이 나를 정의하는 핵심이다. 첨단과 혁신이 공존하는 이 시대에서, 나는 기술의 가능성을 엮어 새로운 도약을 꿈꾼다. 이해를 넘어 창조로, 아이디어를 넘어 실천으로. 기술이 품은 무한한 가능성을 현실로 만드는 것, 그것이 내가 추구하는 가치다.

기존의 1세대 챗봇들은 단순히 질문 유형을 예측하고 미리 정해진 답변을 제공하는, 사실상 '룰베이스 봇'에 불과했다. 이들은 글자 간의 유사도를 분석해 의도를 파악하는 벡터값에 의존했지만, 그 과정에서 '이해'나 '인지'라는 개념과는 거리가 멀었다. 사용자가 비슷한 문장을 반복해서 입력해야만 비로소 원하는 답을 얻을 수 있는 방식이었다.

처음에는 이런 챗봇들이 신기했고, 여러 3rd party 시스템과의 연계를 통해 무한히 확장할 가능성이 있지 않을까 기대하기도 했다. 하지만 의도를 단순한 유사도 분석에만 의존하는 이 방식은, 도메인 지식이 확장될수록 명확한 한계에 부딪혔다. 복잡하고 다양한 질문이 늘어나면서 정해진 규칙만으로는 더 이상 사용자 의도를 정확히 파악할 수 없었고, 시스템의 성능은 금세 한계를 드러냈다.

나는 비즈니스 운영의 효율성까지 고려하여, 체계적인 지식 관리 시스템을 설계하고자 했다. 이를 위해 Dialogflow의 NLP를 활용하여 사용자의 의도를 데이터베이스의 Primary Key로 변환하고, 내부 지식과 연결된 인터페이스 로직을 구현했다. 이 접근법은 정교하고 실용적이었으며, 당시 1세대 챗봇들이 보여준 단순한 기술 시연을 넘어 실질적인 업무에 적용될 수 있었다.

그러나 기술적 성취에도 불구하고, 무한한 확장성이라는 벽은 여전히 존재했다. 기술의 한계가 드러날 때마다 새로운 가능성을 찾아야 했고, 더 나은 아키텍처를 고민하며 시스템을 끊임없이 진화시켰다.

대부분의 1세대 챗봇들은 화려한 기술력을 뽐내는 데 그쳤고, 금융권의 일부 기능성 챗봇을 제외하면 실질적인 성과로 이어지지 못했다.

하지만 우리가 개발한 챗봇은 실용성과 확장성 모두를 고려한 결과, 최근 2024년 KMAC 평가에서 전체 산업군 중 가장 높은 점수를 받으며 S등급을 획득했다. 이는 단순한 기술적 성과가 아닌, 체계적으로 설계된 아키텍처와 이를 이해하고 현장에서 성공적으로 운영한 유저 부서의 노고가 합쳐진 결과였다.

기술은 결국 사람을 위해 존재한다. 아무리 뛰어난 시스템도 이를 이해하고 효과적으로 활용하는 사람이 없으면 무용지물에 불과하다. 이 자리를 빌어, 기술의 한계를 함께 극복해준 유저 부서에 진심으로 감사의 마음을 전한다. 그들의 협력과 이해가 없었다면, 우리가 꿈꾸던 챗봇의 성공은 불가능했을 것이다.

각설하고, 다시 GPT로 돌아가 보자. ChatGPT가 처음 세상에 모습을 드러냈을 때, 나는 일순간 혼란과 기대 사이에서 서성였다. 기존의 1세대 챗봇들이 보여주던 정형화된 답변과 한정된 패턴은 이제 지겨울 정도로 익숙했다. 그들은 벡터값으로 의도를 흉내내는 데 급급했고, 도메인이 조금만 넓어져도 시스템은 무력하게 무너졌다. 하지만 ChatGPT는 그 첫 대화에서부터 뭔가 다르게 느껴졌다.

마치 난해한 곡선을 그리던 확률의 영역이, 어느 순간 부드럽고 일관된 흐름을 찾아 안정화된 듯했다. 그것은 최적을 찾을 수 없는 혼돈 속에서도 길을 잃지 않는, 마침내 균형을 잡은 AI였다. 한 마디 한 마디를 뱉는 느낌이 달랐다. 그냥 단순한 키워드 매칭이 아니라, 수많은 언어의 조각들이 얽히고설켜 그중 가장 자연스러운 답이 튀어나오는 듯했다. 마치 갓 말을 배우는 아이가, 단어에서 문장으로 성장하며 세상의 확률과 가능성을 체득하는 느낌이랄까.

대화를 나누면서 맥락을 이해하고, 기억을 유지하며, 나의 의도를 읽어내는 그 기술적 깊이 앞에서 나는 잠시 말을 잃었다. 이건 단순한 '기술'이 아니었다. 오랜 시간 동안 그려왔던, 그리고 기다려왔던 인공지능의 다음 단계가 눈앞에 펼쳐진 순간이었다.

처음엔 얼떨떨했다. 정말 이게 가능한가 싶어서 가볍게 몇 가지 실험을 던져보았다. “과연 창의적으로 글을 지어낼 수 있을까?”라든가, “이전 문맥을 기억하고 이어서 답할 수 있을까?” 하고 테스트를 반복했다. 놀랍게도, 그럴 때마다 ChatGPT는 흔들림 없이 나의 기대를 뛰어넘었다.

어느 순간, 불현듯 확신이 찾아왔다. 그건 마치 어두운 터널 끝에서 찬란한 빛을 본 것 같은 순간이었다. "이걸 기존 서비스에 연결하면 어떨까?"라는 생각이 스쳐 갔다. 새로운 가능성의 물결이 머릿속을 가득 채웠다. 정적이고 무의미하던 시스템들이 이 기술과 결합하면, 이제껏 보지 못한 혁신이 일어날지도 모른다는 흥분이 온몸을 감쌌다.

그렇게 나는 ChatGPT와의 첫 만남을 통해, 기술의 한계를 넘어선 새로운 시대의 서막을 보았다. 마치 오래전 인류가 불을 발견했을 때처럼, 이 발견이 또 다른 혁신의 불씨가 될 것이라는 예감이 들었다.

회사에서 쌓아온 AWS 기반 인프라 운영 경험, 그리고 백엔드와 프론트엔드를 아우르는 폭넓은 이해, DevOps에 대한 실무 능력은 이 순간 진가를 발휘했다. 그동안 사내 시스템을 구축하고 운영하며 익힌 감각 덕분에 어떤 리소스를 어디에 배치하고, 어떻게 연동해야 효율적인지 금방 파악할 수 있었다. AWS EC2에 Node.js로 백엔드를 올리고, 간단한 프론트엔드 코드로 ChatGPT API와 연결하는 과정은 생각보다 막힘없이 진행됐다.

복잡한 프레임워크에 얽매이지 않고 필요한 기능만 직접 얹어가며, 불과 몇 시간 만에 프로토타입 챗봇을 완성할 수 있었다. 그 뒤, 우리 팀의 ‘10분 스피치’ 시간이 다가왔다. 일주일에 한 번씩 개인 역량 강화를 위해 돌아가며 발표를 하는 자리다. 이 좋은 기회를 놓치고 싶지 않았다. 프로토타입 챗봇을 팀원들 앞에서 시연했을 때, 예상치 못한 반응이 돌아왔다.

“정말 ChatGPT를 직접 구현한 거야?”

사람들의 놀라움과 호기심 가득한 표정들을 보며, 오랜만에 남들이 해보지 않은 무언가를 해냈다는 설렘을 느꼈다. 하지만 그 순간의 성취감은 더 큰 도전의 불씨를 지폈다.

프로토타입 아키텍처

gpt-3.5-turbo를 활용한 챗봇

보안을 위해서 AWS에서 파운데이션 모델들을 FMs 통합하여 사용할 수 있도록 제공하는 완전관리형 서비스 베드락을 통해 보안 또한 유지가능한 모델을 고민해 보았다.

현재는 sonnet 3.5 사용 중인데, 감회가 새롭다

당시에는 모든 것이 가능해 보였고, 새로운 가능성의 문턱 앞에 서 있다는 느낌이 강렬했다. 이런 열정과 도전이 나를 더 나은 개발자로 이끌었고, 기술의 한계를 넘어서기 위한 동력이 되었다. 겸손함 속에서 더 나은 미래를 바라보며, 함께 고민하고 성장할 수 있는 좋은 팀이 있다는 것에 감사함을 느꼈다.

기다려라 GPT

그러던 중, OpenAI가 플러그인 기능을 발표했다. 모델의 확장성을 극대화하고 외부 서비스와의 연동을 지원하는 이 기능은, 그동안 내가 고민해왔던 문제들에 대한 해답이 될 수 있을 것 같았다. 기존 챗봇 운영에서 느꼈던 한계나 아쉬움들이 플러그인을 통해 개선될 수 있으리라는 기대감이 커졌다.

망설일 이유가 없었다. 나는 회사 계정으로 플러그인 개발자 신청서를 작성하며, 그동안의 챗봇 운영 경험과 기술적 역량을 자신 있게 어필했다. AWS 기반 인프라 운영, 백엔드·프론트엔드의 폭넓은 이해, DevOps 실무 경험 등 내가 쌓아온 기술 스택과 실적이 충분히 뒷받침될 것이라 믿었다.

신청서를 제출하면서 빠른 승인을 기대했다. 기술의 흐름을 읽고 적시에 대응한 만큼, 새로운 기회가 열리리라는 확신도 있었다. 그동안의 노력이 또 한 번 결실을 맺고, 한 단계 도약할 수 있는 발판이 될 것만 같았다.

하지만 한 달이 지나도록 아무런 응답도 오지 않았다. 인플루언서나 유명 유튜버들이 플러그인 승인을 받았다는 소식만 흘러들어왔고, 내 신청은 여전히 묵묵부답이었다. 그 무렵, 회사에서는 보안 이슈를 이유로 4월 28일부로 ChatGPT 사용 금지령을 내렸다. 그 결정은 나에게 더 큰 타격으로 다가왔다. 회사 계정에 남아 있던 유료 크레딧과 개발 데이터들은 아무런 예고 없이 날아가 버렸고, 허탈함과 실망감은 분노와 뒤섞여 마음 한구석을 무겁게 짓눌렀다.

하지만 이대로 물러설 수는 없었다. 실패와 실망은 되돌릴 수 없었지만, 나의 열정과 확신만큼은 포기하지 않았다. 6월 8일, 나는 다시 한 번 플러그인 신청서를 제출하며, 이번엔 직설적인 의견을 남겼다.

"내가 직접 OpenAI 플러그인을 사용해 보았습니다. 솔직히 기대에 한참 못 미칩니다. 이대로라면 사용자들의 실망이 OpenAI의 브랜드 가치에도 부정적 영향을 미칠 수 있습니다. 만약 저에게 플러그인 개발 권한을 준다면, 훨씬 더 나은 결과물을 보여줄 자신이 있습니다."

쓴소리였지만, 진심이었다. 단순한 비판이 아니라, 개선할 수 있는 자신감과 책임감에서 나온 말이었다. 내가 겪은 한계와 좌절은 나만의 문제가 아니었다. 더 나은 기술과 사용자 경험을 꿈꾸는, 같은 길을 걷는 이들에게 도움이 될 수 있다는 확신이 있었다.

때로는 시스템의 문턱에 가로막히기도 하고, 보이지 않는 장벽에 부딪히기도 하지만, 그럴 때마다 나를 지탱하는 것은 포기하지 않는 끈기와 솔직함이었다. 기술이든 사람이든, 결국 진보는 이런 직설적이고 진지한 피드백에서 시작된다는 믿음을 나는 여전히 품고 있었다.

뜻밖에도, 그로부터 약 일주일 후인 6월 16일, 플러그인 개발자 승인 메일이 도착했다. 화면에 뜬 ‘승인’이라는 단어를 확인하는 순간, 나도 모르게 피식 웃음이 나왔다.
"역시 사람이나 AI나, 좋은 말보다 독설이 더 귀에 잘 들어오는 걸까?"

그런 농담 섞인 생각이 머릿속을 스쳤다. 하지만 농담은 잠시, 이 메일은 그 이상이었다. 드디어 내가 그토록 구상해왔던 것들을 현실로 옮길 수 있는 기회가 눈앞에 펼쳐진 것이다.

역시 비난이 젤 빠른길인가

이 승인 메일은 단순한 허가가 아니었다. 지금까지 쌓아온 기술적 기반과 AWS 인프라 운영 노하우, 그리고 수많은 시행착오 끝에 얻은 감각을 총동원할 수 있는 새로운 출발점이었다. 단순한 챗봇이라는 한계를 벗어나, 기술이 가진 무한한 확장성을 확인하고 싶었다.

이제 모든 퍼즐 조각이 맞춰지는 느낌이었다. 인프라와 백엔드 개발에서부터 프론트엔드 설계, DevOps 운영까지 모든 경험과 역량이 하나의 흐름으로 이어졌다. 내가 그려온 그림이 단순한 상상이 아닌, 실현 가능한 혁신으로 다가오고 있었다. 눈앞에 놓인 것은 더 이상 막연한 가능성이 아니었다. 그것은 내가 직접 구현하고 개선해 나갈 수 있는, 분명하고도 도전적인 현실이었다. "이제 시작이다." 마음속에서 울림처럼 번지는 이 다짐은, 오랜 시간 기다려온 결실이자 새로운 도전의 서막이었다.

ChatGPT가 나온 이후 나의 기록