기업용 AI 에이전트 툴 비교분석과 실효성 알아보기
RAG 기반의 AI 에이전트들. Glean, Contextual AI 외
얼마 전 대표님과의 1on1에서 '나중에는 회사 전반의 규정이나 복지, 브랜드 가치나 핵심철학, 제품의 주요 특징과 고객사가 자주 묻는 질문 등. 전 팀원들이 사용할 수 있는 전사 통합 AI를 만드는 것도 좋을 것 같다'라는 말씀을 주신 적이 있습니다. 당시에는 '그래 때가 되면 할 수 있겠지'정도로 넘겼는데 이상하게 계속 '아 지금도 시작할 수 있을 것 같은데.. 분명 몇천만 원 드는 구축형이 아니어도 방법이 있을 텐데'같은 생각이 머릿속을 떠나지 않는 겁니다.
그때부터 잠시 멈추고 있던 SaaS 트렌드들을 다시 수집하며 올해 가장 주목받고 있는 AI 기능을 가진 SaaS 툴에 대한 내용을 공부하기 시작했는데, 역시나 스타트업, 중소기업도 많으면 백만 원, 적으면 월 몇만 원 단위 비용으로도 도입할 수 있는 방법이 있었습니다.
저는 업무 자동화에 관심이 많다 보니 검색 도구로서의 AI - 챗GPT, 구글 Geminai, Claude, MS Copilot과 에이전트 AI 슬랙, 노션, 구글, MS와 같은 대중적인 툴은 모두 사용해 봤고, 마케팅에 도움이 되는 툴은 꾸준히 사용하고 있습니다. 그렇다 보니 각 AI 들의 특징도 자연스럽게 알게 되어 업무에 있어 유용한 방향으로 잘 이용할 수 있게 되었죠.
그래서 오늘은 제가 주말 간 공부한 내용과, 직접 사용하고 있는 경험담을 기반으로 기업 전용 비서 또는 우리 팀만의 AI Agent(에이전트)를 만들기 위해 선택해야 하는 툴들의 특징과 실효성에 대해 이야기해보려 합니다.
AI Agent(에이전트)라는 개념부터 집어볼게요
AI 라는 개념이 지금 같지 않던 시절 기업들은 AI를 사람의 보조도구로 인식시키기 위해 어시스턴트(구글 어시스턴트), 스피커(알렉사, 기가지니 등.) 등의 표현을 사용했습니다. 비서 or 에이전트라는 말을 AI에 붙여 사용하기 시작한 건 얼마 안 됐어요. 특히 요즘은 AI 비서와 더불어 에이전트라는 표현으로 범위가 전문영역을 지닌 용어로 고도화되고 있고 있습니다.
그럼 AI 에이전트는 무엇을 뜻할까요? 공상 과학 영화에 등장하는 유명 등장인물들을 떠올리면 이해하기 쉽습니다. 가장 유명한 건 아무래도 스타워즈의 R2D2, C-3PO가 있겠죠. 또, HER(그녀)의 스칼렛 요한슨이 맡은 AI 컴퓨터 비서도 AI 에이전트라고 할 수 있습니다.
스타워즈를 보면 3PO와 R2D2의 사용/출연 범위가 꽤 넓습니다. AI라는 개념 자체가 낯설었던 그 시절에도 인공지능이 탑재된 기계의 활용도는 높을 것으로 보았나 봅니다. 두 등장인물은 스톰 트루퍼들을 물리 치기 위해 공격을 하기도 하고, 암호화된 정보를 기록하고 있다가 인증된 사용자 앞에서만 그 정보를 보여주기도 하고, 또 사람의 간단한 요청사항들을 그 즉시 처리해 주기도 합니다. (물을 떠 오거나, 음식을 가져오거나, 쓰레기를 버리는 등)
이 사례에서 알 수 있듯이 AI 에이전트는 사람의 요구 사항에 맞추어 필요한 것을 처리하고 행동으로 옮기는 역할을 소화하는 인공지능을 말한다고 볼 수 있습니다.
슬랙, 노션, GWS, MS..
단일 협업툴을 쓰지 않는 이상 AI 에이전트 활용도는 떨어진다
챗GPT를 포함해 다양한 AI 검색 도구들이 불과 2-3년 전 보다 훨씬 나은 응답률을 보여주기 시작하면서, 이제 실무에서는 팀이나 연차에 구분 없이 다양한 용도로 사용하고 있습니다. (최근 GPT에서도 Agent 기능을 발표하기도 했죠.) 이와 더불어 AI Agent(이하 AI 에이전트)의 사용도 늘어가고 있는 추세인데요. 다만, 일반적인 AI 검색도구와는 달리 AI 에이전트가 기업에서 효율적으로 사용되려면 몇 가지 조건을 충족해야 합니다.
기업 내에서 AI 에이전트가 실제로 도움이 될 수 있는 조건
1) 업무용 메신저 또는 그룹웨어 등. 실무자들의 실시간으로 정보가 모여야 하는 곳에서 이루어져야 한다.
2) 업무 기록들이 휘발되지 않고 히스토리를 확인하며, 저장되는 공간이어야 한다.
: 이 부분에서 우리가 쉽게 떠올릴 수 있는 에이전트는 슬랙, 노션, 제미나이, 코파일럿이 있습니다. 다만 각 툴들은 제한된 공간 즉, 툴 내에서의 AI 기능만 소화합니다.
그렇다 보니 여러 툴을 동시에 사용하는(슬랙+노션, 슬랙+GWS) 조직에서는 실효성이 떨어질 수밖에 없죠. 또, 슬랙, 노션에서는 AI 기능을 사용자 당으로 요금을 청구하기에 '한 번 써보기나 하지 뭐!'하고 도입하기도 어려운 금액이고요. (만약, M365와 함께 팀즈를 쓰는 조직이라면 MS의 코파일럿을 한 번에 사용할 수 있겠네요. 그렇지만 기업용 계정에서는 이 또한 사용량 기반이 아닌 유저당 과금이기에 비용 부담이 만만치 않습니다.)
이 외에도 국내에서 대표적인 기업형 AI 에이전트 사용사례 라고 하면 삼성 SDS나 금융사가 자체 개발로 사용하고 있는 구축형 에이전트가 있을 겁니다. 사실 요즘이 SaaS 툴을 활용하는 AI 에이전트가 상용화되고 있는 시기는 아니긴 해요. 상용화되고 있지 않다 보니 더 선택 옵션이 없고 요금이 비싸게 느껴질 수밖에 없는 거죠.
또, 사용해 보신 분들은 알겠지만 구글의 제미나이 에이전트와 코파일럿 에이전트는 응답 정확도가 높지 않습니다. 아직 실무에서 적극적으로 사용하기에는 무리가 있죠. 검색 도구로서의 AI 정확도는 각 나름의 매력을 가지고 있지만. 에이전트로서는 아직 많은 부분을 학습 중에 있는 단계라는 걸 느낄 수 있습니다.
내가 사내용 AI 에이전트 구축을 시작하기 위해 우선순위로 고민한 것
이런 상황에서 저는 몇 가지 우선순위를 중심에 두고 AI 에이전트들을 실제로 사용하며 장단점을 추렸습니다. 어느 툴이 우리 팀에 제일 잘 맞는지 알아보기 위해서요.
위에서 소개드린 익숙한 형태의 AI 에이전트들의 구동 방식은 모두 'RAG (Retrieval-Augmented Generation)'입니다.(노션AI는 일부만 RAG를 지원) RAG 방식은 즉, 저장되어 있는 텍스트나 문서의 내용을 기반으로 AI에게 '너 이 내용들을 모두 기억하고 있다가, 질문이 들어오면 취합해서 답변해 줘'라는 식의 요청-응답을 하는 수순이에요. 그런데, 슬랙 노션과 같은 툴들에서는 자신들이 보유한 데이터 기반에서만 가능합니다. 답변 시 다른 툴의 데이터를 참고할 수 없죠.
다른 툴의 데이터를 확인하려면 수동 업로드를 하든, 다시 해당 툴 포맷에 맞는 형태로 데이터를 재저장 하는 절차를 거쳐야 해요. 실시간으로 규정이나 환경이 변하는 스타트업 특성상 정적인 정보들로 이루어지는 AI 에이전트는 반쪽자리에 불과합니다. 당장 도입한다고 해도 실 사용성이 낮아요. 저는 바로 도입은 미루어도 장기적으로 봤을 때 조직 전반의 효율을 끌어올리는 에이전트가 더 필요하다고 보았고, 이에 몇 가지 우선순위를 세웠습니다.
IT 스타트업 및 중소기업에 알맞은 AI 에이전트 도입 우선순위
1) (제일 중요한) 사용자 수 기반이 아닌 사용량 당 과금일 것
2) 매일 소통하는 슬랙(업무 메신저)에서 봇을 통해 궁금한 점을 물어보고 답을 받을 수 있을 것
3) 슬랙과 함께 GWS(공용 드라이브) 내 문서들을 실시간 성으로 읽을 수 있을 것
4) 나아가 노션 내 문서를 읽을 수 있을 것
5) 프로덕트 자체가 비전이 장기적이고, 구체적이며 탄탄할 것
6) 보안이 까다로울 것
7) SDK 등 개발자가 상황에 따라 유연하게 재조정할 수 있을 것
이 중 '가격모델'을 가장 우선했던 이유는 구성원들이 매일 같이 AI를 사용해 질문을 하지 않는다는 점 때문이었습니다. 그래서 사용자당 과금 모델은 매우 비효율적이라고 봤어요. (이건 저희 팀만의 특징이라서 다른 팀에서는 다르게 적용될 수 있겠습니다.)
또, 주로 사용 중인 업무 툴 2개 슬랙 + GWS를 실시간으로 동기화해 에이전트가 답변할 수 있어야 한다는 점을 우선으로 둔 점은, 하나의 툴 안에서만 에이전트가 작동할 거면 그냥 슬랙 AI 또는 그냥 GWS 제미나이 유료 버전 등을 사용하면 됐기 때문입니다. 하지만 이 두 개의 툴은 목적과 사용도가 다르기에, 이 툴들을 모두 소화할 수 있어야 했습니다. 나아가 다른 툴과의 자유연동성도 지원하면 좋았고요.
이렇게 우선순위를 정하고 찾아봤을 때 사용자 당 과금이라는 점 외에 걱정 없이 시작할 수 있는 툴로는 Glean이 있었습니다. 이 툴을 도입하면 바로 우리 회사만의 AI 에이전트를 구축하는 데 무리가 없었죠. 실제 실무에서 사용도가 높은 에이전트로요. 다만, 사용자 당 과금이기에 Glean 도 도입을 망설일 수밖에 없었습니다.
여러 협업툴을 쓰고 있는 조직을 위한, RAG 기반의 AI 에이전트 툴 비교분석
Glean
- 특징 : 2025년 기준 AI 에이전트 툴 시장 1위. 데모를 진행하려면 미팅 일정을 잡아야 함. 직접 체험 불가 GWS/MS 뿐만 아니라 젠데스크 세일즈포스 및 기타 업무별 대표격의 툴들의 데이터 연동이 모두 가능함
- 가격모델 : 사용자 수 기반
- 기업 규모 적합성 : 중견 - 대기업형 가격모델
- 장점
슬랙/팀즈/GWS/MS 등 어떤 툴 내의 정보도 실시간성으로 가지고 오며 해당 정보들이 모두 AI Agent에 반영됩니다. RAG 기반 + API 호출로 웬만한 협업툴의 정보를 읽어옴
- 단점
직접 체험이 불가하며 통합 연결 기능을 지원하는 만큼 총비용이 높다는 점, 대기업형 규모에 적합함
Contextual AI
- 특징 : 사용량 당 과금이라는 가격 모델을 채택하고 있고, 응답 답변의 퀄리티가 매우 높습니다. 일반적인 텍스트 - 출력 기반의 AI가 아닌, 저장된 문서의 내용을 읽고 응답을 부드럽게 표현합니다. 다만, 현재는 Glean과 같은 다수 툴과의 통합 연결을 지원하지 않습니다. API 및 SDK를 통해 자체개발로 연결은 가능합니다.
- 가격모델 : 사용량에 기반하며 매우 세밀하게 조정해 둠 (AI가 문서 몇 개를 훑었는지, API 호출을 몇 번 했는지, 응답의 길이, 응답 만족도 등)
- 기업 규모 적합성 : 모든 규모에 적합
- 장점
가격모델 측면에서 가장 합리적입니다. 또, 개발 로드맵 및 주요 업데이트 예정 사항들을 지속적으로 공유하고 있어, 어떤 기능이 반영될 것인지 알 수 있습니다. 응답의 퀄리티가 뛰어납니다.
- 단점
25년 7월 기준 슬랙 봇이 없습니다. 서포트팀 문의 시 개발 대기 중으로 곧 업데이트될 것이라 전달받기는 했지만, 슬랙이나 팀즈 등에서 소환을 통해 내용을 물어볼 수 없고 (이 또한 자체 개발을 통해서는 가능) 타 업무용 툴의 등의 실시간 성 메시지들을 읽지 않습니다. 이 또한 개발 로드맵에 반영되어 업데이트될 부분으로 전달받았습니다.
Guru
- 특징 : RAG 기반의 AI 에이전트. 슬랙봇을 통해 구성원들은 실시간으로 질문을 하고 저장된 문서 내용을 기반으로 답변을 받을 수 있음.
- 가격모델 : 사용자 수 기반
- 기업 규모 적합성 : 스타트업, 중소 - 중견기업
- 장점
슬랙에서 앱을 추가하면 구성원들이 손쉽게 질문을 하고 답을 받을 수 있습니다. 질문을 하면 여러 형태로 어떤 답을 원하는지 카드들을 나열해 주는데, 해당 답 중 하나를 선택해 답을 받으면 됩니다. 사용자 수 기반이나 유저 당 요금이 높지 않아 스타트업도 사용하기 무난합니다.
- 단점
역시, 사용자 수 기반이라는 점과 현재는 답변의 정확도나 결과 데이터 값이 100% 저장해둔 파일에 의존한다는 점이 있습니다. 슬랙 봇이 개발되어 있고, 바로 실무에 적용할 수 있겠으나 답변 측면에서는 contextual ai 보다 정확도가 떨어집니다.
Onyx
- 특징 : 저장된 문서를 기반으로 응답하는 AI 에이전트입니다. 초기 제품으로 계속해서 기능 고도화 중에 있습니다.
- 가격모델 : 무료 버전을 지원합니다. 사용자 당 과금입니다.
- 기업 규모 적합성 : 개인 및 스타트업
- 장점
저렴한 가격으로 간단한 qna를 구성하는 봇을 슬랙에서 바로 사용할 수 있습니다.
- 단점
출시된 지 얼마 되지 않아 많은 부분의 고도화가 필요합니다. 다만 간단한 질문/응답 형식으로의 활용은 좋습니다.
AI 에이전트 산업 상용화에 대한 소소한 예측
AI 에이전트 분야는 지금이야 가격 모델이 높을 수밖에 없다고 생각해요. AI 시장 자체가 궤도에 올랐다고는 하지만, AI 응답 하나를 돌리기 위해 들어가는 돈과 서버 유지비 등을 감안했을 때 여전히 안정화 된 시장은 아니니까요. 그래서 많은 곳들이 사용자 수를 기반으로 가격을 책정하는 것도 그 이유겠지요.
AI 에이전트는 슬랙과 같이 모든 직원들이 매일 같이 접속하여 업무를 기록하고 팀원과 소통하는 그런 툴이 아니잖아요. 말 그대로 에이전트. 필요할 때 소환하여 사용하는 용도입니다. 모든 직원들이 매일 같이 AI에 질문을 하지는 않을 거라는 말이죠.
그래서 어느 정도 안정화 단계에 들어서면 AI 에이전트 툴들의 가격 단가도 사용자 당이 아닌, 사용량 기반의 과금이 되지 않을까 생각하고 있습니다. 더 나아가서는 지금의 Glean과 같은 고사양 기능의 툴의 가격플랜도 대중 적인 요금제가 출시 되겠죠. (스타트업/중소기업형 가격플랜을 추가) 허브스폿이 스타터 플랜을 운영하고 있는 것처럼요.
마치며
Open AI의 CEO 샘 올트만이 최근 인터뷰에서, '신기술의 등장은 매번 사람들을 공포에 떨게 한다. 20년 전 엑셀이 세상에 처음 나왔을 때도 많은 사람들이 실직할 것이라고 예측했으나 지금 돌아보면 말도 안 되는 소리'라고 전하며 'AI가 상용화되어가는 현재와 미래 일자리의 변화는 있을 수 있겠으나 그것이 일자리를 줄일 것으로 보지는 않는다'라고 말했습니다. 더불어 '과거 피자나 햄버거를 먹으며 남부럽지 않은 부를 창출할 수 있는 시대가 올 것이라고 생각이나 했겠냐, 일자리는 시대에 따라 변하는 것'이라고 덧붙였습니다.
이 인터뷰를 꽤 인상 깊게 보았는데, 대부분의 언론보도와 더불어 전문가 의견들은 'AI는 미래 세대의 일자리를 줄이고 위협할 것이다. 우리는 인공지능에 대비해야 한다'와 같은 메시지를 전하고 있으니까요. 기업의 오너이기에 악영향을 끼칠 수 있는 말을 하지 않는 다는 것은 알지만, 제게 AI에 대해 다른 시각으로도 생각해볼 수 있는 계기를 주었습니다.
위의 말씀 드린 후보군 중 저는 Contextual AI를 사내용 AI 에이전트로 테스트 하고 있습니다. 서포트팀에 문의 해서 곧 슬랙봇 서비스 예정, GWS / SLACK / 노션 등의 실시간 호출을 준비중이다 라는 부분을 들었기에, 해당 기능을 지원해도 사용자 당으로 과금하지 않는다면 ... 충분히 스타트업, 중소기업도 비용 부담을 낮춰 똑똑한 사내용 AI 에이전트를 만들 수 있다고 보고 있습니다.
저는 AI 산업의 고관여 관심 고객군이 아닙니다. 그저 '업무 효율'과 '팀의 생산성 향상'에 높은 관심이 있는 소프트웨어 마케터일 뿐이에요. 이런 기업의 효율과 생산성 향상에 중심에 AI가 있는 것은 이제 부정할 수 없는 사실이다보니. 업무에서 AI를 어떻게 활용해야 좋을까를 매일 고민하고 있습니다.
여러분은 어떤 툴을 통해 사내 AI 에이전트를 구축하려 하시나요? 또는 AI 에이전트를 구축해 보실 생각이 있으신가요? 사실 어떤 툴이든 정답은 없습니다. 조직의 문화와, 환경 또 실 사용자들의 편의(구성원들)에 가장 잘 맞는 에이전트 구축에 같이 성공하면 좋겠습니다.
