AI 2탄-55. Agent Bedrock-2024
AWS 서밋
아마존 베드락에서 에이전트를 사용해보자.
<1> 회사 서비스 소개 - GS네오텍
<2> QNA 챗봇을 가장 많이 요청함
<3> 실시간 정보를 처리하는 에이전트가 필요하다.
<4> 신규로 에이전트를 생성하는 경우 CDK 사용 권장.
<5> 관리형 RAG에 더하여 추가 기능을 위한 커스텀을 추가 필요.
<6> 에이전트 사용한 셀프서비스 봇 사례- 가상 상담을 지원하는 서비스
<7> 개인 요약
<1> 회사 서비스 소개 - GS네오텍
1
GS네오텍
서비스 3가지 운영 중
AWS 프리미어 티어 파트너
Cloud기반 컨택 센터 서비스 제공
CDN 서비스 제공
2
GenAI를 기반으로 서비스 제공
산업군의 경계 없이 비즈니스 성공을 위한 서비스 제공
제조 분야
물류 분야
미디어 게임 분야
패션 커머스 분야
<2> QNA 챗봇을 가장 많이 요청함
1
서비스에서 필요로 하는 기능?
여행 - 예약 기능
숙박 - 주소 검색 기능
알림 기능 - 대 고객 안내 기능
2
외부 환경 연동, 실시간 정보가 필요하다.
<3> 실시간 정보를 처리하는 에이전트가 필요하다.
1
RAG만으로는 실시간 문제 처리가 안된다.
업로드한 문서까지만 최신 정보를 가진다.
실시간 정보가 필요한경우는 에이전트를 사용해야 한다.
2
에이전트?
ReAct는 외부 환경과 내부 환경을 결합하여 서비스가 되도록 한다.
3
Agents for Amazon Bedrock 특징?
한글을 지원하는 Claude 모델 지원.
Knwoledge Base와 통합 가능.
가드레일 설정 가능
4
Agents for Amazon Bedrock 동작 ?
사용자 입력이 에이전트로 입력 한다.
프롬프트 지시등을 결합해 LLM에 전달.
오케스트레이션 과장을 거침 - 어떤 작업을 해야 할지 로프를 돌게 된다.
결과 값 반환.
사용자 입력과 결과를 LLM에 전달.
LLM이 답변을 한다.
<4> 신규로 에이전트를 생성하는 경우 CDK 사용 권장.
1
CDK가 람다함수, OpenAPI 스키마, Agent 서비스 역할, Bedrock Agent 모두 지원함.
AWS Generative AI CDK Constructs | generative-ai-cdk-constructs (awslabs.github.io)
2
Lambda Web Adapter 사용하여 기존 백엔드와 Agent의 긴밀한 연결이 가능하다.
기존 백엔드가 구성되어 있는 경우. 오픈 소스 툴을 통해 Agent와 통합.
HTTP를 지원하는 모든 웹서버에 대해 코드 변경을 거의 하지 않고 Lambda로 마이그레이션
GitHub - awslabs/aws-lambda-web-adapter: Run web applications on AWS Lambda
<5> 관리형 RAG에 더하여 추가 기능을 위한 커스텀을 추가 필요.
1
하이브리드 서치 제공 필요
기존 시멘틱 서비로는 유사도 기반으로 답변하기 때문에 특정 도메인 용어를 이해하지 못함.
2
메타데이터 기반 필터링 제공 필요
모든 범주에 대해 사용자 쿼리를 처리하기 때문에 대규모 문서의 경우 성능 저하 가능성
3
위 2가지는 Knowledge Base for Amazon Bedrock에서 기능 출시함.
4
쿼리캐싱 필요
모든 질의가 LLM에 전달되어 비용 증가.
<6> 에이전트 사용한 셀프서비스 봇 사례- 가상 상담을 지원하는 서비스
1
에이전트가 작업을 수행함.
제품에 대한 질문 - RAG 사용.
방문을 위한 주소봇 사용
예약 테이블을 업데이트
예약이 완료되면 알람 보냄
2
아키텍처 설명?
에이전트 호출을 위해 APIGW - 람다 사용.
런타임 엔드포인트 연결함.
검색봇
주소봇
다이나모 디비에 예약 업데이트하는 예약봇
sns 전송하는 알리미봇
<7> 개인 요약
GS네오텍에서 GenAI 기반 서비스도 제공한다.
다양한 산업군에서 서비스하고 있다.
고객은 챗봇 서비스를 가장 많이 요청한다.
실제 서비스하려고 보면, 외부 환경 연동과 실시간 정보가 필요하다. 이때 필요한 것이 에이전트이다.
Agent for Amazon Bedrock을 사용하자.
신규로 에이전트 사용 시 CDK를 권장한다.
lambda web adapter로 기존 백엔드와 연결을 수월하게 사용하자.
관리형 RAG에 더하여 추가 기능을 위한 커스텀 추가가 필요하다.
가상 상담 지원 서비스 사례로 실제 어떻게 동작하는지 확인해 보자.
다음
https://brunch.co.kr/@topasvga/3892
