10. AWS 넥슨 에이전트 이용, 인프라 모니터링
<1> Amazon Bedrock은 여러 파운데이션 모델을 쉽게 구축할 수 있다.
<2> 조직 구성과 챗봇 준비
<1> Amazon Bedrock은 여러 파운데이션 모델을 쉽게 구축할 수 있다.
여러 파운데이션 모델이다.
1가지가 아니라, 아마존은 자체 또는 외부 다수의 파운데이션 모델을 사용한다.
2
아마존 베드락에서 제공하는 LLM을 활용하여, 인프라 효율화해 보자.
가능한 것?
서버 자원 할당 최적화
이상 징후 탐지
자동화된 응답 시스템 구축
3
10주간 사내 업무 향상을 목적으로 진행함.
넥슨 인프라가 개선하고 싶은 문제?
이슈 시 내부 백오피스 서비스를 하나씩 확인해야 했다.
많은 시간 소요.
백오피스 서비스를 서로 연계해서 , 연관 정보를 한 번에 쉽게 조회하고 싶다.
4
AWS 프로서비스팀 지원
5
목표
6
서버의 메트릭 데이터는 서비스가 달라도 포맷이 동일하다.
링크 정보를 모은 것을 서비스맵이라고 한다.
메트릭 데이터, 서비스 맵, 이슈관리, 장애 관리를 연결해 보자.
7
10 주간 , 2주 단위, 5번의 스프린트를 진행함.
잘 안된 것?
사용자의 눈높이를 맞추지 못함.
서비스 간 연동 정보 보완 필요
사용자의 눈높이를 맞추지 못함.
속도와 정확도를 높이고자 노력함.
<2> 조직 구성과 챗봇 준비
1
조직 구성
필요한 인원이 한 팀이 됨. 회사 지원 필수!!!!
2
챗봇 준비
3
여러 모델을 테스트해야 함 = 아마존 베드락 사용!!!
4
랭체인에서는 베드락 커넥터를 직접 import 할 수 있다.
LLM에이전트
Tools를 이용해 내부 API 및 벡터데이터에 접근함.
5
리액트 프롬프팅 적용함.
작업 실행
6
챗봇에 적용함.
응답지연, 환각 문제 발행.
개선?
모델 분리 검토
Claude 2.1 = 10s~15s
Claude Instant 3s~5s
검증 결과
할루시네이션은 멀티 에이전트로 확연히 줄어듦
7
결론?
응답시간 30초 -> 10초로 줄임.
새로운 모델이 나오면 반영.
감사합니다.
