AI 2탄-8.AWS-스타벅스, 인공지능 챗봇-2024
AWS AI 사용 사례 30개와 기능들 하나씩 알아봅시다.
<1> 생성형 AI로 하는 것들?
<2> 챗봇의 구성 요소 4가지?
<3> 스타벅스 디지털 혁신
<4> 사이렌 포털이 풀어야 할 요구 사항
<1> 생성형 AI로 하는 것들?
챗봇
이미지 생성
코드 생성
동영상 생성
신약 개발
2
문제?
응답 결과의 신뢰성 문제
자원이 많이 든다. 인재가 필요하다.
저작권, 악용 문제
3
AI 완전 관리형 서비스들을 사용하여 빠르게 만들어보자.
Amazon Q - 빠르게 챗봇을 사용할 수 있다.
Kendra - 검색 증강 생성(RAG)을 빠르게 생성 가능함.
오픈 서치 - 비즈니스 요청에 맞게 검색 증강을 사용 가능.
아마존 베드락 - 여러 파운데이션 모델 사용 가능.
4
스타벅스 프로젝트
3개월 소요
운영 환경에서 사용 가능한 챗봇 만듦.
<2> 챗봇의 구성 요소 4가지?
1
인덱스 파이프 라인?
선가공해주는 파이프 라인.
환각 없이 제공.
스텝 펑션과 람다 수십 개를 띄워 인덱스 하기 좋도록 진행함.
오픈 서치에 저장해 사용한다.
사용 기술 - 스텝펑션 , 람다, 오픈 서치 서비스
2
검색 레이어?
검색 결과를 가지고 , 같이 질문을 하면 환각이 줄어든다.
오픈 서치 서비스 이용
검색 증강 된것을 이용해 파운데이션 모델에 질문하는 것이다.
RAG
3
(저비용, 쉽다) - 프롬프트로 질의한 내용에 대해 답변.
프롬프트 엔지니어링
검색 증강 생성 (RAG)
모델 파인 튜닝
모델 학습
(고비용, 어렵다) - 전문적으로 학습된 결과 제공.
4
React.js 사용
EKS
다이나모DB 사용
참고
FastAPI = 파이썬 기반 웹 프레임워크
https://brunch.co.kr/@topasvga/4116
<3> 스타벅스 디지털 혁신
1
AI 시도함.
The 3rd Eye?
AI 비전 기술을 활용한 매장의 다양한 상황 모니터링함.
바의 정리 필요 여부를 감지하여 매장에 알람을 준다.
매장의 혼잡 상황을 감지하여 히트맵 제공
2
더 사이렌 포털?
매장 = 바리스터, 매니저, 점장이 있음.
본사 = 지원센터.
매장 파트너들의 다양한 질문에 답변이 필요하다.
3
가장 먼저 데이터를 모으는 작업을 진행함.
1차로 시나리오 기반의 챗봇 사용으로 진행함.
문의시 문서를 제공해 줌.
2차로 GEN AI를 사용.
RAG 사용하여 개선함.
1차 27가지 문서로 답변
2차 RAG사용함.
4
프런트 앤드 구성은?
파트너가 사용해야 함.
질문
답변
요약
참고자료가 나옴
피드백 (좋아요/싫어요 클릭하도록 함)
5
첫주 3만 건 질문이 옴.
이후 , 1달에 4만 건.
현재는 95% 매장 관련 질문 들어옴.
정확한 응답이 95%.
6
RAG는 응답이 바로 나올 수 없는 구조.
프롬프트 엔지니어링, 토큰 최적화로 응답 성능을 개선함.
7
250개의 문서를 다시 열어서 정리함.
사이렌 포털에 질문하고, 오답변에 대해 문서 관리자가 Self 문서 업데이트 진행함.
<4> 사이렌 포털이 풀어야 할 요구 사항
1
챗봇 구현 요구 사항
10초 안에 챗봇이 응답하도록 하자.
인덱싱 파이프라인 - 누락, 중복일 경우 문제가 발생한다.
스타벅스가 가진 정보를 사용한 RAG - 영어 단어 축약어, 스타벅스에서만 사용하는 단어 정리
챗봇의 할루시네이션을 제어하도록 운영해야 함.
2
아마존 베드락으로 응답 성능 개선!!!
API 형태 사용.
여러 파운데이션 모델로 테스트하며 개선을 했다. 배드락의 장점.
3
인덱스 파이프라인?
스텝 펑션과 람다로 동시성을 구현함.
선가공 작업.
다음
https://brunch.co.kr/@topasvga/4093
