8.AWS-스타벅스,인공지능 챗봇-2024
<1> 생성형 AI로 하는것들 ?
<2> 챗봇의 구성 요소 4가지?
<3> 스타벅스 디지털 혁신
<4> 사이렌 포털이 풀어야할 요구 사항
<1> 생성형 AI로 하는것들 ?
챗봇
이미지 생성
코드 생성
동영상 생성
신약 개발
2
문제 ?
3
AI 완전 관리형 서비스들
Amazon Q - 빠르게 챗봇을 만들어 볼수 있다.
Kendra - 검색 증강 생성(RAG)을 빠르게 생성 가능함.
오픈 서치 - 비지니스 요청에 맞게 검색 증강을 사용 가능.
아마존 베드락 - 여러 파운데이션 모델 사용 가능.
스타벅스 프로젝트
3개월 소요
운영 환경에서 사용 가능한 챗봇 만듬.
<2> 챗봇의 구성 요소 4가지?
1
인덱스 파이프 라인 ?
선가공해주는 파이프 라인.
환각없이 제공.
스템 펑션과 람다 수십개를 띄워 인덱스 하기 좋도록 진행함.
오픈 서치에 저장해 사용한다.
2
검색 레이어 ?
검색 결과를 가지고 , 같이 질문을 하면 환각이 줄어 든다.
검색이 완성됨.
3
(저비용, 쉽다)
프롬프트 엔지니어링
검색 증강 생성 (RAG)
모델 파인 튜닝
모델 학습
(고비용, 어렵다)
4
<3> 스타벅스 디지털 혁신
1
AI 시도
The 3rd Eye ?
AI 비전 기술을 활용한 매장의 다양한 상황 모니터링함.
바의 정리 필요 여부를 감지하여 매장에 알람을 준다.
매장의 혼잡 상황을 감지하여 히트맵 제공
2
더 사이렌 포털 ?
매장 = 바리스터, 매니저, 점장이 있음.
본사 = 지원센터.
3
가장 먼저 데이터를 모으는 작업.
1차로 시나리오 기반의 챗봇 사용.
문의시 문서를 제공해줌.
2차로 GEN AI를 사용.
RAG 사용.
4
프론트 앤드 구성은 ?
파트너가 사용해야 함.
질문
답변
요약
참고자료나 나옴
피드백 (좋아요/싫어요 클릭하도록 함)
5
첫주 3만건 질문.
이후 , 1달에 4만건.
현재는 95% 매장관련 질문 들어옴.
정확한 응답이 95%
6
RAG는 응답이 바로 나올수 없는 구조.
프롬프트 엔지니어링, 토큰 최적화로 응답 성능을 개선함.
250개의 문서를 다시 열어서 정리함.
사이렌 포털에 질문하고, 오답변에 대해 문서 관리자가 Self 문서 업데이트 진행함.
<4> 사이렌 포털이 풀어야할 요구 사항
1
챗봇 구현 요구 사항
10초 안에 챗봇이 응답하도록 하자.
인덱싱 파이프라인 - 누락, 중복일 경우 문제가 발생한다.
스타벅스가 가진 정보를 사용한 RAG - 영어 단어 축약어, 스타벅스에서만 사용하는 단어 정리
챗봇의 할루시네이션을 제어 하도록 운영 해야 함.
2
API 형태 사용.
여러 파운데이션 모델로 테스트하며 개선을 했다. 배드락의 장점.
3
인덱스 파이프라인?
스텝 펑션과 람다로 동시성을 구현함.
감사합니다.
