AI 11탄-8.AWS-스타벅스,인공지능 챗봇-2024
AWS AI 사용 사례 30개와 기능들 하나씩 알아봅시다.
스타벅스의 챗봇으로 업무 효율화 한 사례를 보겠습니다.
<1> 생성형 AI로 하는 것들?
<2> 챗봇의 구성 요소 4가지?
<3> 스타벅스 디지털 혁신
<4> 사이렌 포털 프로젝트
<5> 개인 정리
<1> 생성형 AI로 하는 것들?
챗봇
이미지 생성
코드 생성
동영상 생성
신약 개발
2
생성형 AI 문제?
응답 결과의 신뢰성 문제
자원이 많이 든다. 인재가 필요하다.
저작권, 악용 문제.
3
AI 완전 관리형 서비스들을 사용하여 빠르게 만들어보자.
Amazon Q - 빠르게 챗봇을 사용할 수 있다.
Kendra - 검색 증강 생성(RAG)을 빠르게 생성 가능함.
오픈 서치 - 비즈니스 요청에 맞게 검색 증강을 사용 가능.
아마존 베드락 - 여러 파운데이션 모델 사용 가능.
4
스타벅스 프로젝트
3개월 소요
운영 환경에서 사용 가능한 챗봇 만듦.
<2> 챗봇의 구성 요소 4가지?
1
인덱스 파이프 라인?
선가공해주는 파이프 라인.
환각 없이 제공.
스텝 펑션과 람다 수십 개를 띄워 인덱스 하기 좋도록 진행함.
오픈 서치에 저장해 사용한다.
사용 기술 - 스텝펑션, 람다, 오픈 서치 서비스
2
검색증강?
검색 레이어
검색 결과를 가지고 , 같이 질문을 하면 환각이 줄어든다.
오픈 서치 서비스 이용
검색 증강 된 것을 이용해 파운데이션 모델에 질문하는 것이다.
RAG
3
(저비용, 쉽다) - 프롬프트로 질의한 내용에 대해 답변.
프롬프트 엔지니어링
검색 증강 생성 (RAG)
모델 파인 튜닝
모델 학습
(고비용, 어렵다) - 전문적으로 학습된 결과 제공.
4
챗봇 애플리케이션 스택?
React.js 사용
EKS
다이나모 DB 사용
참고
FastAPI = 파이썬 기반 웹 프레임워크
https://brunch.co.kr/@topasvga/4116
<3> 스타벅스 디지털 혁신
0
스타벅스 멤버십 = 1,200만
하루거래량 = 90만.
1
1차
AI 시도함.
The 3rd Eye?
AI 비전 기술을 활용한 매장의 다양한 상황 모니터링함.
바의 정리 필요 여부를 감지하여 매장에 알람을 준다.
매장의 혼잡 상황을 감지하여 히트맵 제공
2
2차
더 사이렌 포털?
매장 = 바리스터, 매니저, 점장이 있음.
본사 = 지원센터.
매장 파트너들의 다양한 질문에 답변이 필요하다.
많은 직원과 많은 문의와 반복적인 대응
25,000 개 이상의 파트너
200개 이상의 규정과 문서
검색툴의 부재로 반복적인 대응 * 10
3
가장 먼저 데이터를 모으는 작업을 진행함.
1단계로 시나리오 기반의 챗봇 사용으로 진행함.
문의 시 문서를 제공해 줌.
다양해지면서 문제 발생함.
2단계로 GEN AI를 사용.
RAG 사용하여 개선함.
27가지 문서로 답변함.
RAG사용함.
4
프런트 앤드 구성은?
파트너가 사용해야 함.
질문
답변
요약
참고자료가 나옴
피드백 (좋아요/싫어요 클릭하도록 함)
# UI
5
첫 주 3만 건 질문이 옴.
이후 , 1달에 4만 건.
현재는 95% 매장 관련 질문 들어옴.
정확한 응답이 95%.
6
RAG는 응답이 바로 나올 수 없는 구조.
프롬프트 엔지니어링, 토큰 최적화로 응답 성능을 개선함.
7
250개의 문서를 다시 열어서 정리함.
사이렌 포털에 질문하고, 오답변에 대해 문서 관리자가 Self 문서 업데이트 진행함.
<4> 사이렌 포털 프로젝트
0
사이렌 포털이 풀어야 할 요구 사항 4가지??
응답 성능 - 10초 안에 챗봇이 응답하도록 하자.
인덱싱 파이프라인 - 누락, 중복일 경우 문제가 발생한다.
도메인 지식 기반 RAG - 스타벅스가 가진 정보를 사용한 RAG - 영어 단어 축약어, 스타벅스에서만 사용하는 단어 정리
운영 - 챗봇의 할루시네이션을 제어하도록 운영해야 함.
1
응답 성능 개선?
아마존 베드락으로 응답 성능 개선!!!
API 형태 사용.
여러 파운데이션 모델로 테스트하며 개선을 했다. = 배드락의 장점이다.
2
인덱스 파이프라인 개선?
스텝 펑션과 람다로 동시성을 구현함.
선가공 작업.
3
도메인 지식 기반 RAG 적용?
<5> 개인 정리
1
회사 내 데이터를 벡터화하고 검색기까지 올리는 과정을 AWS에서는 인덱스 파이프 라인이라고 한다.
chatgpt에서는 벡터화라고 한다.
2
구축은
애플리케이션 구간과 데이터를 준비하는 벡터화 구간(인덱스 파이프라인) 구간으로 나누어진다.
다음
https://brunch.co.kr/@topasvga/4093
