AI 11탄-61. 센드버드, AI 챗봇-2024-08
AWS 서밋
센드버드 AI 챗봇 사례를 알아보자~
<1> AI 가 기존의 머신러닝 흐름을 바꾸어 놓았다.
<2> AWS에서는 파운데이션 모델을 아마존 베드락을 통해 제공한다.
<3> Agent를 지원한다.
<4> 센드버드 챗봇 서비스 3가지 제공
<5> 아마존 베드락 사용한 이유 2가지?
<6> 센드버드 아키텍처
<7> 개인 요약
<1> AI 가 기존의 머신러닝 흐름을 바꾸어 놓았다.
1
기존 ML 흐름
데이터 수집 - 전처리 - 모델 학습 등 복잡한 과정을 거친다.
2
파운데이션 모델을 사용한 ML 흐름이 간소화됨.
프로젝트별로 소량의 데이터로 파인튜닝을 할 수 있게 되었다.
= 머신러닝 시간과 비용이 크게 줄이게 되었다.
<2> AWS에서는 파운데이션 모델을 아마존 베드락을 통해 제공한다.
1
아마존 베드락은 다양한 파운데이션 모델을 지원합니다.
현재 7개사 모델을 지원합니다.
2
아마존에서 타이탄 지원합니다. = 텍스트 생성 지원, 이미지 생성 지원
다른 파운데이션 모델도 지원합니다.
3
가능한 것?
텍스트 생성, 텍스트 요약, 질의응답
코딩 생성
이미지 생성
4
엔트로픽, 스테이 빌리티, 메타, 코히어 등 모델을 지원한다.
장점
다양한 모델이지만 단일 API로 사용가능하다!!!
<3> Agent를 지원한다.
고객의 질의, 응답, 주문, 처리도 한다.
기업 시스템과 데이터 소스를 활용해 복합적인 작업을 한다.
사용자의 요청을 분석한다.
<4> 센드버드 챗봇 서비스 3가지 제공
프롬프트 UI 제공
Knowledge Base 제공 - 텍스트 파일, URL , 외부 플랫폼 연동
No-code 위젯지원.
<5> 아마존 베드락 사용한 이유 2가지?
1
다양한 LLM 사용
새로운 LLM 출시되었을 때 아마존 베드락에서 사용가능 해짐.
2
고객의 요청에 따라 모델을 제공가능함
고성능 필요 - Claude3 제공
커스터마이즈 필요고객 - Llama3 제공
<6> 센드버드 아키텍처
아마존 eks에서 처리됨.
아마존 오픈 서치를 통해 어떤 서비스에서 제공하면 좋을지 선택함.
<7> 개인 요약
AI가 기존 머신러닝을 간소화하게 만들어주었다.
프로젝트별로 소량의 데이터로 파인튜닝을 할 수 있게 되어, 머신러닝 시간과 비용을 크게 줄이게 되었다. = 파인튜닝 공부 필요
아마존 베드락을 통해 다양한 파운데이션 모델을 사용할 수 있다.
아마존 베드락은 텍스트 생성, 텍스트 요약, 질의응답, 코딩 생성, 이미지 생성을 제공한다.
에이전트를 지원한다 = 고객의 질의, 응답, 주문, 처리도 한다. 복합적인 작업을 한다. 실시간 처리도 한다.
센드버드가 아마존 베드락을 사용하는 이유? 다양한 LLM사용 가능, 고객의 요청에 따라 모델을 제공가능함.
다음
https://brunch.co.kr/@topasvga/3986
