AWS 48탄-2. Amazon_Bedrock
AWS Innovate AI/ML and Data Edition,트랙1
Bedrock으로 자동 고객 응대 서비스 구축해 보자.
RAG, Fine Tunning 없이 프롬프트 엔지니어링과 AWS 서비스만으로 애플리케이션 생성하자.
<1> 생성형 AI로 할 수 있는 것
<2> 개인화된 고객 경험 제공
<3> 생성형 AI 애플리케이션 개발 라이프 사이클
<4> RAG, 파인튜닝 없이 개발하는 생성형 AI 애플리케이션
<5> 프롬프트 엔지니어링?
<6> Amazon Bedrock 적용 데모 시나리오
<7> 베드락 업데이트 정보
<1> 생성형 AI로 할 수 있는 것
고객 경험 개선
직원 업무 생산성 및 창의성 향상
비즈니스 프로세스 최적화
1
고객 경험 개선
챗봇
가상 어시스텐트
대화 분석
개인화된 고객 경험을 할 수 있게 해 준다.
2
직원 업무 생산성 및 창의성 향상
대화형 검색
콘텐츠 생성
코드 생성
데이터에서 인사이트로
3
비즈니스 프로세스 최적화
문서 처리
데이터 보강
사이버 보안
프로세스 최적화
<2> 개인화된 고객 경험 제공
개인화된 추천 시스템 가능하다.
사용자 : 유명한 락 밴드 듣고 싶어
챗봇 : 비틀스 노래 한번 들어봐~라고 추천해준다.
<3> 생성형 AI 애플리케이션 개발 라이프 사이클
1
범위 설정 (비즈니스에서 유즈 케이스 정의) > 기존 모델 선택 또는 자체 모델 > 성능 평가 및 조정 > 배포
1
범위 설정?
현재 비즈니스에서 어떤 곳에 생성형 AI를 적용할지?
생성형 AI를 이용했을 때 장점?
2
선택
어떤 방식으로 생성형 AI를 이용할지 선택한다.
자체적으로 모델을 만들거나 기존에 있던 기반 모델을 사용하거나 한다.
3
모델 테스트
성능이 괜찮은지, 아니면 조정을 거칩니다.
조정? 파인튜닝, 프롬프트 엔지니어링
성능 평가 및 조정은 반복해서 진행한다.
4
모델 추론
애플리케이션에 모델 추론을 통합하는 과정
5
생성형 AI 스택 3단계로 구성된다.
맨 위는 활용하는 애플리케이션
베드락은 언어 모델을 구축하는 도구에 해당한다.
맨 아래는 추론을 위한 인프라.
베드락은 API로 쉽게 추론 작업을 할 수 있다. = 도구에 해당한다.
6
생성형 AI 사용 시 질문?
어떤 모델을 사용해야 할까?
어떻게 신속하게 개발할까?
모델 학습의 데이터를 어떻게 보호해야 할지?
이를 해결하기 위해 아마존 배드락이 나왔다.
단일 API를 사용
서버리스라 인프라 안전.
데이터 보안과 규정 준수 활성화 가능
내 정보를 기반으로 응답받는 RAG 지원한다.
7
베드락 워크 플로우?
파운데이션 모델을 선택한다 - 플레이 그라운드를 활용
제공하는 파운데이션모델을 사용하거나 특정 기능이 필요하면 파인 튜닝이나 RAG기능을 이용해 애플리케이션 사용할 모델을 만든다.
베드락 API를 사용해 모델에 프롬프트를 보낸다.
응답을 받는다.
<4> RAG, 파인튜닝 없이 개발하는 생성형 AI 애플리케이션
1
RAG?
내부 데이터 학습을 통해 외부의 데이터로 정확도를 높이는 것.
오픈서치 같은 벡터 디비를 사용해 나의 디비를 넣어 놓고, 질의가 들어보면 데이터 베이스의 정보 검색결과는 우선 제공한다.
데이터 베이스 확보 필요.
2
파인튜닝?
특정 데이터셋에 훈련된 데이터를 추가 학습을 하는 것.
답변의 정확도를 높인다.
파인튜닝은 GPU 확보필요
환각을 완화하고 답변의 정확도를 높이기 위해 다양한 방법을 사용한다.
<5> 프롬프트 엔지니어링?
1
프롬프트?
AI시스템에 응답을 유도하는 텍스트 입력 값
2
프롬프트 엔지니어링?
일반적이거나 실시간성이 필요 없는 정보를 이용하는 작업이다.
파운데이션 모델과 거대 언어 모델이 원하는 답변 하도록 NLP(자연어 처리) 기술을 이용해 프롬프트를 만드는 것.
모델의 행동에 대한 정교하고, 전략적인 통제를 프롬프트를 통해 할 수 있다.
프롬프트를 잘 사용하면 모델의 성능을 직접적으로 개선 가능하다.
빠른 시간 안에 적은 리소스로 사용이 가능하다. RAG, 파인튜닝 보다 빠르게 사용가능.
3
프롬프트 구성요소?
지시사항, 맥락, 사용자 입력, 출력 표시.
4
작업 종류?
챗봇
코드 개발
미디어 수정
텍스트 요약, 감정 분석
정책 등 분석 = 텍스트에서 인사이트 찾기 가능함.
<6> Amazon Bedrock 적용 데모 시나리오
목표
고객 리뷰 응답률과 품질을 높여보자.
각 제품 소유자가 고객 피드백을 적극적으로 반영한다.
고객이 구매 전환율을 높인다.
서비스 목표
사람 간의 의사소통을 모방.
고객의 소리를 알림으로 제공
개인화된 추천으로 자연스럽게 유도
고객 데이터를 생성형 AI
데모)
한국어 지원이 가능한 앤트로픽의 클로드 모델 사용
아키텍처 설명
웹사이트 - 프런트
스텝펑션 사용 - 순차적 처리.
첫 람다, 유저를 분석
두 번째 람다, 유저 리뷰를 분석
세 번째 람다, 리뷰를 사장님에게 알림.
진행 1
사장님이 직접 답을 달 시간이 없다.
생성형 AI 가 초안 답변을 작성한다.
사장님이 직접 내용 확인 후 수정 후 답변을 적용한다.
수정하지 않으면 기본 답변이 제출된다.
진행 2
부정적인 리뷰는 알람 전송이 되도록 했다.
베드락을 통해 데모 진행
생성형 AI를 이용해 개인화 방식을 혁신하고 있다.
첫째, 프롬프트 엔지니어링으로 해결할 수 있는지 확인하자.
둘째, 아마존 베드락을 여러 AWS 서비스와 같이 사용해 보자.
<7> 베드락 업데이트 정보
1
Amazon Bedrock 모델 출시
https://aws.amazon.com/ko/blogs/korea/
다음 AI
https://brunch.co.kr/@topasvga/3684
감사합니다.
