AI 2탄-58. AI로 비즈니스 혁신하기-2024
AWS 서밋-2024-07
AWS 생성형 AI를 배워보자.
생성행 AI 스텍 3 계층을 알아보자.
Amazon Q를 알아보자.
<1> 생성형 AI
<2> 비즈니스 혁신 하기
<3> 생성형 AI 스택
<4> 업무용 AI 채팅 애플리케이션 Amazon Q
<5> 요약
<6> 개인 요약
<1> 생성형 AI
1
EU에서 조사 결과
앞으로 60%가 생성형 AI가 나의 생활에 직접, 간접으로 영향을 끼칠 것이다.
2
파운데이션 모델을 기반으로 하는 생성형 AI
방대한 양의 비정형 데이터로 사전 훈련
복잡한 개념을 학습할 수 있도록 많은 파라미터 포함.
특화된 작업을 위해 데이터를 사용하여 파운데이션 모델을 최적화
사용자--------파운데이터 모델에 문의---------- 답변 준다.
<2> 비즈니스 혁신 하기
1
여러분의 고객들의 경험이 향상된다.
챗봇 사용
가상 어시스텐트
대화 분석
개인화
2
직원의 생산성 향상
대화형 검색
요약
콘텐츠 작성
코드 생성
데이터를 인사이트로 전환
3
비즈니스 프로세스 최적화 가능
문서 처리
데이터 증강
보안
프로세스 최적화 = 비용도 절감된다.
4
모든 분야에서 사용가능하다.
실질적인 생산성 향상이 목적이다.
<3> 생성형 AI 스택
1
레이어 3가지 ?
인프라 스트럭처 레이어 - 훈련과 추론 - GPU를 사용하게 된다.
LLM 및 FM을 사용하여 구축하는 도구 - 아마존 베드락 사용한다.
생성형 애플리케이션을 활용 - 아마존 Q를 사용하는 부분이다.
2
인프라 스트럭처 레이어 - 훈련과 추론 - GPU를 사용하게 된다.
P5인스턴스를 사용하여 엔비디아 H100 사용한다.
3
혁신방법?
AWS 자체 칩 사용.
4
모델을 훈련하고 배포하는 좋은 도구가 필요하다!!!
Amazon SageMaker를 제공.
개발자가 머신러닝 관리형 서비스 제공.
5
생성형 AI 애플리케이션을 구축하고 규모를 조정하는 가장 쉬운 방법??
Amazon Bedrock 사용
아마존 베드락에서는 다양한 모델일 사용할 수 있다.
7개 제조사.
다양한 모델 사용 가능.
6
고객 요구 사항에 최적화?
자체 데이터를 추가해서 개선하는 방법!!!
여러분의 고유한 모델을 만들 때 가능하다!!!
비즈니스에 맞게 사용하도록 하는 방법이다.
7
방법 3가지?
파인튜닝, 검색 증강 생성(RAG) , 지속적인 사전 학습
파인튜닝? = 미세 조정
원래 오리지널 모델의 복사본으로 비공개 모델을 새로 만든다.
데이터가 원칙적으로 밖으로 나가는 걸 막을 수 있다.
아마존 타이탄 텍스트 라이트, 익스프레스에서 베드락에서 파인튜닝 가능.
코히어 커멘드 라이트도 베드락에서 파인튜닝 사용가능
베드락에서 파인튜닝 메타의 라마 가능.
클로드는 제공 예정
검색 증강 생성(RAG)?
자체 데이터를 사용
지속적인 사전 학습
8
작업을 세분화 및 오케스트레이션 하고 사용자를 대신하여 API 필요??
파운데이션 모델이 여러 작업을 진행하도록 해주는 기능?
여행 예약, 보험 청구, 소프트웨어 배포, 부품 교체를 한 번에 해결해 주세요??
오케스트레이션이 필요하다.
아마존 베드락 에이전트 사용한다.
아마존 베드락 에이전트 = 회사 시스템 및 데이터 소스 전반에 다단계 작업 실행.
8
아마존 베드락 최근 추가 보안 기능??
Amazon CloudWatch 통합
AWS CloudTrail 통합
SOC 규정 준수
9
아마존 베드락 가드레일?
책임 있는 AI정책을 기반으로 유해 콘텐츠 필터링을 쉽게 구성.
<4> 업무용 AI 채팅 애플리케이션 Amazon Q
바로 사용하는 서비스는 없나요?
Amazon Q
1
Amazon Q?
비즈니스에 맞춤화된 작업을 위한 생성형 AI 기반 어시스턴트.
대화형 답변 제공, 문제 해결, 콘텐츠 생성, 작업 수행.
2
Amazon Q Developer?
개발자가 사용하는 것
AWS 지식 바탕으로 훈련.
모범 사례에 대해 제공가능.
사용자와 대화하여 새로운 AWS기능 탐색, 익숙하지 않은 기술 학습, 설루션 설계.
3
Amazon Q Business?
비즈니스 데이터, 시스템을 연결!!!
비즈니스 질문 답변을 비공개로 안전하게 제공.
S3, Salesforce , Google Drive, MS365 , ServiceNow, Gmail , Slack, Atassian, zendesk 40개 데이터 소스와 연결.
4
Amazon Q in QuickSight?
생성형 대시보드 작성
자연어로 지난달과 이번달 비용 데이터 생성해 줘라고 했을 때 제공 가능하다.
5
Amazon Q in Connect?
(구) 아마존 컨텍스 위즈덤 서비스
생성형 AI 고객 센터 에이전트 지원.
권장 정보가 상담원에서 실시간으로 제공함.
실시간 고객 대화로 에이전트에서 추천 응답 생성.
<5> 요약
AWS는 성능이 뛰어난 인프라를 제공하려 하고 있다.
파운데이션 모델을 통해 구축 확장하도록 방법을 베드락을 통해 제공한다.
생성형 애플리케이션 보안 기능 등을 제공하고 있다.
데이터가 중요하다! = 데이터 기반을 위한 서비스 세트가 필요.
기존에 존재하는 데이터베이스에 벡터 인베딩 기능을 개발했다!!!
벡터 기능
<6> 개인 요약
생성형 AI가 나의 생활에 영향을 미친다.
파운데이션 모델을 기반으로 하는 생성성 AI이다.
사용자가 파운데이션 모델에 문의하면, 파운데이션 모델이 답을 한다 = 자동 지식인 답변?
생성형 AI사용으로 고객의 경험이 향상되고, 직원의 생산성이 향상된다.
고객의 경험이 향상은 챗봇, 대화분석, 개인화 등
직원의 생산성 향상은 대화형 검색, 요약, 컨텐스 작성, 코드 작성, 데이터를 인사이트로 전환.
AWS 생성형 AI 스택은 3 계층으로 되어 있다. 애플리케이션, FM 사용 도구인 베드락, 훈련 및 추론 인프라.
고객의 요구사항을 최적화하는 방법 3가지? 파인 튜닝(미세 조정) , 검색 증강 생성(RAG) , 지속적인 학습.
파인튜닝은 오리지널 모델의 복사본으로 비공개 모델을 새로 만든다.
검색증강 생성은 자체 데이터를 사용한다.
작업을 세분화하고 오케스트레이션 하고 사용자를 대신하여 API가 필요한 경우는 아마존 베드락 에이전트를 사용한다.
업무용 AI채팅 애플리케이션인 Amazon Q는 바로 사용 가능하다.
Amazon Q는 대화형 답변 제공한다.
Amazon Q developer는 개발자가 사용한다.
Amazon Q Business는 비즈니스 데이터, 시스템과 연결한다. S3, slack 등 데이터 소스와 연결한다.
Amazon Q in Quicksight는 생성형 대시보드를 제공한다.
Amazon Q in Connect는 고객센터 에이전트를 지원한다.
다음
