AWS 48탄-11. 기업을 위한 생성형 AI
AWS Innovate AI/ML and Data Edition
<1> 생성형 AI = Generative AI 란?
<2> 생성형 AI를 위한 클라우드 서비스 계층
<3> Amazon Titan Image Generator
<4> 생성형 AI 문제와 개선
<5> 베드락의 앱놀이터 = PartyRock
<6> 업무 생산성 향상 = Amazon Q for builders
<7> 업무 생산성 향상 = Amazon Q for business
<1> 생성형 AI = Generative AI 란?
거대한 언어 모델 (LLM , Large Language Model)
글쓰기, 디자인, 코딩, 회의록, 문서 요약, 추천, 채팅, 고객센터, 보고서 요약 가능
파운데이션 모델(FM) 사용한다. = 학습한 범용 모델.
<2> 생성형 AI를 위한 클라우드 서비스 계층
1
파운데이션 모델 훈련 및 추론을 위한 인프라.
GPU , Trainium, Inferentia , SageMaker 등
2
파운데이션 모델을 이용한 애플리케이션 개발
배드락 (Bedrock)
3
파운데이션 모델을 활용한 업무 생산성 향상
Amazon Q for Builders
Amazon Q for business
Amazon CodeWhisperer
4
인프라?
파운데이션 모델 훈련 및 추론을 위한 인프라.
Amazon EC2
DL1 instances = 인텔
P5 Instances = NVDIA H100 Trnsor Core GPU
Trn1n Instance = AWS 자체 개발한 Trinium , 동급 GPU대비 50% 저렴
Inf2 Instance = AWS 자체 개발한 Inferencia 칩셋 기반
Amazon SageMaker 기반 ML 모델 배포
공개 파운데이션 모델 + 상용 파운데이션 모델 지원
Amazon SageMaker HyperPod
효율적인 파운데이션 모델 훈련 클러스터 구축
중단 없이 진행, 장애시 중지 이후 사용 가능. 성능 최대 20% 향상, 훈련시간 40% 단축
2
아마존 배드락?
파운데이션 모델(FM)을 사용하여 생성 AI 애플리케이션 구축하고 확장가능한 쉬운 방법.
지원 리전
지원하는 모델
예) 텍스트 요약 , 글스기, 코딩 다국어 지원하는 앤드로픽의 클로이드 2.1
3
작업 순서?
프롬프트 작성.
파운데션 모델 선택
<3> Amazon Titan Image Generator
원하는 이미지를 만든다.
배경을 바꾼다.
열대우림으로 배경을 바꾼다.
피사체 방향을 바꾼다.
<4> 생성형 AI 문제와 개선
1
문제?
환각 현상
지식 단절 현상 - 2024년 흐름 ? 2023년까지 정보가 있다.
2
개선?
검색 증강 생성 (RAG) = 사내 정보 추가.
에이전트 기능과 Knowledge base 기능으로 이를 구현한다.
프롬프트가 요청하면, 지식 기반 데이터에서 검색해서 해당 답변이 있으면 응답해준다.
벡터 데이터로 처리한다.
다양한 벡터 기반 데이터 베이스 지원
오픈서치, 오로라, 레디스, pinecone , mongoDB
<5> 베드락의 앱놀이터 = PartyRock
아마존 베드락 기반의 플레이 그라운드 서비스인 파티락
<6> 업무 생산성 향상 = Amazon Q for builders
1
맞춤형 생성형 AI 기반 비서
2
예)
관리콘솔
채팅창
우선 영어만 지원
영어로 aws 관련 질문하면 답변을 준다.
3
예)
아마존 큐에서 람다 문제를 해결해 준다.
문제해결 요청하면 방법을 알려준다.
4
예)
개발자가 사용하는 IDE에서도 사용가능하다.
파이선 코드가 무슨 동작을 하는지 물어보면 답변을 준다.
i want Q to implement a task for me
위 내용은 amazon CodeWhisperer의 기능을 이용해 제공되고 있다.
특정 함수에 대해 다양한 테스트 케이스로 만들어 달라고 요청하면 만들어 준다.
5
코드를 업그레이드해주는 기능도 있다.
Amazon Q Code Transformation을 이용하면 기존의 JAVA 8을 11로 업그레이드 해준다.
<7> 업무 생산성 향상 = Amazon Q for business
비즈니스 업무를 위한 AI 비서
기업 내부 데이터를 활용한 업무 작업 및 문제 해결
다음 AI
https://brunch.co.kr/@topasvga/3732
감사합니다.
