brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Feb 22. 2024

AWS 48탄-11.기업 생성형 AI-2024-02

AWS Innovate AI/ML and Data Edition

<1> 생성형 AI  = Generative AI 란?

<2> 생성형  AI를 위한 클라우드 서비스 계층

<3>  Amazon Titan Image Generator  

<4> 생성형 AI 문제와 개선

<5> 베드락의 앱놀이터 = PartyRock

<6> 업무 생산성 향상 = Amazon Q  for builders

<7> 업무 생산성 향상 = Amazon Q  for business




<1> 생성형 AI  = Generative AI 란?


거대한 언어 모델 (LLM , Large Language Model)

글쓰기, 디자인, 코딩, 회의록, 문서 요약, 추천, 채팅, 고객센터, 보고서 요약 가능

파운데이션 모델(FM) 사용한다. = 학습한 범용 모델.




<2> 생성형  AI를 위한 클라우드 서비스 계층





1

파운데이션 모델 훈련 추론을 위한 인프라.

GPU , Trainium, Inferentia , SageMaker  등



2

파운데이션 모델을 이용한 애플리케이션 개발

배드락 (Bedrock)



3

파운데이션 모델을 활용한 업무 생산성 향상

Amazon Q for Builders

Amazon Q for business

Amazon CodeWhisperer





4

인프라?


파운데이션 모델 훈련 및 추론을 위한 인프라.

Amazon EC2

DL1 instances =  인텔

P5 Instances = NVDIA H100 Trnsor Core GPU

Trn1n Instance = AWS  자체 개발한 Trinium ,  동급  GPU대비 50% 저렴

Inf2 Instance = AWS  자체 개발한 Inferencia  칩셋 기반



Amazon SageMaker  기반 ML 모델 배포

공개 파운데이션 모델 + 상용 파운데이션 모델 지원



Amazon SageMaker HyperPod 

효율적인 파운데이션 모델 훈련 클러스터 구축

중단 없이 진행, 장애시 중지  이후 사용 가능. 성능 최대 20% 향상, 훈련시간 40% 단축




2

아마존 배드락?


파운데이션 모델(FM)을 사용하여 생성 AI 애플리케이션 구축하고 확장가능한 쉬운 방법.



지원 리전


지원하는 모델


예) 텍스트 요약 , 글스기, 코딩 다국어 지원하는 앤드로픽의 클로이드 2.1 




3

작업 순서?


프롬프트 작성.

파운데션 모델 선택





<3> Amazon Titan Image Generator  


원하는 이미지를 만든다.

배경을 바꾼다.

열대우림으로 배경을 바꾼다.

피사체 방향을 바꾼다.





<4> 생성형 AI 문제와 개선


1

문제?

환각 현상

지식 단절 현상 - 2024년 흐름 ?  2023년까지 정보가 있다.



2

개선?

검색 증강 생성  (RAG) =   사내 정보 추가.


에이전트 기능과 Knowledge base 기능으로 이를 구현한다.

프롬프트가 요청하면, 지식 기반 데이터에서 검색해서 해당 답변이  있으면  응답해준다.




벡터 데이터로 처리한다.



다양한 벡터 기반 데이터 베이스 지원

오픈서치, 오로라, 레디스,  pinecone , mongoDB




<5> 베드락의 앱놀이터 = PartyRock


아마존 베드락 기반의 플레이 그라운드 서비스인 파티락

https://partyrock.aws/




<6> 업무 생산성 향상 = Amazon Q  for builders


1

맞춤형 생성형 AI 기반 비서



2

예)

관리콘솔

채팅창

우선 영어만 지원

영어로 aws 관련 질문하면 답변을 준다.



3

예) 

아마존 큐에서 람다 문제를 해결해 준다.


문제해결 요청하면 방법을 알려준다.



4

예)

개발자가 사용하는 IDE에서도 사용가능하다.

파이선 코드가 무슨 동작을 하는지 물어보면 답변을 준다.

i want Q to implement a task for me


위 내용은 amazon CodeWhisperer의 기능을 이용해 제공되고 있다.



특정 함수에 대해 다양한 테스트 케이스로 만들어 달라고 요청하면 만들어 준다.



5

코드를 업그레이드해주는 기능도 있다.

Amazon Q Code Transformation을 이용하면 기존의 JAVA 8을 11로 업그레이드 해준다.




<7> 업무 생산성 향상 = Amazon Q  for business


 비즈니스 업무를 위한  AI 비서

기업 내부 데이터를 활용한 업무 작업 및 문제 해결



다음 AI

https://brunch.co.kr/@topasvga/3732


감사합니다.

매거진의 이전글 AWS 48탄-10. 아마존 베드락과 어드밴스 RAG
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari