AI 11탄-38. SaaS와 AI/ML, 생성형 AI
SaaS와 생성형 AI 알아보자.
멀티 테넌트와 생성형 AI를 알아보자.
<1> SaaS와 생성형 AI 알아보자.
<2> 멀티 테넌트와 생성형 AI를 알아보자.
<3> 테넌트를 격리하자.
<1> SaaS와 생성형 AI 알아보자.
1
테넌트 = 소프트웨어 시스템으로의 공통 접근을 공유하는 사용자들의 그룹
2
구성???
기반은 파운데이션 모델, LLM , 기초 모델로 구성.
머신러닝 모델을 빌드, 배포, 튜닝을 하는 아마존 세이즈 메이커, 멀티 FM을 사용가능하게 해주는 베드락.
파인튜닝 - 미세조정, 테넌트들에게 더욱 정교한 모델을 제공.
사용자 요청을 구체화 = 검색 증강 생성
SaaS 애플리케이션
3
아마존 베드락을 사용.
사용자가 LLM을 정해서 사용한다.
상태를 저장하지 않으므로 동일한 요청에 동일한 응답을 주게 된다.
<2> 멀티 테넌트와 생성형 AI를 알아보자.
1
각각의 테넌트에게 각각 다른 응답을 주고 싶다?
테넌트 콘텍스트 - 주입된 테넌트 콘텍스트 - 프롬프트 강화, 증강 ----- 테넌트에 특화된 응답.
RAG 사용!!!
2
베드락 에이전트 활용해 보자.
애플리케이션에서 요청하는 태스크가 있다면?
지침을 기반으로 프롬프트를 작성
LLM에 전달.
사용자의 요청을 단계적으로 생성한다.
사용자에게 추가 질문의 요청할 수도 있다.
람다에 콘텍스트 보내 응답받거나, 지식기반을 활용하여 결과를 받을 수 있다.
이러한 것 에이전트로 반환된다.
에이전트는 LLM에 태스크 + 결과로 문의하여 최종 응답을 받게 된다.
3
도메인이 너무 많아 기초 모델로 처리가 불가능 한경우???
기초 모델에 여러분의 지식을 추가한 데이터가 추가되면?
파인 튜닝, 미세 조정이 가능하다.
하이퍼 파라미터와 함께 제공되면 미세 조정 모델을 만들 수 있다. (기본 FM 모델이 변경된다)
4
온보딩 과정.
<3> 테넌트를 격리하자.
테넌트 격리도 가능하다. ?
테넌트가 다른 리소스에 접근하지 못하도록 격리가 필요하다.
미세 조정된 모델에 IAM 적용하자.
IAM정책을 기반으로 임시 자격증명을 적용하자. 어슘롤
미세 조정된 모델에만 접근이 가능하다.
다음
https://brunch.co.kr/@topasvga/4118
