AI 11탄-46. GS에너지 AI전략-GenOps
GS에너지의 머신러닝, 생성형 AI 플랫폼인 GenOps 플랫폼을 알아보자.
<1> FMOps와 LLM Ops?
<2> AWS 서비스들
<3> GS 에너지 MLOPS, GENOPS
<1> FMOps와 LLM Ops?
1
FMOps = 언어, 음성, 멀티모달을 지원하는 것
LLM Ops = 채팅, 챗봇등 언어를 지원하는 것.
DEVOPS = 개발과 IT운영을 합쳐 개발 기간을 단축.
ML Ops = DEVOPS를 머신러닝에 맞게 확장한 것.
FM OPS = 라마, 타이탄등 파운데이션 모델을 적용하면서 효율적으로 서비스하기 위해 생김.
2
FMOPs는 파운데이션 모델을 선택하고 , 배포 및 운영하는 라이프 사이클을 관리함.
3
FMOPS?
MLOPS는 새로운 모델을 개발 최적화한다.
FMPOS는 이미 학습된 모델을 사용해 애플리케이션을 만드는 부분에 집중한다.
4
FM OPS를 위한 새로운 영역을 5가지 관리해야 한다.
프롬프트 관리
인공지능 게이트웨이 - 생성형 AI를 사용하며 비슷한 문제 관리. 중앙 집중적 관리를 위한 게이트웨이.
모델 평가 및 HTML 자동화 - 다양한 모델 출시 되고 있다. 가장 적합한 찾기 위해 모델 평가 기준을 만들고, 자동화
증강 아키텍처 - 증강 아키텍처를 고려해야 한다. 가장 비용 효율적인 아키텍처이다.
모니터링과 확장 - 응답속도, 토큰 소비량, 유해성을 확인하고 필터링해야 한다.
<2> AWS 서비스들
1
아마존 세이즈 메이커~
저비용의 고성능 머신러닝을 제공하기 위한 완전 관리형 서비스.
별도 인프라를 관리할 필요가 없다.
IDE 사용.
2
아마존 베드락.
3
같이 사용하면 좋은 AWS 서비스 들!!! 1
Amazon SQS - 메시징 서비스
AWS Step Functions - 오케스트레이션 서비스, 시각적으로 워크 플로 서비스 제공
AWS Lamdba - 사용자가 지정한 외부 서비스와 연동
AWS Fargate - 서버리스 컨테이너 서비스, ECS, EKS와 연동되는 컨테이너 서비스
<3> GS 에너지 MLOPS, GENOPS
1
AWS 사용하지 않았던 환경.
2
비즈니스에 집중.
온프라미스에서 사용하여 알고 있던 기술을 적용.
플랫폼을 최대한 빌려서 사용해 보자~
3
방향성??
비용 걱정? - 사용한 만큼 비용을 지불해 보자.
사용자 피드백을 받기 위해 빠르게 만들어보자.
체계를 만들어보자.
운영의 Cost를 Zero 되게 해 보자.
4
교훈??
S3 , 다이나모 DB는 글로벌 서비스라 네이밍에 대해 중복 확인하자.
CDK 활용!!! 서로가 동일한 환경을 만들 수 있는지도 중요하다.
5
처음엔 풀어야 할 문제에 대해서만 집중함.
데이터 사이언 티스트가 관리함.
메트릭의 결과는 WANDB 로그를 쌓도록 함.
# 최초 아키텍처
6
MLOPS 사용 AWS 서비스??
세이즈 메이커
GIT
도커
ECR
이벤트 브리지
람다
7
MLOPS를 GEN OPS로 확장!!!
SAGEMAKER에서 시작한다!!!
서버리스를 사용한다 - 운영 리소스를 Zero로 하고 싶다. = 운영을 최소화하고 싶다
8
노하우 4가지???
1) 모델링을 할 때 SAGEMAKER 노트북을 사용할 때 노하우
2) 데이터 프로세싱할때 노하우
3) CD/CD 노하우
4) GENOPS 확장 시 노하우
9
1) 모델링을 할 때 SAGEMAKER 노트북을 사용할 때 노하우
t3 미듐 - 에디터 형태로 개발.
모델링을 해야 한때 이미지를 만들고 ECR에 올린다. 동작 확인한다.
로컬로 테스트한다.
10
데이터 처리 프로레스 - 개발 부터 배포까지 ?
Amazon Sagemaker ---- AWS Lambda 사용
11
체계적인 워크 프로우 관리 ?
AWS Step Function 를 통해 전체 워크프롤우의 통합 및 관리
12
CD/CD 자동화?
깃허브 액션을 사용.
CDK를 사용. = 인프라는 CDK사용.
CDK를 통한 인프라의 코드화 및 재사용
람다 사용시 설정값들에 대해 코드로 모두 정의 되어 사용되어 좋왔다.
13
어플리케이션을 만드는 사람은 1번에만 집중!!
나머지는 CI/CD로 처리.
11
12
예) Ask Your PDF
500페이 이상인 경우??
조각을 내서 요약.
요약 요약 요약을 모아서 요약함.
파일과 인덱싱처리를 하여 해결함.
다음
https://brunch.co.kr/@topasvga/4120
