AI 11탄-33. 생성형AI로 StepFunction
<1> 문제 환경을 알아보자
<2> 서버리스 비디오 서비스를 개선해보자.
<3> 사례 : 서버리스 비디오 서비스에 적용해보자
<4> 퍼블릭 HTTPS API 통합을 해보자.
참고 : Redrive 기능 = 장애를 빠르게 복구하는 리 드라이브 기능!!
<1> 문제 환경을 알아보자
1
목표
2
여러 산업에 대해 생성형 AI가 적용되고 있다.
대중적인 이용이 가능해졌다.
생성형 AI의 잇점을 얻어보도록 해보자.
3
비즈니스 프로세스는??
순차적 프로세스로 시작.
상태 관리를 위한 저장소를 사용한다.
때로는 병렬로 처리해야한다.
프로세스 입력이 다음 프로세스를 결정하기도 한다.
오류가 나면 다른 워크 플로를 타야하는 경우도 있다.
사용자의 검토가 필요한 경우도 있다.
<2> 서버리스 비디오 서비스를 개선해보자.
1
순서??
동영상 업로드시 제목과 설명을 생성하게 하자
사용자에게 하나를 선택하도록 하자.
사용자 선택한것으로 아바타를 생성하는것까지 진행한다.
2
동영상 업로드시 제목과 설명을 생성하게 하자 - 필요 요소???
비디오 파일을 text로 변환필요. 파운데이션 모델을 사용해 생성한다.
사용자의 선택 - get feedback
파운데이션 모델을 통해 아바타 생성 - 하나의 람다에서 다른 람다 호출
상태 관리를 위해 저장소 사용 - Store data
데이터 상태에 대해 추적.
3
빠른 처리를 위해 스텝 펑션을 사용하자~
워크 플로를 만드는 서비스.
서버리스 = 사용한 만큼 비용 발생
자동 확장되는 완전 관리형 서비스이다.
시각적으로 편집을 시도해보자~
4
서비스 패턴 3가지?
비동기 패턴 = 요청과 응답
동기화 패턴을 지원 = 어떤경우 응답을 기다려야 하는 경우도 필요 = JOB-RUN 패턴
토큰을 기반으로 요청을 진행, 워크 플로우 단계에서 재 시작하는 경우도 처리 패턴도 있다.
<3> 사례 : 서버리스 비디오 서비스에 적용해보자
1
서버리스 비디오 서비스 현황
라이브 비디오 시청 , 온디맨드도 시청 가능
사이트
https://video.serverlessland.com/
2
개선 ?
아바타 생성까지 해보자.
3
구축??
음성을 텍스트로 가지고 있어야 한다.
Amazon Transcribe API와 직접 통합하여 동영상을 텍스트로 변환하자.
4
제목과 설명을 생성하기위해 아마존 베드락을 사용하자.
서버리스
간단하게 API를 호출하자.
람다 사용하자.
Text를 S3에서 가져오자.
5
인보크 모델을 사용한다.
6
추가적으로 제목과 모델을 생성해보자.
이 경우 외부 모델로 사용해보자.
# 허깅 페이스와 OPENAI 접근해보자~
6
퍼블릭 API 접근 하기 ?
1) 람다는 시크릿 매니저에서 시크릿을 가져온다.
2) 다이나노디비에 잠시 저장
3) 변환된 text롤 S3에서 가져온다.
4) 퍼블릭 API 를 호출할때 text를 사용한다.
추가적으로 재시도, 로그 처리, 오류 처리 등 고려가 필요하다!!!
<4> 퍼블릭 HTTPS API 통합을 해보자.
스텝펑션에서 어떤 외부 API를 호출할수 있다.
허깅 페이스를 호출해보자.
1
# 요구사항1 - 여러 개의 제목과 설명을 생성하기!
1) 허깅페이스와 아마존 베드락을 같이 호출한다.
2개의 분기가 성공적이여야 다음 과정으로 진행한다.
2) 1개가 문제가 발생 되면?
일시적 실패이면 재시도 하도록 하자.
3) 지속적 실패이면? = Hard Failure이면 ?
빠르게 회복 시키기 위해 Redrive 기능 (리 드라이브 기능)
= 실패한 시점부터 재개가 가능하도록 하는것이다. = 시간과 자원을 절약이 된다.
2
사용자에게 둘중 하나를 선택하게 하자.
휴먼 피드백 루프를 구현하자.
콜백 대기 - 콜백과 토큰.
콜백?
상대방에게 요청하고 응답이 올때까지 기다린다. 유니크한 토큰을 준다.
3
요구사항2 : 휴먼 피드백 루프.
4
요구사항 3 : 아바타 생성.
피드백으로 받은 제목을 사용하여 아바타를 만든다.
프롬프트 체이닝 = 여러 프롬프트를 연쇄적으로 만드는것을 말한다.
10
코어 로직 = AWS Step Function Workflow
사용자 로직
사용자 로직 ?
API GW - SQS (버퍼, 서비스 트래픽 증가 대비)--------람다-----워크 플로우로 전달한다.
하나의 동영상 (테스트용) 에서 텍스트를 추출한다.
2개의 파운데이션 모델로 전달한다.
서로다른 제목을 생성한다.
피드랙 루프로 전달한다.
다음
https://brunch.co.kr/@topasvga/4109
