AI 3. AWS 서비스로 안전하게 생성형 AI-3/8
# 안전하게 생성형 AI를 사용하게 하난 가드레일 서비스를 알아보자.
<1> 롯데 멤버스 적용 사례
<2> AWS 서비스로 안전하게 생성형 AI활용
<3> 롯데멤버스의 생성형 AI 활용 사례
<1> 롯데 멤버스 적용 사례
금융 규제 준수
생성형 AI 활용
시장 변화 대응
<2> AWS 서비스로 안전하게 생성형 AI활용
1
Amazon Bedrock 사용
파운데이션 모델을 사용하여 생성형 AI를 사용하는 가장 안전하고 쉽다.
2
아마존 베드락에서 아마존 Nova 사용가능하다.
3
Amazon Bedrock Guardrails 제공한다.
애플리케이션 요구 사항 및 책임 있는 AI 정책에 맞게 사용 지정된 보호 장치를 구현가능하다.
# 출처 : AWS온라인 세미나
4
PrivateLink를 사용하면 생성형 AI 애플리케이션에서 Amazon Bedrock으 ㅣAPI 엔드포인트로 접속할 때 인터넷을 통하지 않고 Private 네트워크로 통신이 가능하다.
5
고려사항?
아마존 베드락의 할당량 (Quota) 고려해야 한다.
Service quotas에서 확인하자.
6
할당량을 초과하는 경우 다른 리전의 리소스 사용이 가능하다.
Cross-region Inference
AWS 리전 간 요청을 동적으로 라우팅 하여 트래픽 폭증 관리할 수 있다.
<3> 롯데멤버스의 생성형 AI 활용 사례
1
추진 배경?
트렌드 보고서 자동화 한다!
기존 세그먼트 분석에서 벗어나 실시간 트렌드를 반영하는 리포트 자동 생성 구현
2
아마존 베드락 - Claude 3.5 sonnet 활용, Titan2 임베딩 모델 선정
EKS사용
3
예상 성과?
마케팅 타겟팅 정확도 높아짐
인사이트 발굴
리포트 생성자동으로 업무 효율화
신규 서비스
4
배운 점?
혁신은 데이터가 좋아야 가능하다.
금융권 AI사업은 컴플라이언스가 중요하다. - 샌드박스 승인 필요. AWS 지원.
다음
https://brunch.co.kr/@topasvga/4346
감사합니다.
