AWS 47탄-2. 금융 서비스 현대화-2024-01
AWS 리인벤트
<1> 사례 1 : 골드만 삭스 = 무중단 서비스 사례
<2> 골드만 삭스 = Micro Account 전략
<3> 골드만 삭스 = 무중단 배포, Statless 서비스
<4> 골드만 삭스 = 무중단 배포, Stateful 서비스
<5> 사례 2: Nasdaq Verafin팀 = 생성형 AI를 사용하여 금융범죄 맞서기 (AI)
<6> 사례 3: 코인베이스 Coinbase = 초저지연 암호화폐 거래소 구축하기
<7> 금융 기관에서 사용할만한 신규 서비스 - Amazon Bedrock, ZERO ETL
<1> 골드만 삭스 = 무중단 서비스 사례
서비스 무중단
Goldman Sachs: The journey to zero downtime (FSI310)
고객은 기업이다. 은행 서비스이다.
매일 수천만 달러의 거래
거래 응답시간의 엄격
매우 높은 가용성 - 99.5% , 일요일 새벽 2-6시 다운타임.
동영상 보기
https://www.youtube.com/watch?v=Y170dGDlpM8
통일성 = 효율성을 확보하는 전략이다.
Amazon ECS 기반 Fargate 선호
공용 IaC모듈 사용
Micro Account 및 VPC Endpoint 서비스 사용한다.
각 Micro Account는 독립적인 무중단 배포한다.
<2> 골드만 삭스 = Micro Account 전략
1
Appliation VPC는 인터넷 게이트웨이 없는 VPC구성한다.
MSK, MQ는 다른 어카운트로 구성된다.
골드만 삭스 온프라미스와는 프락시 계정을 통해 연동된다.
코드형태의 테라폼으로 관리한다.
<3> 골드만 삭스 = 무중단 배포, Statless 서비스
Stateless 서비스 = Container Application에 대해 적용했다
Stateful 서비스 = Amazon RDS , Kafka, DynameoDB에 대해 적용했다
1
Stateless 서비스 = Container Application 배포?
블루/그린 배포
API서비스
ECS사용
CodeDeploy사용하여 최대 48 이내 롤백 결정 가능.
Cloudwatch Synthetice의 Canaries를 통해 정상 구동 여부 확인
AWS System Manager의 Document를 활용하여 형상 전환 수행.
2
Cloudwatch Synthics 서비스?
Cloudwatch 기능 중 하나로 웹 애플리케이션과 API를 쉽게 모니터링한다.
더미를 만들어 헬스체크를 한다.
3
검증(Deep Health Check) = 별도 작성된 스크립트로 서비스 상태를 별도 확인한다.
<4> 골드만 삭스 = 무중단 배포, Stateful 서비스 - RDS Read
Stateful 서비스 = Amazon RDS , Kafka, DynameoDB
1.
아키텍처 1
배포 전략 - Stateful 서비스 - RDS Read
작업 시 잠시 쓰기 기능을 중단
Aurora Fast Cloning 서비스를 통해 현시점의 데이터를 복제하여 그린 데이터 베이스로 설정
Green으로 라우팅
Blue에 버전 2를 배포하고 라우티 원복
단점: 20분 동안 쓰기 기능을 못쓴다.
2
아키텍처 2
배포 전략 Stateful 서비스 - RDS Write
Write 기능을 포함한 무중단 배포하는 방법
소요시간 25분
<5> 사례 2: Nasdaq Verafin팀 = 생성형 AI를 사용하여 금융범죄 맞서기 (AI)
1
나스닥의 베라핀팀
3,800곳 이상의 금융 기관으로부터 발생되는 거래들에 대한 모니터링과 탐색
(문제점) 금융 수사관을 통해 알게 된 것
고객과 거래, 이해관계자등에 대한 검토, 비정형 데이터 수집 및 분석, 문서 요약 등 수동 작업에 전체 작업에 60% 시간이 소요된다.
전문성 있는 업무에 집중해야 하는데 수동 검사 비용 증가
고급 인력이 전문성 있는 업무에 집중 필요.
2
생성형 AI와 LLM을 통한 문제 해결
수많은 문서에서 가치가 낮은 문서를 요약하여 수동 업무량 감소
증거 모델일 통해 의사 결정 가속화함.
의심 여부를 판단하는 데에 비정형 데이터를 더 손쉽게 활용하게 됨.
3
베라핀사의 접근 아키텍처.
베라핀에 생성형 AI 도입.
베드락 사용
RAG를 통해 검색 기능을 증가시킴
RDS에 추론 결과를 저장하여 재사용한다.
베드락으로 추론 요청하기 전에, 세이즈 메이커를 활용하여 도메인 특화된 언어모델을 통해 사전 필터링을 거쳐, 추론에 필요한 인풋 토큰의 수를 획기적으로 줄일 수 있었다. (강조)
VPC 엔드포인트 사용하여 퍼블릭을 사용하지 않았다. 중요한 금융 자료들을 안전하게 전송한다.
공개된 네트워크에 노출하지 않는다.
4
문제점 : 환각 문제.
베라핀의 환각 문제 극복법 4가지?
첫째, 멀티샷
검증 및 테스트를 위한 진실 데이터 셋을 만듦.
테스트 및 검증에 이를 활용 성능과 효과를 활용하여, 모델에 제공함.
둘째, 단계별 사고
추론 결과에 대한 목표를 단계별 방식으로 작동하도록 모델에 힌트를 제공한다.
금융 수사관이 힌트를 제공한다.
셋째, 역할 프롬프트 =역할 할당
모델에게 자신의 역할이나 상황에 처한 사람이 누구인지 알려준다.
이 과정을 통해 전문용어나 특정 단어를 모델에게 더 많은 정보를 제공할 수 있게 됨.
자연어의 의미적 복잡성으로 인한 환각발생을 줄임.
넷째, RAG 사용
모델이 추론할 특정 문서를 제공, 최신 데이터를 제공하여 더 신뢰할 수 있는 결과를 제공.
결과 조사 효율성에서 큰 이득.
수사관 업무 중 수동 작업은 비율을 60% 에서 5~10%로 줄어듦.
결국 , 금융 범죄 수사관이 수사 업무를 보다 많은 시간을 투자할 수 있도록 한다.
5
결론?
급증하는 금융 범죄와 복잡한 수사에 대해 수동 업무 비율을 줄임.
생성형 AI를 활용하여 금융 수사관의 업무 생산성 향상 - 주어진 서류를 읽고 요약, 베드락으로 FM적용, 입력 토큰 최적화
환각에 대한 대응 - 진실 데이터 세트를 활용한 효율적인 프롬프트 엔지니어링, 단계적으로 사고 모델에 힌트제공, RAG룰 활용하여 특정 문서를 프롬프트로 전달, 결과의 정확성을 증대함.
<6> 사례 3: 코인베이스 Coinbase = 초저지연 암호화폐 거래소 구축하기
1
저지연 구성을 하기 위해 EC2 배치 그룹 사용.
동일 그룹 내에서 동작하여 지연을 줄인다.
https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/placement-groups.html
2
상세 내용
https://www.youtube.com/watch?v=iB78FrFWrLE
<7> 금융 기관에서 사용할만한 신규 서비스 - Amazon Bedrock, ZERO ETL
1
Amazon Bedrcok
파운데이션 모델(FM) 기반
디렉트 커넥션을 통한 보안 강화 서비스도 제공 가능.
RAG기능 사용가능해짐.
2
AWS Security Hub 대시보드
각종 데이터 한눈에 확인할 수 있게 되었다.
손쉽게 모니터링
3
Amazon EKS Pod Identities
지정된 클러스터의 네임스페이스에 있는 서비스 계정과 Pod를 연결할 수 있다. SDK업그레이드 필요.
4
Zero-ETL 통합.
다이나모 디비와 오픈 서치 서비스의 통합
다이나모 DB의 데이터를 오픈서치로 원활하게 동기화할 수 있게 되었다.
오로라디비도 레드쉬프트와 통합.
S3도 오픈 서치 서비스의 통합.
5
RDS for DB2 제공
6
ALB에 mtls 서비스 제공함.
양방향 인증서를 등록해서 활용할 수 있다.
이제 ALB에서 설정을 통해 양방향 인증서를 등록하고 활용할 수 있다.
다음
https://brunch.co.kr/@topasvga/3637
몰아보기
https://brunch.co.kr/@topasvga/3642
AI 사용 사례
https://brunch.co.kr/@topasvga/3609
감사합니다.
