brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Aug 30. 2024

3333. 현대카드 빅데이터-2024-08

AWS 서밋-3PB 바이트

클라우드로 빅데이터 플랫폼을 구축한다면 꼭 읽어보세요.

도움 되는 내용이 많습니다.




<1> 현대카드 빅데이터 플랫폼  = BDP 클라우드 

<2> 개선점

<3> BDP 2.0을 구축함

<4> 성과




<1> 현대카드 빅데이터 플랫폼  = BDP 클라우드 


2024년 3월에 오픈.

데이터와 플랫폼을 모두 클라우드로 구축함.


프로젝트 시작시점 데이터

80대-> 230대





2

왜 클라우드로?


3가지 검토 배경?

서버 노후화로 대규모 인프라 재투자 시점. 

분석 수요에 따라 증감할 수 없는 온프라미스의 한계 = 데이터 10건 조회 - 30분 이상 기다림.

급변하는 디저털 트렌드 민첩 대응 한계



3

비용?

온프레미스를  유지하는 것보다 클라우드로 전환 시 비용이 비쌌다.

하지만, 전환으로 얻는 이득이 더 컸다.



4

AWS 선택이유?

금융사 레퍼런스가 가장 많음.  지원 인력이 있음.




<2> 개선점


1

분산된 작업 환경


2

자동화 환경 부재.

분석 과제시작 ----- 서비스 론칭까지  많은 시간 할애.



3

구축 전략?

통합, 자동화, 성장




<3> BDP 2.0을 구축함


1

BDP Potal 구축



2

AWS API  사용.

사이트는 현대만의 사이트로 구축함.



3

아키텍처 요약.





<4> 성과


1

자동화함.

운영성 업무 리드타임 41% 단축



2

Data Analyst 가 좋아진 점?

4배의 향상된 쿼리 성능.



3

Data Scientist 가 좋아진 점?

개인 전용 분석 환경을 가지게 되었다. 전용 분석 환경이 생김.



4

Data Engineer 가 좋아진 점?

그레비톤 CPU + SPOT 인스턴스를 활용하여 비용 효율적인 대용량 데이터 처리.

비용 25% 절감됨




5

운영 비용 성과?

온프라미스 정도의 비용

람다를 이용한 일일 비용 모니터링



6

비즈니스 성과?

최신 AI 기술 활용 서비스 제공 과 신규 비즈니스 창출



감사합니다.







매거진의 이전글 (자료) AWS RAG 이론 - 2024-08
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari