15탄-농심 그룹 메가마트 : 온프레미스 Exadata
농심 그룹 메가마트 : 온프레미스 Exadata의 AWS 클라우드 환경 전환 사례 공유
데이터 분석 현대화
<1> NDS
<2> 메가 마트 데이터 분석 현대화
<3> 클라우드의 데이터 분석 프로세스
<4> AWS에서 환경 구성
<5> 메가 마트의 문제점 2가지?
<6> 아키텍처 - DW 데이터 분석
<7> 데이터 마이그레이션 사례 - 조선, 해양 엔지니어링사 DB
<8> 글로벌 브랜드 데이터 마이그레이션 사례 - 다운 타임 2시간 제한
<9> 오라클에서 Postgre로 이기종 DB 마이그레이션
<10> 정리
<1> NDS
AWS 관련 서비스 제공
농심 그룹에서 IT 관련 서비스를 제공하는 그룹
글로벌 사업을 하는 그룹사, 헬스케어, 블록체인 서비스 제공
클라우드 이노베이션 센터
<2> 메가 마트 데이터 분석 현대화
1
메가 마트?
국내 20여 개 마트
미국 에틀란타, 캘리포니아 글로벌 유통 회사.
2
유통 데이터로 하는 것?
소비자 구매 데이터 기반으로 하는 상품 기획
수요 예측을 통한 재고 물량 조절
마케팅을 위한 홍보 타기팅
매장의 상품 진열 관리
물류 배송을 고려한다.
3
2016년 AWS로 진행함.
단, 데이터 웨어하우스는 성능, 전화 비용 문제로 바로 진행하지 못함. 2022년 전환 완료.
4
데이터 웨어 하우스 트렌드?
서버, 데이터, 스토리지 각 구매 - 비정형 데이터 증가, 속도 개선 필요
서버, 데이터, 스토리지 1개로 통합 어플라이언스 - 비싼 유지보수비, 벤터 락인
클라우드 기반 - 분석 업무 탄력적 대응
<3> 클라우드의 데이터 분석 프로세스
1
수집
Direct Connect
DMS
2
저장
S3
Glue
3
처리/분석
Athena
Redshift - 사용하기 쉽고, 고성능, 비용 효율적
4
시각화
QuickSight
Data Exchange
// 2022년 메가마트 PoC 진행 중
<4> AWS에서 환경 구성
1
수집/저장
OLTP/ERP ----------> RDBMS (ORACLE)
2
처리/분석/시각화
Redshift ------------ Reporting, BI
<5> 메가 마트의 문제점 2가지?
1
성능과 비용
어플라이 엔스 = 노후화 장비
데이터 증가, 분석 복잡
속도 느려짐
라이선스와 비용 증가
2
제안?
PoC와 점진적 고도화
3
PoC 사전 성능 검증
ExaData와 오라를 EC2 리포트 조회 속도 검증 - 70% 향상
ExaData와 레드 쉬프트 데이터량 조회 속도 검증 - 속도 1/2 감소
4
점진적 고도화?
디비 마이그레이션 - SQL 튜닝 , Oracle 버전 업데이트 19c , 없는 스마트 스캔 기능에 대해 조치함. (진행함)
BI 고도화 - 웹, 와스 업그레이드 , 볼 수 있는 통합 포털 구축. 와스 자체 구축으로 해결. 데이터 분석 전문가 양성. (진행함)
데이터 분석 기반 조성 - Time To Market 용이성 (진행 중)
<6> 아키텍처 - DW 데이터 분석
1
모든 시스템이 AWS에서 동작하고 있음
원천 시스템
통합 데이터 저장
분석 시스템
데이터 활용
2
원천 시스템 - POS, 내부 ERP , 외부 시스템에서 수집
통합 데이터 저장 - 비정형과 대량 데이터만 파이썬을 이용하여 추출하여 S3에 저장
분석 시스템 - 오라클로 분석, 레드 쉬프트로 데이터 가공, 분석
데이터 활용 - 경영 지표 관리, 고객 마케팅
3
도입 효과?
비용 개선 - 5년 TCO 62% 감소
분석 환경 개선 - 빠른 분석 환경
성능 - 저장 용량 모제한, 저장, 성능 확장
<7> 데이터 마이그레이션 사례 - 조선, 해양 엔지니어링사 DB
1
IT 인프라 전체를 클라우드로 이전
Oracle 데이터 베이스를 Oracle RDS
2
방법 1?
DB 링크를 이용한 DB 마이그레이션
원본과 직접 연결이 필요하다.
데이터 베이스 링크 생성
디비 추출
목적지 데이터로 전송
디비로 import
서버대 서버로 직접 불가하여 데이터 베이스 링크 이용.
데이터 추출, 입력 등이 수동으로 이루어짐
여러 차례 이루어지는 경우가 많다.
3
방법 2?
DMS
여러 차례 디비 이전하는 경우 DMS
원본과 직접 연결이 필요하다.
엔드포인트 생성
원본 데이터 베이스와 DMS가 중계하는 형태로 진행된다.
원본 데이터 베이스가 목적지로 복제된다.
여러 번 반복이 가능하다.
4
방법 3?
Amazon S3를 이용한 디비 마이그레이션
네트워크가 단절
해당 디비가 고객사에 없다.
직접 접속이 불가했다.
RDS에서 S3의 데이터 가져옴.
<8> 글로벌 브랜드 데이터 마이그레이션 사례 - 다운 타임 2시간 제한
다운 타임에 대한 요구사항
데이터 크기가 영향을 줌.
최대 2시간 허용.
1
테스트?
Export & Import , Oracle , 1TB , 30 Mbps
추출 7시간
업로드 12시간
입력 14시간
총 33시간 필요
2
개선?
DMS기반 CDC 적용하여 진행함.
3
CDC 적용 전 준비 사항?
원본 데이터 베이스 다이어트
초기 데이터 적재
등등 준비
<9> 오라클에서 Postgre로 이기종 DB 마이그레이션
1
식재료 유통사 사례
2
DMS기반 이 기존 DB 마이그레이션 절차
3
단계 1
스키마를 맞춰 진행
DMS에서 제공하는 SCT이기종 DB 마이그레이션
Schema Conversion Tool 사용
4
단계 2
데이터 이전 , DMS이용
5
DMS 기반 이기종 DB 마이그레이션 절차?
PC에 SCT 설치
SCT를 통한 스키마 변환 - 자동 및 수동
DMS 타깃 엔트포인트 생성
DMS전체 로드 태스크 생성
DMS 태스크 실행
<10> 정리
데이터 분석 현대화는 필수이다.
다음
https://brunch.co.kr/@topasvga/2643
https://brunch.co.kr/@topasvga/2641
감사합니다.
