6탄-4. 손쉽게 SAP 데이터 기반 분석 플랫폼 구축
SAP 데이터를 가지고 분석 플랫폼을 만드는 법
<1> 왜 AWS위에 데이터 분석 플랫폼을 만들어야 하는가?
<2> AWS의 SAP 분석 플랫폼 아키텍처
<3> 클라우드로 이전을 망설이는 이유?
<4> SAP 분석 플랫폼 만들기 - SAP 데이터 추출법
<5> Amazon AppFlow 사용을 위한 시스템 요구사항 4 가지
<6> AWS Glue DataBrew 서비스
<7> SAP 서버리스 데이터 레이크 아키텍처
<8> 머신러닝 시계열 예측 개발 프로세스
<9> 클라우드로 이전을 망설이는 이유? 해결법
<10> 개인 정리
<1> 왜 AWS위에 데이터 분석 플랫폼을 만들어야 하는가?
1
현황
전통적인 DW로 비즈니스 인텔리전스 환경으로 사용 중
Iot, 모바일 등 데이터가 늘어나고 비정형, 반정형 데이터의 증가
2
문제점
비정형,반정형 데이터의 증가로 데이터 사일로 현상이 발생항
데이터를 통합된 시각으로 보기 어려움
3
개선방향
하나의 클라우드 레포지토리에 저장하는 데이터 레이크 아키텍처가 생겨났다.
데이터 레이크 레포지토리로 S3를 사용한다.
분석 및 머신러닝은 S3와 잘 연계된다.
4
SAP는?
SAP ERP 및 모든 데이터를 저장
비즈니스 환경에 맞추어 사용하려 스탠더드 프로그램을 커스터마이징해 사용함
s/4 HANA와 같은 차세대 버전이 나올 때마다 업그레이드가 힘듦
IOT, 머신러닝 서비스를 SAP에 통합이 힘듦
새로운 기술은 SAP 통합 개발 Platform 인 BTP와 Cloud native 설루션으로 개발한다.
기존 SAP 시스템은 설루션의 고유한 기능을 유지하자는 Clean Core Model로 트렌드가 이동하고 있다.
SAP BTP는 AWS 포함한 하이퍼 스케일러에서 서비스되고 있다.
한국리전에서 동작
<2> AWS의 SAP 분석 플랫폼 아키텍처
1
소스 데이터
정형, 비정형 데이터
2
경우에 따라 변환 작업이 필요.
Amazon AppFlow, AWS Glue, AWS lambda 사용
참고:
단독으로 실행 가능한 것은 Amazon
다른 서비스에 유틸리티 성으로 사용하는 것은 AWS가 붙는다.
3
저장은 S3 나 S3 Glacier
저장한 데이터를 AWS Glue Data Catalog를 이용해 메타 스토어를 만든다.
4
S3에 있는 데이터를 분석과 머신러닝에 이용한다.
분석?
레드 쉬프트, 아테나, EMR
머신러닝?
SageMaker , Forecast , Personalize 등
5
변환하고 가져오고, 손쉽게 쓸 수 있게 해주는 서비스가 AWS Lake Formation이다.
6
마지막으로 분석된 데이터를 , AWS 네이티브 서버리스 BI인 Amazon QuickSight를 통해 대시보드를 만든다.
SAP Intergration Suite를 이용해 SAP BTP가 제공하는 여러 서비스에서 활용도 가능하다.
<3> 클라우드로 이전을 망설이는 이유?
1
추가 비용 투자에 대한 두려움.
이미 온프레미스에 분석 설루션을 가지고 있거나, 추가 비용 투자에 대한 어려음.
2
SAP에서 데이터 추출의 어려움
추가 개발 또는 전문 솔루션 도입이 어려운 경우
3
AI/ML을 수행하고 싶지만 전문가가 없다.
<4> SAP 분석 플랫폼 만들기 - SAP 데이터 추출법
1
어떻게 SAP 데이터를 추출할까? 2가지
애플리케이션 레벨 추출 - 개발/설루션 필요, 애플리케이션 뷰 유지
데이터 베이스 레벨 추출 - 라이선스/설루션 필요, 애플리케이션 뷰로 변경, 데이터 베이스 추출이라 추가 개발 필요할 수 있음.
2
추천 추출법?
애플리케이션 레벨 추출법이다.
AWS GLue와 AWS 람다를 사용할 수 있다.
SAP oDATA 연결 부분이나 필요한 변환작업을 위해 추가 개발이 필요하다.
이를 개선하기 위해 Amazon AppFlow에 새로운 개발을 만들었다.
SAP ODATA Connecter 기능
Amazon AppFlow는?
타사 어플리케 션과 AWS 간 데이터를 필터링 등 전송하게 해주는 완전 관리형 서비스
(소스) Salesforce, Slack , SAP ------------ Amazon AppFlow ( 데이터 변환) ------------- S3, Redshift, SAP (목적지)
3
추출되면 S3에 저장된다.
4
AWS PrivateLink의 보안 네트워크를 이용해 데이터를 가져와야 한다.
<5> Amazon AppFlow 사용을 위한 시스템 요구사항 4 가지
1
SAP NetWeaver 7.40 SP02 이상
2
검색을 위한 카탈로그 서비스는
ODATA V2.0 , ODATA V4.0에서 지원
3
인증 메커니즘
기본 ID/Pass : ODATA 2.0 , 4.0
OAUTH2.0 : ODATA 2.0
4
HTTPS를 통해 SAP Application 연결.
http 만 지원 시 ALB , NLB를 연결해 SSL 지원되도록 한다.
<6> AWS Glue DataBrew 서비스
코드 작성 없이 데이터를 정리할 수 있다.
250개의 빌트인 변환 도구 제공
데이터 준비 시간을 줄일 수 있다.
복잡한 변환작업을 쉽게 해 준다.
<7> SAP 서버리스 데이터 레이크 아키텍처
1
구조
SAP ------------데이터 추출 (Amazon AppFlow )----S3 -------------데이터 준비(AWS Glue DataBrew)------------S3-- 아테나, 퀵 사이트 사용
2
S3 데이터를 머신러닝도 사용 가능하다.
<8> 머신러닝 시계열 예측 개발 프로세스
1
소스(판매량, 재고, 서버수, 가격, 조회수, 브랜드 등) -------------- 데이터 적재, 검사, 기능 확인, 알고리즘, 모델 학습, 최적화, 모델 배포 등 -------------------- 맞춤형 예측 API
2
Amazon Forecast?
예측 경험과 개발로 만들어진 알고리즘이 포함된 완전 관리형 서비스
머신러닝 경험이 없는 고객이 쉽게 사용할 수 있도록 하는 서비스
3
데이터 세트를 미리 준비해야 한다.(필수)
타깃 타임 시리즈
릴레이트 타임 시리즈
아이템 메타 데이터
4
AppFlow를 이용하여 다시 SAP Application에 입력할 수 있다.
<9> 클라우드로 이전을 망설이는 이유? 해결법
1
추가 비용 투자에 대한 두려움.
이미 온프레미스에 분석 설루션을 가지고 있거나, 추가 비용 투자에 대한 어려음.
해결법
서버리스 데이터 레이크를 구축하고 사용한 만큼 지불.
2
SAP에서 데이터 추출의 어려움
추가 개발 또는 전문 설루션 도입이 어려운 경우
해결법
Amazon AppFlow로 추출. Amazon AppFlow SAP ODATA Connector 사용
3
AI/ML을 수행하고 싶지만 전문가가 없다.
해결법
AWS AI 서비스 사용하면 전문 지식 없이도 가능하다.
<10> 개인 정리
Amazon AppFlow로 SAP 데이터를 AWS로 추출하는 게 더 쉬워졌다. S3에 저장된다.
AWS Glue DataBrew 서비스로 코드 작성 없이 데이터를 정리할 수 있다.
머신러닝 시계열 예측 개발을 쉽게 사용할 수 있도록 하는 amazon Forecast 서비스가 있다.
https://brunch.co.kr/@topasvga/2799
https://brunch.co.kr/@topasvga/2439
감사합니다.
