AWS: 요금정보 시각화 & Kibana

이전 포스팅과 이어서 AWS & KIBANA

AWS 과금 관련 API는 다양한 정보를 가져 올 수 있다.

그 중에서 COST_AND_USAGE 관련 API 에 대해서 문서를 살펴보았다.

---

Ref: https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/ce.html#CostExplorer.Client.get_cost_and_usage

CostExplorer — Boto 3 Docs 1.9.163 documentation

---

대략 데이터가 어떻게 생겼다는 계산이 나오니

시각화를 해보고 싶은 생각이 들었다.

Kibana 를 이용해서 빠르게 만들어 본다.

먼저 AWS 과금 관련 데이터는 DAILY 로 최대 20일 씩 가져 올 수 있다.

COST_AND_USAGE API 요청은 최대 2개의 GroupBy를 지원한다.

요 두가지 특징만 알면 어떻게 데이터를 가져와야 하는지

느낌이 온다.

1. 과금 정보의 시작일(Start)에서 20일 씩 더해가면서

반복적으로 데이터를 요청한다.

2. 가져온 해당 데이터에 그 날짜를 Timestamp 를 주입힌다.

3. Elastic로 Bulk 요청한다.

너무 간단(?)한 나머지 코드는 공유하기 창피해서

안한다.

바로 결과,

지역별 COST 분포

지역-사용범주별 COST 분포

시간별 COST 분포

약간의 데이터를 가지고.

Dummy 형식의 데이터 증식을 통해서 좀 풍부하게 보이도록 리터칭을 시도했다.

내가 위에서 적용한 데이터 증식에는 여러가지 타입이 존재하는데

그 다음으로 시도해 볼 수 있는 것은

파생 데이터를 만들어 추가적인 정보(외부 or 내부 소스로 부터) 를 이용하는 것이다.

예을 들어,

위도, 경도 데이터를 추가하거나 또는 서비스 트래픽 정보를 추가하여

함께 가공 / 분석(간단한 PCA 또는 CLUSTERING) 을 진행해 볼 수 있으리라.

끝.