brunch

You can make anything
by writing

- C.S.Lewis -

by Master Seo Jul 26. 2020

425.  VPC flow log, ES로 확인

ES 실습, 키바나 참고


VPC Flow logs   ->  Cloudwatch logs   -> Elasticsearch  -> Kibana




<1> Cloudwatch log  로그 그룹 생성하기

<2> VPC  Flow logs  활성화

<3> Elasticsearch 만들기

<4> EC2 접속하기

<5>  ES  구독 필터 생성

<6> ES 포맷 확인

<7> 대시보드

실습1.  Cloudformation으로  Elasticsearch 구축하기





<1> Cloudwatch log  로그 그룹 생성하기


VPC Flow log를 담을  로그 그룹을 생성한다.


Cloudwatch > 로그 그룹  > 로그 그룹 생성 > 

seo-vpcflowlog-group





<2> VPC  Flow logs  활성화


서비스 > VPC >  플로 로그 생성 

대상 로그 그룹

역할    // 역할은 cloudwatch log를 쓸수 있는 role이 있어야 한다.  

FlowLogs

생성하기

// 10분 걸린다.






<3> Elasticsearch 만들기

1

서비스 > Elasticsearch > 새로 도메인 생성 > 개발과 테스트 > 버전 6.7 > 다음 > 

> Elasticsearch 도메인 네임  

flowlogs2

데이터 노드

> t2.small

> 노드수 1

> EBS

> 일반용(SSD)

> 노드당 스토리지 크기 10

전용 마스터 노드  활성화 하지 않음 (디폴트)

> 다음


2

퍼블릭 액세스 선택


3

사용자 지정 액세스 정책

IPv4주소

10.0.0.0/8

허용

다음






<4> EC2 접속하기


VPC Flow 로그 남도록 EC2에 접속해보기 



<4> ES , Clouwatch  log  확인


1

서비스 > Clouwatch  > log groups

seo-vpcflowlog-group


2

서비스 > ES



<5>  ES  구독 필터 생성


1

 ES   확인


2

Cloudwatch  >  로그  > 로그 그룹 >

seo-vpcflowlog-group


3

Cloudwatch  >  로그  > 로그 그룹  > 작업  >   ES  구독 필터 생성

lambda_elasticsearch_execution

Amazonwe VPC flow Logs

테스트 할 패턴 선택

eni-xxxxxxxxxxxxxxxxxxxx

패턴 테스트


스트리밍 시작



<6> ES 포멧


1

ES 엔드 포인트 확인

https://search-flowlogs112-kadlw63f3aetdj6jogmjetdcte.us-west-2.es.amazonaws.com


2

ES 코드 업데이트

// 코드에 앤드포인트 수정


EC2 에서 실행시키기





<7> 대시보드


1

 ES 콘솔

Flowlogs 도메인

Kibana 링크


cwl-*


인덱스 패턴  생성하기





실습1.  Cloudformation으로  Elasticsearch 구축하기


https://deh4m73phis7u.cloudfront.net/log-analytics/mainlab/


감사합니다.


매거진의 이전글 424.  데이터싱크 ,스토리지 게이트웨이

매거진 선택

키워드 선택 0 / 3 0

댓글여부

afliean
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari