NCE-13. Cloud Data Stream

<1> Cloud Data Streaming Service > Config group

<2> Cluster 생성신규 Kafka 클러스터를 생성합니다.

<3> 서버에 Apache Log generator 설치

<4> 웹서버 로그를 Cloud Data Streaming service 로 전송 위해 Logstash 설치

<1> Cloud Data Streaming Service > Config group

Config group 그룹 부터 생성한다.

1

nce-config-group-0724

<2> Cluster 생성신규 Kafka 클러스터를 생성합니다.

1

Big Data & Analytics > Cloud Data Streaming Service

nce-kafka-cl-07

2

매니저 노드 - public (KR1 , KR2 모두 가능하다.)

브로커 노드 private

<3> 서버에 Apache Log generator 설치

1

cd

wget https://github.com/kiritbasu/Fake-Apache-Log-Generator/archive/refs/heads/master.zip

2

# unzip master.zip

3

<4> 웹서버 로그를 Cloud Data Streaming service 로 전송 위해 Logstash 설치

#

yum -y install epel-releas

dnf install python3

python2 --version

wget https://bootstrap.pypa.io/pip/2.7/get-pip.py

# https://bootstrap.pypa.io/pip/3.2/get-pip.py

which pip2.7

yum -y install java-1.8.0-openjdk

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.tar.gz

tar -zxvf logstash-7.9.2.tar.gz

cd logstash-7.9.2

# Logstash apache.conf 파일을 통해 Cloud Data Streaming service 연동 정보 입력 생성

vi logstash-apache.conf

다음

https://brunch.co.kr/@topasvga/4772

NCE-14.System Security Checker