brunch

You can make anything
by writing

C.S.Lewis

by Master Seo Dec 30. 2021

NCP 1탄-클라우드 데이터 스트리밍 서비스-20/24


Analytics > Cloud Data Streaming Service 

아파치 카프카 서비스를 관리형으로 만들어주는 서비스



<1>  Cloud Data Streaming Service  생성

<2> 서버에서 로그들 만들어 Cloud Data Streaming에 전송해보자

<3> 전송 확인



<1>  Cloud Data Streaming Service  생성

1

game-datast-cl

2

centos-7.8

3

매니저 노드는 publc

Borker 노드는 private

 다음

생성

(20분 소요)




<2> 서버에서 로그를 만들어 Cloud Data Streaming에 전송해보자


1

리눅스 서버에 접속


2

아파치 로그 제너레이터 설치해서 로그를 생성

wget https://github.com/kiritbasu/Fake-Apache-Log-Generator/archive/refs/heads/master.zip

unzip master.zip


3

로그를 Cloud Data Streaming에 전송해보자.

로그 스테시로 전송한다.  파이썬 , 자바 등 설치해 진행

yum -y install epel-release

yum -y install python-pip

yum -y install java-1.8.0-openjdk

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.tar.gz

tar -zxvf logstash-7.9.2.tar.gz

cd logstash-7.9.2


4

로그 스테시에  Cloud Data Streaming 연결 설정


vi logstash-apache.conf

input {

 file {

 path => "/tmp/access_log/*"

start_position => "beginning"

 }

}


filter {

 grok {

 match => { "message" => "%{COMBINEDAPACHELOG}" }

 }

 date {

 match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]

}

}


output {

 kafka {

 bootstrap_servers => "10.0.3.11:9092,10.0.3.12:9092,10.0.3.13:9092"

 topic_id => "apache-access-log"

 codec => plain {

 format => "%{message}"

 }

}

 stdout { codec => rubydebug }

}



5

수정 필요


Broker 노드 정보  > 상세보기 클릭

PlainText: 부분의 ip를 위 서버 정보에 입력한다.


10.0.3.11:9092,10.0.3.12:9092,10.0.3.13:9092


6

브로커 노드 ACG 수정 필요

서버에서 브로커 노드에 접속하도록 허용 필요

Server >  명령 서버  사설 ip 확인   = 10.0.1. x

Server > 브로커 노드   ACG에서 해당 IP 허용

10.0.1.0/24  9092 port 허용


7

로그 스테시 실행

bin/logstash -f logstash-apache.conf


연결 확인

[2021-12-30T10:30:39,724][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}



8

로그 생성하기?


로그 제네레이터를 통해 로그 생성하자

샘플 로그를  만들자


cd ~/Fake-Apache-Log-Generator-master

pip install -r requirements.txt

mkdir -p /tmp/access_log/sample

python apache-fake-log-gen.py -n 0 -o LOG -p /tmp/access_log/sample 



9

해당 로그를 로그 스테시를 통해  Cloud Data Streaming에 전송해보자

cd ~/logstash-7.9.2

bin/logstash -f logstash-apache.conf 





<3> 전송 확인


1

Cloud Data Streaming  > 


클러스터 관리 >    CMAK 접속 도메인 설정 변경으로 클러스터 매니저 접속 도메인 부여  


2

해당 도메인으로 접속

계정 / 암호 입력

hadoop

goo1


3

확인 


토픽 확인







다음은 


인증서를 LB에 적용해보자


https://brunch.co.kr/@topasvga/2068




매거진의 이전글 NCP 1탄-Private LB로 DB분산-19/24
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari