네이버1탄-클라우드 데이터 스트리밍 서비스-20/24
Analytics > Cloud Data Streaming Service
아파치 카프카 서비스를 관리형으로 만들어주는 서비스
<1> Cloud Data Streaming Service 생성
<2> 서버에서 로그들 만들어 Cloud Data Streaming에 전송해보자
<3> 전송 확인
<1> Cloud Data Streaming Service 생성
1
game-datast-cl
2
centos-7.8
3
매니저 노드는 publc
Borker 노드는 private
다음
생성
(20분 소요)
<2> 서버에서 로그를 만들어 Cloud Data Streaming에 전송해보자
1
리눅스 서버에 접속
2
아파치 로그 제너레이터 설치해서 로그를 생성
wget https://github.com/kiritbasu/Fake-Apache-Log-Generator/archive/refs/heads/master.zip
unzip master.zip
3
로그를 Cloud Data Streaming에 전송해보자.
로그 스테시로 전송한다. 파이썬 , 자바 등 설치해 진행
yum -y install epel-release
yum -y install python-pip
yum -y install java-1.8.0-openjdk
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.9.2.tar.gz
tar -zxvf logstash-7.9.2.tar.gz
cd logstash-7.9.2
4
로그 스테시에 Cloud Data Streaming 연결 설정
vi logstash-apache.conf
input {
file {
path => "/tmp/access_log/*"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
date {
match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
}
}
output {
kafka {
bootstrap_servers => "10.0.3.11:9092,10.0.3.12:9092,10.0.3.13:9092"
topic_id => "apache-access-log"
codec => plain {
format => "%{message}"
}
}
stdout { codec => rubydebug }
}
5
수정 필요
Broker 노드 정보 > 상세보기 클릭
PlainText: 부분의 ip를 위 서버 정보에 입력한다.
10.0.3.11:9092,10.0.3.12:9092,10.0.3.13:9092
6
브로커 노드 ACG 수정 필요
서버에서 브로커 노드에 접속하도록 허용 필요
Server > 명령 서버 사설 ip 확인 = 10.0.1. x
Server > 브로커 노드 ACG에서 해당 IP 허용
10.0.1.0/24 9092 port 허용
7
로그 스테시 실행
bin/logstash -f logstash-apache.conf
연결 확인
[2021-12-30T10:30:39,724][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
8
로그 생성하기?
로그 제네레이터를 통해 로그 생성하자
샘플 로그를 만들자
cd ~/Fake-Apache-Log-Generator-master
pip install -r requirements.txt
mkdir -p /tmp/access_log/sample
python apache-fake-log-gen.py -n 0 -o LOG -p /tmp/access_log/sample
9
해당 로그를 로그 스테시를 통해 Cloud Data Streaming에 전송해보자
cd ~/logstash-7.9.2
bin/logstash -f logstash-apache.conf
<3> 전송 확인
1
Cloud Data Streaming >
클러스터 관리 > CMAK 접속 도메인 설정 변경으로 클러스터 매니저 접속 도메인 부여
2
해당 도메인으로 접속
계정 / 암호 입력
hadoop
goo1
3
확인
토픽 확인
다음은 인증서를 LB에 적용해보자
https://brunch.co.kr/@topasvga/2068
감사합니다.
