Elasticsearch with MySQL
#MySQL #Elasticsearch #Docker #DataTrans
목적은 심플함.
MySQL에 쌓은 또는 쌓이는 데이터를.
Elasticsearch에 주기적으로 옮기기.
왜 옮겨야 하는가?
이게 중요한데, 단순 Sync의 목적도 있지만!
Kibana 연동을 통해서 보고서를 대체(?)하기 위함이 큼.
Logstash 가 필요함.
다른 data shipper 가 있기는 하지만.
Elasticsearch와 연계가 되었다면 그냥.
Logstash를 사용하기를 권함.
우선.
Elasticsearch, Kibana 두 프로세스가 Docker로 실행되고 있다는 가정하에.
Logstash Docker --> pipeline --> logstash.conf 정보를 수정.
input {
jdbc {
jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-5.1.39.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://DB_URI:3306/DB_NAME"
jdbc_user => "USER_NAME"
jdbc_password => "PASSWORD"
jdbc_paging_enabled => true
type => "stats_test"
tracking_column => "utime"
use_column_value => true
tracking_column_type => "numeric"
schedule => "0 * * * * *"
statement => "SELECT *, UNIX_TIMESTAMP(gen_time) as utime FROM table1 WHERE (UNIX_TIMESTAMP(gen_time) > :sql_last_value AND gen_time < NOW()) ORDER BY gen_time ASC"
}
}
output {
# stdout { codec => "rubydebug"}
if [type] == "10" or [type] == "20" {
elasticsearch {
hosts => ["IP_ADDR:9200"]
index => "my_real_idx"
}
} else {
elasticsearch {
hosts => ["IP_ADDR:9200"]
index => "my_exp_idx"
}
}
}
실행하면 알아서 데이터를 가져옴.
1시간에 1번씩!
너무 자주(예로 1초에 1번?) 실행하면.
DB가 힘들어함.
위의 statement의 SQL에 대한 설명은 인터넷에 많이 존재함.
간단히 설명하자면.
최신의 데이터 && 아직 한 번도 옮겨지지 않은 데이터 를 가져오겠다는 구문.
Docker 쓰시는게 맘이 편함.
Elasticsearch, Kibana, Logstash --> docker compose 로 묶어서 사용.
하기를 추천.
끝.
