Elasticsearch, Bulk API 사용법 정리

- 대량으로 es에 데이터를 밀어넣을때 참고.

- 수집한 데이터를 원하는 json 형태로 손보고, bulk api를 적용할 수 있는 구조로(데이터값의 쌍에 맞는 index정보를 추가) 변경해주는게 좀 번거롭다고 생각이 됨. 더 쉽게 할 수 있는 방법은 없을까? 로그의 양이 엄청 많아진다면 전처리 스크립트가 돌아가는것도 시간이 좀 소요될 것 같은데..

https://victorydntmd.tistory.com/316

[Elasticsearch] 대량 추가/조회 ( Bulk API, MultiSearch API )

https://esbook.kimjmin.net/04-data/4.3-_bulk

4.3 벌크 API - _bulk API

공식가이드북,

json파일로 bulk 실행도 가능

예시)

$ curl -XPOST "http://localhost:9200/_bulk" -H 'Content-Type: application/json' --data-binary @bulk.json

https://www.jopenbusiness.com/mediawiki/ElasticSearch_-_REST_API

ElasticSearch - REST API - 오픈소스 비즈니스 컨설팅

https://docs.aws.amazon.com/ko_kr/elasticsearch-service/latest/developerguide/es-gsg-upload-data.html

docs.aws.amazon.com

aws에서 제공하는 es 관련 문서