Elastic Logstash 사용기

Elastic Logstash

• 실시간 파이프 라이닝 기능이있는 오픈 소스 데이터 수집 엔진
• 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할수 있음
• 다양한 입력, 필터 및 출력 플러그인을 통해 모든 유형의 이벤트를 보강하고 변환 할 수 있음
• Elastic Kibana 와 연동하여 사용가능
• 서버 데이터의 로그수집
• HTTP 통신을 통한 데이터수집
• 기존 NoSQL, Database 간 데이터 동기화
• Kafka, RabbitMQ, AmazonSQS, ZeroMQ 등과 연동 가능한 유틸

Logstash SQL Import 맛보기

• 예전 시스템을 사용하여 5.4 버전을 사용 ( 현 7.3버전 : 2019/08/29 기준 )
• Text 형태로 Data Import 하는 기본 형태

bin/logstash -e 'input { stdin { } } output { stdout {} }'

• 쿼리 있는 File을 실행하는 형태도 있음

bin/logstash -f ./mysqlImport.conf

input { 
    jdbc { 
     jdbc_driver_library => "/mnt/logstash-2.3.2/lib/mysql-connector-java-5.1.34.jar" 
     jdbc_driver_class => "com.mysql.jdbc.Driver" 
     jdbc_connection_string => "jdbc:mysql://localhost:3306/Educations” 
     jdbc_user => “유저” 
     jdbc_password => “패스워드” 
     statement => "SELECT * FROM checkout WHERE checkout_no > 5 ORDER BY checkout_no ASC" 
    } 
} 
output { 
    elasticsearch { 
     index => "es" 
     document_type => “checkout” 
     document_id => “%{checkout_no}" 
     hosts => ["localhost:9200"] 
    } 
} 

참고자료

https://www.elastic.co/guide/en/logstash/5.4/introduction.html
https://www.elastic.co/guide/en/logstash/5.4/first-event.html
https://codeshare.co.uk/blog/how-to-copy-sql-server-data-to-elasticsearch-using-logstash/
https://stackoverrun.com/ko/q/10562636