나만보는 블로그

Elastic Logstash 실시간 파이프 라이닝 기능이있는 오픈 소스 데이터 수집 엔진 서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할수 있음 다양한 입력, 필터 및 출력 플러그인을 통해 모든 유형의 이벤트를 보강하고 변환 할 수 있음 Elastic Kibana 와 연동하여 사용가능 서버 데이터의 로그수집 HTTP 통신을 통한 데이터수집 기존 NoSQL, Database 간 데이터 동기화 Kafka, RabbitMQ, AmazonSQS, ZeroMQ 등과 연동 가능한 유틸 Logstash SQL Import 맛보기 예전 시스템을 사용하여 5.4 버전을 사용 ( 현 7.3버전 : 2019/08/29 기준 ) Text 형태로 Data Import 하는 기본 형태 bin / logstash - e 'input { stdin { } } output { stdout {} }' 쿼리 있는 File을 실행하는 형태도 있음 bin / logstash -f ./mysqlImport.conf input { jdbc { jdbc_driver_library => "/mnt/logstash-2.3.2/lib/mysql-connector-java-5.1.34.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://localhost:3306/Educations” jdbc_user => “유저” jdbc_password => “패스워드” statement => " SELECT * FROM checkout WHERE checkout_no > 5 ORDER BY checkout_no ASC "

linux shell script #!/bin/sh   for FILE in `ls $1` do let I=I+1 echo "$I) $FILE" done   echo -n "Which File ? " read FILE_NUM   FILE_NAME=`ls $1 | sed -n "$FILE_NUM"p`   echo $FILE_NAME 참조 : https://kldp.org/node/114823 http://wiki.kldp.org/wiki.php/DocbookSgml/Bash-Prog-Intro-HOWTO