[ElasticSearch]Logstash jdbc 연결(MSSQL)

 

 

Logstash 를 통해 간단하기 DB에 있는 내용을 ES(ElasticSearch)로 색인하기
현재 내부적으로 전처리를 해야 할 부분이 많기에 Java로 수집기를 만들어서 사용하고 있다.
ES가 유행하기 전에 수집기를 Java기반으로 만들어서 사용을 해서 편하게 사용을 했으나 ES에서 logstash를 수집기를 패키지화(?)하여 배포하고 있다.   

1. Logstash 다운로드 받는다. (2.X 버젼 사용)

2. logstash.conf 파일을 설정한다. 
여러가지 고려를 많이 해야겠지만 현재 table 전체 데이터를 ES에 생성한다. 

 

logstash.conf

input {
        jdbc {
                jdbc_driver_library => "sqljdbc4.jar"
                jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
                jdbc_connection_string => "jdbc:sqlserver://[IP]:1433;databaseName=[DB_NAME];"
                jdbc_user => "[USER_NAME]"
                jdbc_password => "[PASSWORD]"
                statement => "select * from [table]"

        }
}

output {
        elasticsearch {
                hosts => ["localhost:9202"]
                document_id => "%{id}"
        }
        stdout {
                codec => rubydebug
        }
}

다른 DB에서도 driver 설정 등을 통해 손쉽게 작업 할 수 있다. 

 

 

출처 : https://codezip.tistory.com/735

[elasticsearch]Logstash jdbc 연결(MSSQL)