安装 logstash
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip
解压：
unzip logstash-5.5.0.zip
之后将文件移动到自己存放的目录即可。
启动服务测试一下是否安装成功：
cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'
如果出现下面的东西就表示成功：
image.png
输入随便什么内容：
HelloWorld
image.png
安装logstash-input-jdbc插件
在我安装完这东西之后，看到好像可以不用安装这个就可以直接和数据库同步的，但是由于重新安装太麻烦了，而且没有其他的服务器给我试，就没有去试试看行不行。
我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。
安装logstash是一件比较蛋疼的事，因为这东西适用ruby开发的，我对ruby这东西是一点也不懂，所以比较不好弄。
如果没有gem命令的话，需要先安装一下子（root用户才可以）
替换ruby镜像库为国内的库，因为国外的库，国内是访问不到的，然后国内有两个库，两个库都是可以用的：
1、替换成ruby-china的库
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/
查看是否成功
gem sources -l
image.png
2、进入logstash中的bin 修改Gemfile文件里面的数据源
image.png
3、进入到logstash的bin下
cd bin
./plugin install logstash-input-jdbc
4、在bin下新建一个目录config-mysql创建mysql.conf文件：
mkdir config-mysql
cd config-mysql
vim mysql.conf
在文件中输入下面的内容
input {
stdin {
}
jdbc {
# 数据库
jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
# 用户名密码
jdbc_user => "root"
jdbc_password => "123456"
# jar包的位置
jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
# mysql的Driver
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#statement_filepath => "config-mysql/test02.sql"
statement => "select * from test02"
schedule => "* * * * *"
#索引的类型
type => "test02"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
hosts => "127.0.0.1:9200"
# index名
index => "test01"
# 需要关联的数据库中有有一个id字段，对应索引的id号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
注意关联的数据库表中需要有id字段用来映射形成的索引的id号。
终于把工作都做完了。
进入bin目录下：
./logstash -f config-mysql/mysql.conf --path.data=/data/ELK/logstash/data2 (设置数据存贮路径)
image.png
©著作权归作者所有：来自51CTO博客作者yunlielai的原创作品，如需转载，请注明出处，否则将追究法律责任