logstash jdbc elasticsearch导入数据 效率不高 、启动时间过长

Question

如图所示
logstash conf文件

es部署在一台机器上 内存8g
elasticsearch.yml 配置
    bootstrap.memory_lock: true
jvm.options
   -Xms7g
   -Xmx7g
 
logstash部署在另一台机器上内存10g
    logstash.yml
       pipeline.workers: 32
       pipeline.batch.size: 2000
  jvm.options
        -Xms9g
        -Xmx9g
 
   
   
 
 

实现思路：
   每次读取10万条数据，分页数据5万条，每3分钟启动一个logstash，解决jdbc嵌套子查询效率低下问题 
结果：
    1 读取10万数据，需要3分钟，500万条数据读取需要花费2个多小时，效率低下
 想解决的问题
    1 读取10万条数需要3分钟，缩短时间
    2  每次启动logstash实例需要耗时1分钟，缩短时间

Answer 1

收集数据的工具，可以用filebeat来采集，这样能减少logstash的压力，logstash做的工作只需要正则匹配，处理数据，然后发到es上即可，可以做个测试，看看这样是否有所提升。