logstash入门

提取转化数据，数据处理流。

logstash提取转化数据，数据处理流。

Logstash 处理流程

 Input  

   file redis beats kafka

 Filter 强于beats

   grok 基于正则的将非格式化数据转换为格式化数据的语法

   mutate 对结构化后的数据进行增删改查

   drop

   date

Output

   stdout 标准输出

   elasticsearch

   redis

   kafka

Logstash 简介

  Data Shipper 和beats少了lightweight

  ETL -> Extract Transform Load

处理流程

input：可以从file 、Redis 、beats、kafka等读取数据

filter ：gork(表达式，简单理解为基于正则的，可以将非格式化数据转化成格式化数据的语法)、mutate（可以对结构化的数据的字段进行增删改查）、drop、date

output ：可以向stdout 、elasticsearch 、Redis、kafka等中输出

简介 data shipper （不是轻量级的，会比beats占用更多的资源，但是功能强大）

ETL的概念：Extract 对数据进行提取、Transform 转换、Load 对外的输出

logstash 是一个开源的，服务端的数据处理流，可以同时从多个数据源提取数据、转换数据、最后把数据放到你要存储的地方

logstash处理流程

logstash简介

处理流程

input：file 、Redis 、beats、kafka

filter ：gork(表达式，简单理解为基于正则的，可以将非格式化数据转化成格式化数据的语法)、mutate（可以对结构化的数数据的字段进行增删改查）、drop、date

output ：stdout 、elasticsearch 、Redis、kafka

简介 data shipper （不是轻量级的，回避beats占用更多的资源，但是功能功能强大）

ETL的概念：Extract 对数据进行提取、Transform 转换、Load 对外的输出

logstash 是一个开源的，服务端的数据处理流，可以同时从多个数据源提取数据、转换数据、最后把数据放到你要存储的地方

logstash