Logstash分析

1.概述

     Logstash 是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的“存储库”中。

     JRuby语言实现，Logstash 现在是 ElasticSearch 家族成员之一

     Logstash常用于日志关系系统中做日志采集设备，最常用于ELK（elasticsearch + logstash + kibane）中作为日志收集器使用；

2.架构

    Logstash 的主要优势，一个是在支持各类插件的前提下提供统一的管道进行日志处理： input-filter-output 

logstash收集日志基本流程:

input–>filter–>output

input:  从哪里收集日志  数据输入
filter:对日志进行过滤   数据处理
output:输出哪里        数据传输

 

  

 

 

 

 

3.使用

  3.1 源码位置 

  github上logstash代码位置：

   https://github.com/elastic/logstash

 

  3.2 安装

   下载

 wget https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz

解压 
tar -zxvf logstash-5.4.1.tar.gz

启动
cd logstash-5.4.1

./bin/logstash -e 'input { stdin {} } output { stdout {} }'

4.使用

 

 4.1 启动参数

 

 

4.2 配置文件格式

#　输入
input {
...
}

# 过滤器
filter {
...
}

# 输出
output {
...
}

 

详细信息请参考

https://www.cnblogs.com/JetpropelledSnake/p/9889275.html