elk分布式日志系统2

《接着上篇文章 elk分布式日志系统1,继续学习》

 

【Filebeat + Logstash + es】

 

 

--------------------------filter不做任何处理，直接输出到logstash---------到es-------------------

 

  1，输出日志到logstash

 

编辑配置文件filebeat.yml，

 

关闭output.elasticsearch配置

 

 开启logsta日志输出

 

 2,编辑logstash-sample.conf

 

 

 启动logstash 

[logstash@elastic1 logstash-7.13.0]$ ./bin/logstash -f config/logstash-sample.conf

 

启动filebeat

[logstash@elastic1 filebeat_7.13]$./filebeat -e -c filebeat.yml

上面日志在es存储的是脱行的日志（自动按行采集的），如何解决 ？ 实现多行采集

 

编辑filebeat配置文件 新增

multiline.type:pattern
multiline.pattern:^\[
multiline.negate:true
multiline.match:after

 

 

--------------------------filter不做任何处理，直接输出到logstash----------到es------------------

 日志结构化存储

编辑logstash-sample.conf

 

 

-------------------事件-----------------------

 不同类型日志存储在不同的文档中

 1，filebeat配置文件新增

 logstash配置文件

 -----------------基于filebeat采集nginx日志---------------------------------

  filebeat配置文件

 官方文档

https://www.elastic.co/guide/en/beats/filebeat/7.0/filebeat-input-log.html

 

 logstash配置文件 不用做任何处理

 

===============官方支持的采集日志有很多=========================

https://www.elastic.co/guide/en/beats/filebeat/7.10/index.html

 

 

 -----------------基于filebeat采集syslog日志---------TCP------------UDP------------

 官方文档

https://www.elastic.co/guide/en/beats/filebeat/7.10/filebeat-input-syslog.html

 

 vim /etc/rsynclog.conf 系统日志配置文件

开启 

 重启

 systemctl restart rsyslog

修改 logstash配置文件

 单独配置tcp