ELK+Filebeat (1)

1 Filebeat介绍

  • Filebeat是Beat成员之一,基于Go语言,无任何依赖,并且比logstash更加轻量,非常适合安装在生产机器上,不会带来过高的资源占用,轻量意味着简单,所以Filebeat并没有集成和logstash一样的正则处理功能,而是将收集的日志原样上报。
  • Filebeat示例配置文件:
filebeat.prospectors:
# 采集系统日志
- input_type: log
  paths: /var/log/messages
  paths: /var/log/cron
  document_type: "messages"
  # 指定 注册表文件,用于记录上次读取的位置,默认位于filebeat下的data目录
  registry_file: /data/filebeat/data/registry

  环境准备:

192.168.1.197    logstash+kibana
192.168.1.202    elasticsearch
192.168.4.121    filebeat(收集服务日志)

2  logstash配置文件

[root@Kibana conf.d]# pwd
/usr/local/logstash/conf.d
[root@Kibana conf.d]# cat beats.conf 
input {
     beats {
     port => 5044
    }
}

output {
    elasticsearch {
      hosts => ["192.168.1.202:9200"]
      index => "microservice-log-%{+YYYY.MM.dd}"
      }
}  
#启动logstash
[root@Kibana conf.d]# nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf.d/beats.conf  &
#logstash收集日志的端口,防火墙需要开放
[root@Kibana conf.d]# ss -lntup|grep 5044
tcp    LISTEN     0      128      :::5044                 :::*                   users:(("java",pid=22292,fd=112))

3  搭建Filebeat

[root@mos-node1 filebeat]# cd /usr/local/src/
[root@mos-node1 src]# ll
total 11388
-rw-r--r--. 1 root root 11661263 Sep 26 09:54 filebeat-6.0.0-linux-x86_64.tar.gz 
[root@mos-node1 src]# tar xf filebeat-6.0.0-linux-x86_64.tar.gz
[root@mos-node1 src]# mv filebeat-6.0.0-linux-x86_64 ../filebeat
[root@mos-node1 filebeat]# cd /usr/local/filebeat/
[root@mos-node1 filebeat]# cat filebeat.yml 
filebeat.prospectors:
- input_type: log
  paths:
    - /var/log/uusafe/*/*/server.log
  exclude_lines: ["^DBG","^$"] 
  document_type: "messages"
output.logstash:
  hosts: ["192.168.1.197:5044"]
  enabled: true
  worker: 1 
  compression_level: 3
  loadbalance: true
[root@mos-node1 filebeat]# nohup  /usr/local/filebeat/filebeat &
  • 访问测试进去了没有:

  • 启动kibana访问测试:http://192.168.1.197:5601

 

posted @ 2018-09-29 17:21 阿进,fighting 阅读(...) 评论(...) 编辑 收藏