安装filebeat

Filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件（tail file），并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块（auditd，Apache，Nginx，System和MySQL），可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

官方网址:https://www.elastic.co/guide/en/beats/filebeat/current/index.html

先把kafka和zookeeper搭建好

1.把filebeat的yum源配置好

[root@localhost ~]# vim /etc/yum.repos.d/filebeat.repo
[filebeat-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

2.　　配置文件

[root@192 yum.repos.d]# cd /etc/filebeat/
[root@192 filebeat]# ll
总用量 228
-rw-r--r--. 1 root root 146878 5月  28 21:45 fields.yml
-rw-r--r--. 1 root root  70172 5月  28 21:45 filebeat.reference.yml
-rw-------. 1 root root   7714 5月  28 21:45 filebeat.yml
drwxr-xr-x. 2 root root   4096 7月   7 09:52 modules.d
[root@192 filebeat]# mv filebeat.yml filebeat.yml.bak
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
output.kafka:
  enabled: true
  hosts: ["192.168.177.251:9092","192.168.177.252:9092","192.168.177.141:9092"]
  topic: messages

3. 　开启filebeat

[root@192 filebeat]# systemctl enable filebeat
[root@192 filebeat]# systemctl start filebeat
查看日志文件
[root@192 filebeat]# /usr/local/kafka/bin/kafka-topics.sh --list --zookeeper 192.168.177.251:2181 
__consumer_offsets
messages
wg01

4.验证是否有误

[root@kafka01 logstash]# tailf logstash-plain.log