Beats及Filebeat轻量型日志采集器
Beats简介
Beats被官方称为Lightweight Data Shipper，就是轻量级数据传送者，它主要有几个分类，如下：
1. Filebeats日志文件，主要是针对日志文件。
2. Metricbeat度量数据，主要可以收集CPU等数据，内存，磁盘，服务器软件（如nginx，Mysql等）。
3. Packetbeat网络数据，主要收集网络数据。
4. Winlogbeat Windows数据，针对windows系统日志数据。
5. Heartbeat健康检查。
下图是Beats在整个Elastic Stack中的位置。
Beats位于上图的左侧，也就是数据产生的起始端，它们可以将数据直接传输到elasticsearch中，也可以通过logstash对数据进行解析和转换，然后在传输到elasticsearch，最后在对数据进行可视化的展示。
什么是Filebeat
Filebeat是一款使用go语言开发的，主要是对日志文件进行处理的，是一个属于Beats系列的日志托运者 （一组安装在主机上的轻量级托运人），用于将不同类型的数据传送到ELK堆栈进行分析。每个Beat专门用于传送不同类型的信息，例如，Winlogbeat发布Windows事件日志，Metricbeat发布主机指标等等。顾名思义，Filebeat提供日志文件。
Filebeat处理流程
1. 日志文件输入（Input）。
2. 处理日志文件（Filter）。
3. 输出到目标对象中（Output）。
上图是Filebeat的结构图。 上图左边灰色框中就是Filebeat，右边是Filebeat的输出对象，Filebeat可以将日志输出到Elasticsearch，Logstash，Kafka，redis等。
Filebeat的组成
根据上图可以看到Filebeat由两个主要组件组成，prospector 和 harvester。
1. harvester（收割者）：
负责读取单个文件的内容。
如果文件在读取时被删除或重命名，Filebeat将继续读取文件。
2. prospector（观察者）：
prospector负责管理harvester并找到所有要读取的文件来源，主要监控文件是否变化，如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester（上图prospector1就有两个harvester），如果文件有变化harvester就会收集新的日志。
Filebeat可以有多个prospector，每个prospector负责的文件是不同的。
Filebeat安装
可以先将Filebeats下载，去官网下载，地址：https://www.elastic.co/downloads/beats，也可以在这个地址 https://elasticsearch.cn/download/#seg-4
Filebeats官网地址：https://www.elastic.co/cn/beats/filebeat
Filebeats文档地址：https://www.elastic.co/guide/en/beats/filebeat/current/index.html
Filebeats目录说明
Mac系统安装：
可以先查看filebeat安装信息
安装
查看安装是否成功
安装后Filebeat的相关安装位置:
1. 安装目录：/usr/local/Cellar/filebeat/{filebeat版本}/
2. 配置目录：/usr/local/etc/filebeat/
3. 缓存目录：/usr/local/var/lib/filebeat/
启动featbeat，可以通过命令brew services start filebeat
Filebeat配置
Filebeat的配置文件是filebeat.yml。Filebeat使用的是yaml语法，下面是Filebeat配置示例
filebeat.prospector:
- input_type: log
paths:
- /var/log/apache/httpd-*.log
document_type: apache
- input_type: log
paths:
- /var/log/messages
- /var/log/*.log
说明：
1. prospector可以配置多个，所以这里yaml对于数组是用 - 符号来表示的，每个prospector都有输入类型(input_type)，这里log表示日志文件。
2. paths也是数组(下面也有-这个符号)，path用于指定日志路径。
Filebeat Output配置
1. Filebeat Console（标准输出）：Filebeat将收集到等数据，输出到console里，一般用于开发环境中，用于调试。
output.console pretty.true
enable: true
2. Filebeat Elasticsearch
output.elasticsearch host:["http://localhost:9200"] username: "admin" password: "123456"
Filebeat Filter配置
Filebeat本身可以对数据进行处理，不过处理能力还是有点弱，同时也缺乏对数据转换的能力。
Filebeat 演示-收集Nginx日志
通过stdin收集日志。
先查看Nginx是否启动，在浏览器上输入http://127.0.0.1:8080/
如果不知道你的环境nginx监听的端口，可以查看nginx.conf配置文件中listen就可以。
查看下nginx日志内容
songguojundeMacBook-Pro:~ songguojun$ head -n 10 /usr/local/var/log/nginx/access.log
127.0.0.1 - - [07/May/2020:22:38:13 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:76.0) Gecko/20100101 Firefox/76.0"
127.0.0.1 - - [07/May/2020:22:44:36 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:76.0) Gecko/20100101 Firefox/76.0"
先对nginx.yml文件进行配置，我的Mac系统nginx.yml路径在/usr/local/etc/filebeat/modules.d/下面，如果没有，可以新建一个nginx.yml文件。
该文件内容配置如下：
filebeat.prospectors: - input_type: stdin output.console: pretty: true
在输入命令head -n 10 /usr/local/var/log/nginx/access.log | filebeat -e -c /usr/local/etc/filebeat/modules.d/nginx.yml
nginx日志每一条都被封装到json中。
Filebeat和Elasticsearch Ingest Node
Filebeat是缺乏对数据转换的能力。所以ES在5.x版本的时候增加了一个新的node类型Ingest Node。这个Ingest Node可以在数据写入ES之前可以对数据进行转换，使用的Api是pipeline。
Filebeat Module介绍
Filebeat Module是针对社区中常见的需求进行配置，封装来增加易用性，比如常见nginx的日志，apache日志，mysql日志。这些封装都在featbeat.yml这个配置文件中。
