Docker ELK+Filebeat安装与配置

Docker ELK+Filebeat安装与配置

一、    架构

• Elasticsearch
  一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是要能够处理和搜索巨量的日志数据。
• Logstash
  读取原始日志，并对其进行分析和过滤，然后将其转发给其他组件（比如 Elasticsearch）进行索引或存储。Logstash 支持丰富的 Input 和 Output 类型，能够处理各种应用的日志。
• Kibana
  一个基于 JavaScript 的 Web 图形界面程序，专门用于可视化 Elasticsearch 的数据。Kibana 能够查询 Elasticsearch 并通过丰富的图表展示结果。用户可以创建 Dashboard 来监控系统的日志。
• Filebeat
  引入Filebeat作为日志搜集器，主要是为了解决Logstash开销大的问题。相比Logstash，Filebeat 所占系统的 CPU 和内存几乎可以忽略不计。

二、    部署

1.   安装 ELK 套件：

1)   运行ELK镜像需要vm.max_map_count至少需要262144内存

切换到root用户修改配置sysctl.conf

vim /etc/sysctl.conf

在尾行添加以下内容：vm.max_map_count=262144

并执行命令：sysctl –p

注意：elk启动的时候可能会提示如下错误:max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

查看容器日志：docker logs 容器ID

vim /etc/sysctl.conf

 

添加：vm.max_map_count=655360

执行：sysctl –p

2)   运行ELK镜像：

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk:701

2.  配置logstash：

查看容器信息 docker ps -a

进入容器：

docker exec -it elk /bin/bash

修改02-beats-input.conf

cd /etc/logstash/conf.d/   

vim 02-beats-input.conf

 

/etc/logstash/conf.d/02-beats-input.conf修改成如下图所示：

 

将以下三行删除掉。这三行的意思是是否使用证书，本例是不使用证书的，如果你需要使用证书，将logstash.crt拷贝到客户端，然后在filebeat.yml里面添加路径即可:

ssl => true

ssl_certificate => "/pki/tls/certs/logstash.crt"

ssl_key => "/pki/tls/private/logstash.key"

注意：sebp/elk docker是自建立了一个证书logstash.crt，默认使用*通配配符，如果你使用证书，filebeat.yml使用的服务器地址必须使用域名，不能使用IP地址，否则会报错

 

重启elk容器: docker restart 容器ID

kibana可视化页面: http://192.168.205.11:5601

Elasticsearch的JSON接口：http://192.168.205.11:9200/search?pretty

3.  安装Filebeat

1)   官网下载地址：https://www.elastic.co/cn/downloads/beats/filebeat

 

2)   解压后安装filebeat：rpm -ivh filebeat-6.4.0-x86_64.rpm

3)   配置filebeat：

cd /etc/filebeat

vim filebeat.yml

4)   配置改成如下所示：

5)  

#=========================== Filebeat inputs ============================= filebeat.inputs:

- type: log enabled: true

paths: - /opt/datas/logs/*/*.log   (获取日志的地址请按照自己的实际日志目录)

tags: ["JH"]

multiline: pattern: '^\s*(\d{4}|\d{2})\-(\d{2}|[a-zA-Z]{3})\-(\d{2}|\d{4})' # pattern: '^\s*("{)'

negate: true

match: after

max_lines: 1000

timeout: 30s

6)   enabled：filebeat 6.0后，enabled默认为关闭，必须要修改成true

paths：为你想要抓取分析的日志所在路径

multiline：如果不进行该合并处理操作的话，那么当采集的日志很长或是像输出xml格式等日志，就会出现采集不全或是被分割成多条的情况

pattern：配置的正则表达式，指定匹配的表达式（匹配以 2017-11-15 08:04:23:889 时间格式开头的字符串），如果匹配不到的话，就进行合并行。

 

 

7)   配置改为上图所示。

注释掉Elasticsearch output，开启Logstash output。

hosts：elk所在机器IP地址

如果直接将日志发送到Elasticsearc，请编辑此行：Elasticsearch output

如果直接将日志发送到Logstash，请编辑此行：Logstash output

只能使用一行输出，其它的注掉即可

8)   启动filebeat服：

启动filebeat

systemctl start filebeat.service

查看filebeat状态

systemctl status filebeat.service

查看filebeat日志

tail -f /var/log/filebeat/filebeat

9)   kibana配置：

点击左上角的Discover按钮，如下图所示，提示创建“index pattern”：

 

如下图，红框中输入filebeat-*，再点击Next step:

 

如下图，下拉框中选择@timestamp，再点击Create index pattern：

 

完毕