ELK + Filebeat/EFK - 猿码设计师

ELK+Filebeat的流程应该是这样的:Filebeat->Logstash->（Elasticsearch<->Kibana）由我们自己的程序产生出日志，由Filebeat进行处理，将日志数据输出到Logstash中，Logstash再将数据输出到Elasticsearch中，Elasticsearch再与Kibana相结合展示给用户。

Elasticsearch: 能对大容量的数据进行接近实时的存储，搜索和分析操作。 

 

Logstash： 数据收集引擎，它支持动态的的从各种数据源获取数据，并对数据进行过滤，分析，丰富，统一格式等操作，然后存储到用户指定的位置。

 

Kibana： 数据分析与可视化平台，对Elasticsearch存储的数据进行可视化分析，通过表格的形式展现出来。

 

Filebeat: 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装Filebeat,并指定目录与日志格式,Filebeat就能快速收集数据，并发送给logstash进行解析，或是直接发给Elasticsearch存储

 

filebeat setup -dashboards

https://blog.csdn.net/u014773389/article/details/81207017

 

 

EFK = Elasticsearch + Fluentd + Kibana

Fluentd:  fluentd是一个针对日志的收集、处理、转发系统。通过丰富的插件系统，可以收集来自于各种系统或应用的日志，转化为用户指定的格式后，转发到用户所指定的日志存储系统之中。

             更省资源；插件庞大 - td-agent-3.6.0-0.el7.x86_64.rpm

 

https://docs.fluentd.org/ 

$ ulimit -n
65535


If your console shows 1024, it is insufficient. Please add following lines to your /etc/security/limits.conf file and reboot your machine.

root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536

Optimize Network Kernel Parameters
For high load environments consisting of many Fluentd instances, please add these parameters to your /etc/sysctl.conf file. Please either type sysctl -p or reboot your node to have the changes take effect.

net.core.somaxconn = 1024
net.core.netdev_max_backlog = 5000
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_wmem = 4096 12582912 16777216
net.ipv4.tcp_rmem = 4096 12582912 16777216
net.ipv4.tcp_max_syn_backlog = 8096
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240 65535

https://docs.fluentd.org/

curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent3.sh | sh