ELK-1
elk日志监控平台,由elasticsearch、logstash、kibana三者构成。elasticsearch将日志从logstash拉取过来然后在kibana上以图形化的方式展示。
单机的elk平台,只是es+logstash+kibana就足够,生产中最常用的是集群,es集群直接在es配置文件里边改动,logstash配置在需要收集日志的服务器上,kibana配置在es的主节点上,最好每个es服务器上都配置kibana,然后kibana前端配置nginx做反向代理,防止单机的kibana出故障。
logstash是在java环境下启动的,filebeat也是收集日志的一种工具,他是轻量级的,是用C语言编写的,可以运行在nginx服务器等不是Java环境下的服务器上,作为日志收集的工具。
生产中不会直接将logstash或者filebeat收集的日志发送到logstash上或者直接发送到es上,而是先将手机的日志存放到kafka上或者是redis上,然后再持续的将日志发送到logstash或者es上,最常用的就是配置kafka+zookeeper集群,先将日志发送到kafka,再由kafka将日志发送到logstash,logstash再将日志发送到es上。
以下我配置三台服务器作为搭建elk的服务器,elk-1,elk-2,elk-3,每台服务器上都搭建es,配置es集群;每台服务器上都配置logstash,用来将日志发送到es上;每台服务器配置kibana,es主节点上配置nginx,做kibana的反向代理;每台服务器上配置kafka+zookeeper,做kafka集群。
日志收集的过程为:filebeat/logstash收集各个服务器的日志——>kafka+zookeeper——>logstash——>es——>kibana
注意:1、es,logstash,kibana三者的版本必须一致,否则报错 2、kibana服务出现问题server is not reday yet!原因主要是三者的版本不一致或者是es或者kibana上配置有问题
浙公网安备 33010602011771号