k8s集群搭建EFK（ElasticSearch + Fluentd + Kibana）日志平台、以及基本使用

k8s集群

kubectl get node

 

EFK简介

ElasticSearch：分布式存储检索引擎，用来搜索、存储日志

Fluentd：日志采集

Kibana：读取es中数据进行可视化web界面展示

 

下载

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

https://github.com/kubernetes/kubernetes/tree/release-1.22/cluster/addons

 

安装

进入efk目录：cd efk/

 

创建EFK所用的命名空间：kubectl create -f create-logging-namespace.yaml

 

创建es-service：kubectl create -f es-service.yaml

 

创建es集群：kubectl create -f es-statefulset.yaml

 

查看pod：kubectl get po -n logging

 

创建kibana：kubectl create -f kibana-deployment.yaml -f kibana-service.yaml

 

查看kibana服务：kubectl get svc -n logging

暴露的端口为30338

 

创建fluentd：kubectl create -f fluentd-es-ds.yaml -f fluentd-es-configmap.yaml

 

查看pod状态：kubectl get po -n logging

确认均为1/1

 

使用

访问kibana：http://192.168.117.161:30338/kibana

192.168.117.161:30338/kibana

 

 

添加数据

 

创建索引 

 

自动读取到索引

 

输入：logstash*，会显示匹配到的资源

 

 

Discover

 

效果

 

验证

看日志：kubectl logs product-78fcbdfd6b-l9ffp -n test

随便找一行日志

2021-11-09 14:35:19.207 ERROR 7 --- [  XNIO-2 task-1] io.undertow.request                      : UT005023: Exception handling request to /queryAllProduct

 

搜索

 

搜索结果包含我们要查找的日志

 

展开看详情，可以根据容器名、主机名、应用标签、名称空间、pod名称等来查找

 

选择添加条件

 

 

也可以修改条件

 

图表

创建饼图

 

更多日志统计图表：【bak】https://www.cnblogs.com/uncleyong/p/15532928.html

 

原文：https://www.cnblogs.com/uncleyong/p/15527484.html

 

【性能项目实战：jmeter+k8s+微服务+skywalking+efk】汇总

详见：https://www.cnblogs.com/uncleyong/p/15475614.html