//雪花飘落特效 //右上角github跳转 　　

文章分类 -  elk

How to fix hitting maximum shards open error
摘要：#es配置信息： #问题描述： ​ kibana上大量的索引日志展示失败，经过排查，发现服务打印日志正常，filebeat日志收集正常。 filebeat日志收集正常，但是往es推送发生了警告信息；7.X版本es，默认只允许1000个分片，我当前有3个节点，也就是最大3000个分片。最大分片数超出告 阅读全文
posted @ 2022-01-05 10:17 农夫运维 阅读(602) 评论(0) 推荐(0)
filebeat索引使用变量
摘要：filebeat.yml filebeat.inputs: filebeat.config.inputs: path: config/*.yml reload.enabled: true filebeat.config.modules: path: ${path.config}/modules.d/ 阅读全文
posted @ 2021-11-30 11:20 农夫运维 阅读(585) 评论(0) 推荐(0)
利用Curator清理Elasticsearch历史索引
摘要：curator 简介 Curator是一个用来管理Elasticsearch索引的工具，使用它可以管理需要删除或保留的索引数据。 当Elasticsearch作为ELK、EFK等日志收集方案的日志存储时，删除过期数据以释放存储空间显的格外重要，使用Curator可以删除旧的索引并优化系统。 cura 阅读全文
posted @ 2021-10-29 13:14 农夫运维 阅读(417) 评论(0) 推荐(0)
FileBeat多行消息Multiline
摘要：官方地址： https://www.elastic.co/guide/en/beats/filebeat/current/multiline-examples.html 服务日志输出样例： 根据样例可以看出，每一行开始是有相同规律： [时间]2021-10-22 详细学习可以查阅正则表达式 '^(. 阅读全文
posted @ 2021-10-22 13:05 农夫运维 阅读(617) 评论(0) 推荐(0)
logrotate容器中Nginx日志的切割滚动
摘要：无论是对于系统还是对于应用而言，日志是一个极其重要的部分，在出现问题需要追踪的时候，日志文件就发挥它的价值了。 通常日志信息会保存在文件中，显然随着时间的推移，日志文件文件体积会变成很大、记录时间跨度也变得很大。 如果需要打开日志追溯问题时变得异常困难，所以我们需要对我们的日志进行管理，通过某种策略 阅读全文
posted @ 2021-09-22 10:21 农夫运维 阅读(779) 评论(0) 推荐(0)
Elasticsearch针对filebeat配置调优
摘要：问题现象 filebeat是性能非常出色的文件采集工具，绝大多数的业务日志可以很容易的在1秒内收集至elasticsearch内，但是个别日志量大的业务日志无法及时收集，按照官方的默认配置通常1核CPU分配给filebeat时，写ES的速率低于1M/S，这里可以针对filebeat.yml配置文件做 阅读全文
posted @ 2021-08-27 10:09 农夫运维 阅读(1941) 评论(0) 推荐(0)
elk7.2.0集群部署
摘要：国内elk快速下载源地址: https://www.newbe.pro/Mirrors/Mirrors-Elasticsearch/ 在地址中查找对应的版本下载即可。 #filebeat部署 filebeat-7.2.1-linux-x86_64.tar.gz tar zxvf filebeat-7 阅读全文
posted @ 2021-01-19 17:01 农夫运维 阅读(189) 评论(0) 推荐(0)