文章分类 -  ES

使用ElastAlert+ELK实现日志监控钉钉告警
摘要：使用ElastAlert+ELK实现日志监控钉钉告警 介绍 目前公司使用ELK做日志收集和展示分析.所以想对一些关键日志进行监控告警.比如Nginx的5xx日志,比如php-fpm的Fatal严重错误日志等.通过监控ES的日志数据,然后使用Python调用钉钉接口来实现日志的告警 ElastAler 阅读全文
posted @ 2022-03-09 11:36 求其在我 阅读(2012) 评论(1) 推荐(0)
记一次生产ELK性能优化
摘要：记一次生产ELK性能优化 ES上线后遇到一些问题: 一.内存压力过高 目前ES节点的有两种规格内存. 80GB内存(节点同时运行了Logstash,分配了16G给logstash). 54GB内存(只运行ES,并且只作为data节点) ES的JVM内存从32G下降到28G.建议JVM内存是总物理内存 阅读全文
posted @ 2022-03-09 11:31 求其在我 阅读(1094) 评论(0) 推荐(0)
kibana索引及索引冷热分离管理
摘要：kibana索引及索引冷热分离管理 介绍 本篇文档简单介绍一下kibana的索引管理.主要包括: 索引模板 索引模式 索引生命周期 索引冷热分离管理 索引模板配置 索引模板 ES自带一个默认的logstash-*的索引模板,es内部维护了template，template定义好了mapping，只要 阅读全文
posted @ 2022-03-09 11:14 求其在我 阅读(1990) 评论(0) 推荐(0)
生产环境部署ELK7+ES冷热数据分离
摘要：生产环境部署ELK7+ES冷热数据分离 需求整理 当前公司还没有日志收集系统,.线上故障排错需要开发和运维人员通过跳板机登陆到业务服务器去查看日志,如果集群下服务器节点较多,可能需要登陆到每一台服务器才能找到准确的故障信息.这种方式会带来许多问题: 效率低下 需要给研发人员分配生产服务器账号,有安全 阅读全文
posted @ 2022-03-09 11:13 求其在我 阅读(967) 评论(0) 推荐(0)
122_elasticsearch性能调优之基本优化建议
摘要：最最基础，要成为同学脑海中，对es的性能优化的一种常识性的知识，以后做es的时候，就是要按照这个最基本的规范来干 1、搜索结果不要返回过大的结果集es是一个搜索引擎，所以如果用这个搜索引擎对大量的数据进行搜索，并且返回搜索结果中排在最前面的少数结果，是非常合适的。然而，如果要做成类似数据库的东西，每 阅读全文
posted @ 2021-07-15 09:56 求其在我 阅读(101) 评论(0) 推荐(0)
102_es生产集群部署之production mode下启动时的bootstrap check
摘要：1、bootstrap check 经常会碰到一些es的用户，遇到一些奇怪的问题，主要是因为他们没有配置一些重要的设置。 在es以前的老版本中，对这些设置错误的配置，会在日志里记录一些warning告警。但是有时候用户会忽略这些日志中的告警信息。为了确保说这些设置的错误配置告警信息可以引起用户的注意 阅读全文
posted @ 2021-06-10 11:05 求其在我 阅读(217) 评论(0) 推荐(0)
93_es生产集群部署之硬件配置、jvm以及集群规划建议
摘要：我们之前一直是在windows环境下去启动一个单节点的es进程，然后去学习和练习各种es的高阶的搜索技术，聚合技术。这些主要针对的是es的开发，你可以认为是，如果你是一个java工程师的话，然后你们公司已经有人去维护和搭建一个es集群了，那么你直接掌握之前的内容，就足够了，你就可以建立需要的索引，写 阅读全文
posted @ 2021-06-01 10:01 求其在我 阅读(1285) 评论(0) 推荐(0)