随笔分类 -  ELK Stack

ELK日志收集报警等
grafana展示ES中的nginx日志-地图展示
摘要：1.nginx配置 日志配置格式 log_format main '{"@timestamp":"$time_iso8601",' '"host":"$hostname",' '"server_ip":"$server_addr",' '"client_ip":"$remote_addr",' '" 阅读全文
posted @ 2021-05-31 14:24 大葱丁 阅读(2204) 评论(0) 推荐(0)
查询elasticsearch索引日志条数
摘要：只是用来记录一些简单的报警脚本 看看就行 ]# cat es_index_count.sh PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin #dhger的2台服务器 for i in {2008,2008-2}; do 阅读全文
posted @ 2020-06-22 14:39 大葱丁 阅读(4298) 评论(0) 推荐(0)
简单记录一下logstash的语法
摘要：本文将一些语法简单的用列子展示出来 1.json input { kafka{ bootstrap_servers => ["10.0.0.11:9092,10.0.0.12:9092,10.0.0.13:9092"] group_id => "es" topics => ["dhc"] codec 阅读全文
posted @ 2020-06-19 10:22 大葱丁 阅读(385) 评论(0) 推荐(0)
基于mysql数据库的grafana忘记密码
摘要：grafana数据库默认为sqlite3，因为需求，更改为mysql，忘记密码，下面为处理方法 mysql -uroot -p #进入数据库 > use grafana > update user set password = '59acf18b94d7eb0694c61e60ce44c110c7a 阅读全文
posted @ 2020-06-12 15:51 大葱丁 阅读(449) 评论(0) 推荐(0)
kibana配置页面跳转
摘要：kibana里面内置有添加markdown建图模型 在里面配置 [点击跳转](https://www.baidu.com "xxxxx") 可以使用markdown进行跳转 在dashboard中添加配置好的markdown，放至最小化，就可以实现简单的页面跳转功能啦！ 阅读全文
posted @ 2020-06-11 08:47 大葱丁 阅读(659) 评论(0) 推荐(0)
kibana导入导出dashborad
摘要：1.kibana导入导出索引会将相关的组件一起导入，如索引，visualize等 2.导出dashborad 进入dashborad中-->>share-->embed code-->save objects-->>ok 进入management-->>saved objects-->>选中-->> 阅读全文
posted @ 2020-06-01 14:38 大葱丁 阅读(2563) 评论(0) 推荐(0)
elk 创建一个只读用户
摘要：往往公司中需要根据不同的开发组创建不同的权限用户来限制index的读取 1.创建spcae space是完全隔离的环境，可以用来分离不用的权限 2..创建roles 只显示给用户2个区域的权限 3.创建用户 4.定时更新spcae 定时更新space，用户可以看到新的dashboard 同时更新ro 阅读全文
posted @ 2020-06-01 13:53 大葱丁 阅读(1127) 评论(0) 推荐(0)
x-pack模式下修改es集群密码
摘要：前提：已经搭建好elk，并配置好x-pack 1.登录kibana 进入user，选择elastic（默认的es用户名）-->修改用户密码-->确定 此时已经不能登录kibana，显示和后端es连接失败 2.修改kibana配置文件 \~]# grep -Ev '^$|^#' /etc/kibana 阅读全文
posted @ 2020-06-01 11:00 大葱丁 阅读(1251) 评论(0) 推荐(0)
filebeat 集中化管理（需要提升权限）
摘要：1.下载压缩包 略 2.复制压缩包到c盘并解压位filebeat 略 3.运行filebeat，选择beats集中管理，创建远程beats Central Management 获取token 4.运行cmd 进入目录 cd c:\filebeat .\filebeat.exe enroll htt 阅读全文
posted @ 2020-05-26 09:02 大葱丁 阅读(605) 评论(0) 推荐(0)
elasticsearch 备份与恢复详细步骤（包含kibana操作界面）
摘要：本文配合kibana操作，可以更清晰的认识到过程 1.创建快照存储库 快照存储库的作用是创建一个目录专门用来分门别类的存放各种备份（快照），以作为后期恢复。 1.修改es配置文件，以便支持快照存储库 # vim /etc/elasticsearch/elasticsearch.yml path.re 阅读全文
posted @ 2020-05-19 11:25 大葱丁 阅读(5930) 评论(0) 推荐(0)
elasticsearch配置集群+elk报错总结
摘要：配置ELK的时候，我平常遇到了以下几种报错情况，整理如下（持续更新中）： 1. elasticsearch启动失败 出现如下报错 其实提示已经很明显了，jvm给的内存不足，那么我们直接把内存调大就可以了 如果不是使用的systemd方法启动，直接调用bin/elasticsearch 启动，那么有几 阅读全文
posted @ 2019-12-16 15:48 大葱丁 阅读(3732) 评论(0) 推荐(0)
logstash设置开机自启动
摘要：本篇文件前提是在centos7.6上使用rpm包安装的logstash，添加systemd方式启动。 新建logstash配置文件 生成systemd 阅读全文
posted @ 2019-12-12 16:11 大葱丁 阅读(3499) 评论(0) 推荐(0)
kafka作为elk缓存使用
摘要：ELK集群在大规模的日志收集中面临着数据量大，收集不及时，或宕机的风险，可以选择单节点的redis，但是相比redis，kafka集群高可用的特性，更优，下面来配置kafka集群配置elk作为缓存的方法。 kafka集群的安装配置 一. 初始环境准备 1.服务器准备 主机 地址 db01 10.0. 阅读全文
posted @ 2019-12-12 09:40 大葱丁 阅读(1014) 评论(0) 推荐(0)
基于ELK 7.50搭建elastalert 监控报警和权限控制
摘要：ELK+监控报警全步骤 需求： 公司要求对出在windows服务器上的日志进行日志分析并根据关键字进行报警，并配置kibana权限控制。下面为详细步骤 环境： centos 7.6 elk版本7.50 （因为7.50版本自带xpack功能，可以满足kibana角色权限控制） 1. windows字符 阅读全文
posted @ 2019-12-06 12:29 大葱丁 阅读(2967) 评论(0) 推荐(0)