随笔分类 -  ELK

elastalert基本配置说明
摘要：elastalert 配置语法： 简单rule规则: es_host,es_port:查询elasticsearch集群 name: 规则的唯一名称。如果相同，则elastalert不会启动。 type: 数据验证方式(规则类型) index: 要查询的索引名称。默认 filter： 相当于 查询语 阅读全文
posted @ 2019-07-16 11:56 dance_man 阅读(11570) 评论(0) 推荐(0)
elastalert docker安装
摘要：基于对elasticsearch中数据监控需要，我尝试了sentinl和elastalert两款工具。虽然elastalert是纯文本，但易配置管理。elk自带的watch需要付费才可使用。 6.2x版本以上，需要先运行elastalert server服务(docker),然后在能使用kibana 阅读全文
posted @ 2019-07-16 11:54 dance_man 阅读(3429) 评论(0) 推荐(0)
elasticsearch-head安装
摘要：elasticsearch head第三方的查询工具 "elasticsearch head git" 环境: elasticsearch6.x docker安装： 查询镜像: 拉取镜像： elasticsearch head:5 标准版本(最新)，兼容elasticsearch 5.x和6.x版本 阅读全文
posted @ 2019-06-21 11:47 dance_man 阅读(797) 评论(1) 推荐(0)
logstash语法配置
摘要：条件判断(只适用于filter和output) logstash在处理数据(配置文件中)时，支持通过判断条件( )语句进行编写 语法格式： : 比较运算符(只支持小写)： ,`!= ,`=` ,`!~(不匹配正则)` ,`not in(不包含)` 布尔运算符： ,`or(或) nand(非与) xo 阅读全文
posted @ 2019-06-11 15:55 dance_man 阅读(3588) 评论(0) 推荐(0)
kibana误删除索引解决办法
摘要：误删除kibana上的index恢复办法 误删除kibana上创建的索引时，会导致图表无法正常显示，图表所依赖前一次创建索引时生成的index值。 解决思路 因为图表依赖创建索引时生成的index值，所以只要找到新创建的index值即可。 解决办法 1、首先所误删除的index给重新建立 2、打开 阅读全文
posted @ 2019-06-10 15:16 dance_man 阅读(3141) 评论(0) 推荐(0)
elastic常用工具
摘要：elasticsearch 常用工具： elasticsearch dump :备份 elasticsearch head :数据展示、操作平台 elasticsearch head github 地址： "https://github.com/mobz/elasticsearch head" el 阅读全文
posted @ 2019-04-28 20:18 dance_man 阅读(549) 评论(0) 推荐(0)
mapping 映射
摘要：es的映射就相当于编程语言中给变量定义类型，定义后的变量使用起来更高效，未定义的变量相较于定义的性能肯定是不如的。所以需要掌握es映射。 未定义映射es会对提供的数据进行类型猜测，如果对自动判断的类型及参数设置不满意，或者需要使用一些更高级的映射设置，那么就需要使用自定义映射。 添加映射格式： 创建 阅读全文
posted @ 2019-04-12 21:35 dance_man 阅读(3217) 评论(0) 推荐(0)
nginx 日志问题(\x22)
摘要：nginx 日志问题(\x22) 问题： 1、request_body中含有中文时，nginx日志会转换为十六进制。 2、nginx记录问题 优化： logstash为了能高效的处理各类日志，希望日志是一种特定结构存储的方式。 nginx默认日志格式： 问题日志 中都是转换后十六进制，不易阅读. 直 阅读全文
posted @ 2019-04-01 11:13 dance_man 阅读(7265) 评论(0) 推荐(0)
elastic date时区问题解决办法
摘要：之前介绍filter date插件时就谈到时区问题，但是没有说明白。最近在使用range查询时间范围内的数据时出现了数据量不一致的情况。特地了解了下ELK Stack中关于时区的问题。 问题: 使用kibana discovery界面搜索时，数据量一致。使用curl 搜索时少了数据。 再说时间问题前 阅读全文
posted @ 2019-03-28 15:52 dance_man 阅读(6720) 评论(0) 推荐(0)
filter-kv 插件
摘要：描述： 此过滤器插件用于解析各种key vlaue类型日志。 例如，如果您有一条日志包含 ,则可以通过kv插件自动解析成 常用配置选项： 添加默认键及其值的散列，如果有解析源中有相应字段则使用解析源中的值，如源中没有，则使用此使用添加的默认字段和值。 指定不应添加到事件中的已解析密钥。默认情况下，不 阅读全文
posted @ 2019-03-07 16:36 dance_man 阅读(1090) 评论(0) 推荐(0)
kibana自动创建索引
摘要：一般索引按月、季或年为单位创建索引。我这里写成logstash www 2019 03,www是URL的二级域名。格式类型完全根据自己方便就行。 当ELK集群中的索引过多时，我这里有100多个不同的日志，也就是得有100多个索引。如果要手动在在kibana界面上创建，还不得累死。所以就想到用程序调用 阅读全文
posted @ 2019-03-04 17:38 dance_man 阅读(12746) 评论(0) 推荐(0)
filter-grok,dissect匹配数据
摘要：Grok(正则捕获)、Dissect(切分)： grok使用正则匹配来提取非结构化日志数并据解析为结构化和可查询的内容。 dissect使用多种定界符(非数字和字母的符号，split只能一次只能使用一种定界符)来提取非结构化日志数据。 dissect与grok的不同之处在于它不使用正则表达式并且速度 阅读全文
posted @ 2019-01-28 10:59 dance_man 阅读(1545) 评论(0) 推荐(0)
filter - date 日期插件
摘要：为什么要用 插件： 我们希望日志展示的时间就是日志生成的时间，一般日志中都会附加时间，这样方便根据时间查找问题。但在logstash中，默认使用 时间值来表示日志的时间， @timestamp date @timestamp`,这样最后展示的时间就是日志生成时间。 常用选项： match [fiel 阅读全文
posted @ 2019-01-25 10:22 dance_man 阅读(1048) 评论(0) 推荐(2)
logstash multiple piplines 配置方式
摘要：当logstash有很多个input类型需要处理时。为了更方便的管理，我们需要使用一个.conf(input filter output)配置文件来对应一个pipeline。 piplines.yml 在 里加入如下配置 配置说明: 标识位，用于区分不同的pipeline。如果所有的conf配置文件 阅读全文
posted @ 2019-01-02 11:46 dance_man 阅读(2380) 评论(0) 推荐(0)
filter-mutate过滤插件
摘要：之前的nginx日志使用grok匹配，但是后来发现nginx的日志中每个值之间都使用了分隔符"|",这下就可以使用mutate来分隔出每个字段的含义，同时还减少了运算。 描述 mutate过滤器允许您对字段执行常规突变。您可以重命名，删除，替换和修改事件中的字段。 长用配置选项： rename:重命 阅读全文
posted @ 2018-12-29 15:17 dance_man 阅读(1384) 评论(0) 推荐(0)
ELK Stack部署
摘要：部署ELK Stack 官网：https://www.elastic.co 环境准备： ip | hostname | 服务 | 用户、组 | : : | : : | : 192.168.20.3 | node2003 | kibana6.5,filebeat | es 192.168.20.4 | 阅读全文
posted @ 2018-12-24 18:00 dance_man 阅读(1141) 评论(0) 推荐(0)
ELK-图示nginx中ip的地理位置
摘要：一、环境准备： 1. ELK stack 环境一套 2. geolite数据库文件 二、下载geolite数据库(logstash机器上解压,logstash需调用)： geolite官网： "https://dev.maxmind.com" 三、编辑logstash配置文件 配置解释 geoip： 阅读全文
posted @ 2018-12-19 20:33 dance_man 阅读(1652) 评论(0) 推荐(0)