随笔分类 -  ELK

 
curator管理es索引
摘要：安装curator rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch vi /etc/yum.repos.d/curator.repo[curator-5]name=CentOS/RHEL 6 repository for 阅读全文
posted @ 2018-03-21 14:32 kaka_jon 阅读(1050) 评论(0) 推荐(0)
logstash日志写到es，按照时间来进行切割，生成索引配置
摘要：配置如下： es创建索引使用： logstash-chat-proxy-nginx-access-* logstash-chat-proxy-nginx-error-* 阅读全文
posted @ 2018-03-21 14:19 kaka_jon 阅读(7009) 评论(0) 推荐(0)
logstash的grok正则匹配规则文件
摘要：文件路径：logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-4.1.0/patterns/grok-patterns 在线调试grok规则匹配网址：https://grokdebug.herokuapp.com/ 阅读全文
posted @ 2018-03-21 14:14 kaka_jon 阅读(2460) 评论(0) 推荐(0)
kafka常用命令
摘要：1. 查看topic列表 /data/elk/kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list 2. 查看offset /data/elk/kafka/bin/kafka-consumer-offset-checker.sh -- 阅读全文
posted @ 2017-09-29 16:54 kaka_jon 阅读(357) 评论(0) 推荐(0)
ELK故障：elk在运行一段时间后，没有数据。
摘要：故障排查： 1. 查看kafka、logstash、elasticsearch进程是否运行正常，显示正常。 2. 使用logstash在前台运行，有日志输出 3. 查看kafka的topic的offset，发现offset停止不动 原因分析： 日志量过大，导致kafka堵塞。 解决方法：增加kafk 阅读全文
posted @ 2017-09-08 14:57 kaka_jon 阅读(1433) 评论(0) 推荐(0)
kibana- Pie
摘要：1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Pie参数 5. 保存图形 阅读全文
posted @ 2017-08-14 14:44 kaka_jon 阅读(218) 评论(0) 推荐(0)
kibana- Timelion
摘要：1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Timelion表达式 5. 保存图形 阅读全文
posted @ 2017-08-14 14:24 kaka_jon 阅读(465) 评论(0) 推荐(0)
kibana-metric
摘要：1. Visualize 新建图形 2. 选择图形类型 3. 选择索引 4. 设置metric参数 4.1 count 4.2 unique count 5. 保存图形 阅读全文
posted @ 2017-08-14 14:00 kaka_jon 阅读(565) 评论(0) 推荐(0)
kibana-Coordinate Map
摘要：1. Visualize 添加图形 2. 选择图形类型 Coordinate Map 3. 选择索引 4. 设定成图的聚合字段 如果有数据，点击右上角的三角形，地图上就会有显示。 5. 保存图形 阅读全文
posted @ 2017-08-14 13:53 kaka_jon 阅读(1268) 评论(0) 推荐(0)
eleasticsearch重要配置
摘要：elasticsearch重要配置 日志和数据目录 path: logs: /var/log/elasticsearch data: /var/data/elasticsearch 注意：生产环境最好不要保留默认配置，不然在升级elasticsearch的时候，这些目录可能被删除或覆盖。 集群名称 阅读全文
posted @ 2017-08-14 13:40 kaka_jon 阅读(530) 评论(0) 推荐(0)
elasticsearch REST api
摘要：elasticsearch REST api 命令模式：<REST Verb> /<Index>/<Type>/<ID>插入索引 PUT /customer?pretty查询索引列表 GET /_cat/indices?v给索引插入文档 PUT /customer/external/1?pretty 阅读全文
posted @ 2017-08-14 13:39 kaka_jon 阅读(290) 评论(0) 推荐(0)
redis代替kafka做缓存队列
摘要：前言：刚上线elk一个月左右，使用的kafka作为缓存队列，但是不知道为何，中间发生过好几次，elk突然没数据了，长达好几天都没有， 折腾了好久，好了，过几天又发生同样的状况。经查找，数据是有到达kafka，但是logstash读取不了。无奈之下，只能把kafka 更换为redis。 filebea 阅读全文
posted @ 2017-08-14 13:06 kaka_jon 阅读(4706) 评论(0) 推荐(0)
x-pack-crack
摘要：破解x-pack 1. 编辑文件：LicenseVerifier.javapackage org.elasticsearch.license;import java.nio.*;import java.util.*;import java.security.*;import org.elastics 阅读全文
posted @ 2017-08-08 17:00 kaka_jon 阅读(1954) 评论(0) 推荐(0)
ELK获取用户真实IP
摘要：原理：在filebeat这台服务器上的nginx中获取到客户端真实IP($clientRealIp)， 然后在访问日志中添加"$clientRealIp"字段。1. 通过map获取到用户真实IP，并调整日志格式，增加$clientRealIp段http { map $http_x_forwarded 阅读全文
posted @ 2017-08-06 10:48 kaka_jon 阅读(2001) 评论(0) 推荐(0)
ELK帮助文档
摘要：elasticsearch： API中文指南：https://es.xiaoleilu.com/010_Intro/15_API.html 官方文档：https://www.elastic.co/cn/learn ELKstack中文指南：https://kibana.logstash.es/con 阅读全文
posted @ 2017-08-06 09:22 kaka_jon 阅读(496) 评论(0) 推荐(0)
logstash filter plugin
摘要：1. 基本语法%{NUMBER:duration} %{IP:client} 2. 支持的数据类型默认会把所有的匹配都当作字符串，比如0.043， 想要转成浮点数，可以%{NUMBER:num:float}匹配，目前只支持int和float两种。3. 举例说明有下面一段http日志：55.3.244 阅读全文
posted @ 2017-08-06 08:48 kaka_jon 阅读(759) 评论(0) 推荐(0)
开源实时日志分析ELK平台部署
摘要：ELK架构图： 1. JDK环境 1.1 下载最新JDK，解压到/usr/local/java目录。1.2 设置环境变量打开/etc/profile，添加下面内容export JAVA_HOME=/usr/local/javaexport JRE_HOME=$JAVA_HOME/jreexport 阅读全文
posted @ 2017-08-05 17:51 kaka_jon 阅读(747) 评论(0) 推荐(0)
消息队列集群kafka安装配置
摘要：1. 下载wget http://mirror.rise.ph/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz2. 安装tar xf kafka_2.12-0.11.0.0.tgzmv kafka_2.12-0.11.0.0 /data/elk/kafka 阅读全文
posted @ 2017-08-05 17:32 kaka_jon 阅读(453) 评论(0) 推荐(0)
日志采集客户端 filebeat 安装部署
摘要：linux 1. 下载wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-linux-x86_64.tar.g2. 安装tar xf filebeat-5.5.1-linux-x86_64.tar.gzm 阅读全文
posted @ 2017-08-05 10:53 kaka_jon 阅读(4834) 评论(0) 推荐(0)