08 2017 档案

 
kibana- Pie
摘要:1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Pie参数 5. 保存图形 阅读全文
posted @ 2017-08-14 14:44 kaka_jon 阅读(226) 评论(0) 推荐(0)
kibana- Timelion
摘要:1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Timelion表达式 5. 保存图形 阅读全文
posted @ 2017-08-14 14:24 kaka_jon 阅读(480) 评论(0) 推荐(0)
kibana-metric
摘要:1. Visualize 新建图形 2. 选择图形类型 3. 选择索引 4. 设置metric参数 4.1 count 4.2 unique count 5. 保存图形 阅读全文
posted @ 2017-08-14 14:00 kaka_jon 阅读(577) 评论(0) 推荐(0)
kibana-Coordinate Map
摘要:1. Visualize 添加图形 2. 选择图形类型 Coordinate Map 3. 选择索引 4. 设定成图的聚合字段 如果有数据,点击右上角的三角形,地图上就会有显示。 5. 保存图形 阅读全文
posted @ 2017-08-14 13:53 kaka_jon 阅读(1281) 评论(0) 推荐(0)
eleasticsearch重要配置
摘要:elasticsearch重要配置 日志和数据目录 path: logs: /var/log/elasticsearch data: /var/data/elasticsearch 注意:生产环境最好不要保留默认配置,不然在升级elasticsearch的时候,这些目录可能被删除或覆盖。 集群名称 阅读全文
posted @ 2017-08-14 13:40 kaka_jon 阅读(545) 评论(0) 推荐(0)
elasticsearch REST api
摘要:elasticsearch REST api 命令模式:<REST Verb> /<Index>/<Type>/<ID>插入索引 PUT /customer?pretty查询索引列表 GET /_cat/indices?v给索引插入文档 PUT /customer/external/1?pretty 阅读全文
posted @ 2017-08-14 13:39 kaka_jon 阅读(304) 评论(0) 推荐(0)
redis代替kafka做缓存队列
摘要:前言:刚上线elk一个月左右,使用的kafka作为缓存队列,但是不知道为何,中间发生过好几次,elk突然没数据了,长达好几天都没有, 折腾了好久,好了,过几天又发生同样的状况。经查找,数据是有到达kafka,但是logstash读取不了。无奈之下,只能把kafka 更换为redis。 filebea 阅读全文
posted @ 2017-08-14 13:06 kaka_jon 阅读(4727) 评论(0) 推荐(0)
redis安装
摘要:$ rpm -Uvh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm$ rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-rel 阅读全文
posted @ 2017-08-14 10:42 kaka_jon 阅读(111) 评论(0) 推荐(0)
x-pack-crack
摘要:破解x-pack 1. 编辑文件:LicenseVerifier.javapackage org.elasticsearch.license;import java.nio.*;import java.util.*;import java.security.*;import org.elastics 阅读全文
posted @ 2017-08-08 17:00 kaka_jon 阅读(1971) 评论(0) 推荐(0)
ELK获取用户真实IP
摘要:原理:在filebeat这台服务器上的nginx中获取到客户端真实IP($clientRealIp), 然后在访问日志中添加"$clientRealIp"字段。1. 通过map获取到用户真实IP,并调整日志格式,增加$clientRealIp段http { map $http_x_forwarded 阅读全文
posted @ 2017-08-06 10:48 kaka_jon 阅读(2022) 评论(0) 推荐(0)
多层代理获取用户真实IP
摘要:1. 几个概念remote_addr:如果中间没有代理,这个就是客户端的真实IP,如果有代理,这就是上层代理的IP.X-Forwarded-For:一个HTTP扩展头,格式为 X-Forwarded-For: client, proxy1, proxy2 X-Real-IP:自定义的HTTP头,用于 阅读全文
posted @ 2017-08-06 10:09 kaka_jon 阅读(4249) 评论(0) 推荐(1)
ELK帮助文档
摘要:elasticsearch: API中文指南:https://es.xiaoleilu.com/010_Intro/15_API.html 官方文档:https://www.elastic.co/cn/learn ELKstack中文指南:https://kibana.logstash.es/con 阅读全文
posted @ 2017-08-06 09:22 kaka_jon 阅读(521) 评论(0) 推荐(0)
logstash filter plugin
摘要:1. 基本语法%{NUMBER:duration} %{IP:client} 2. 支持的数据类型默认会把所有的匹配都当作字符串,比如0.043, 想要转成浮点数,可以%{NUMBER:num:float}匹配,目前只支持int和float两种。3. 举例说明有下面一段http日志:55.3.244 阅读全文
posted @ 2017-08-06 08:48 kaka_jon 阅读(768) 评论(0) 推荐(0)
开源实时日志分析ELK平台部署
摘要:ELK架构图: 1. JDK环境 1.1 下载最新JDK,解压到/usr/local/java目录。1.2 设置环境变量打开/etc/profile,添加下面内容export JAVA_HOME=/usr/local/javaexport JRE_HOME=$JAVA_HOME/jreexport 阅读全文
posted @ 2017-08-05 17:51 kaka_jon 阅读(758) 评论(0) 推荐(0)
消息队列集群kafka安装配置
摘要:1. 下载wget http://mirror.rise.ph/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz2. 安装tar xf kafka_2.12-0.11.0.0.tgzmv kafka_2.12-0.11.0.0 /data/elk/kafka 阅读全文
posted @ 2017-08-05 17:32 kaka_jon 阅读(468) 评论(0) 推荐(0)
日志采集客户端 filebeat 安装部署
摘要:linux 1. 下载wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-linux-x86_64.tar.g2. 安装tar xf filebeat-5.5.1-linux-x86_64.tar.gzm 阅读全文
posted @ 2017-08-05 10:53 kaka_jon 阅读(4847) 评论(0) 推荐(0)