kibana- Pie
摘要:1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Pie参数 5. 保存图形
阅读全文
kibana- Timelion
摘要:1. Visualize 新建图形2. 选择图形类型 3. 选择索引 4. 设置Timelion表达式 5. 保存图形
阅读全文
kibana-metric
摘要:1. Visualize 新建图形 2. 选择图形类型 3. 选择索引 4. 设置metric参数 4.1 count 4.2 unique count 5. 保存图形
阅读全文
kibana-Coordinate Map
摘要:1. Visualize 添加图形 2. 选择图形类型 Coordinate Map 3. 选择索引 4. 设定成图的聚合字段 如果有数据,点击右上角的三角形,地图上就会有显示。 5. 保存图形
阅读全文
eleasticsearch重要配置
摘要:elasticsearch重要配置 日志和数据目录 path: logs: /var/log/elasticsearch data: /var/data/elasticsearch 注意:生产环境最好不要保留默认配置,不然在升级elasticsearch的时候,这些目录可能被删除或覆盖。 集群名称
阅读全文
elasticsearch REST api
摘要:elasticsearch REST api 命令模式:<REST Verb> /<Index>/<Type>/<ID>插入索引 PUT /customer?pretty查询索引列表 GET /_cat/indices?v给索引插入文档 PUT /customer/external/1?pretty
阅读全文
redis代替kafka做缓存队列
摘要:前言:刚上线elk一个月左右,使用的kafka作为缓存队列,但是不知道为何,中间发生过好几次,elk突然没数据了,长达好几天都没有, 折腾了好久,好了,过几天又发生同样的状况。经查找,数据是有到达kafka,但是logstash读取不了。无奈之下,只能把kafka 更换为redis。 filebea
阅读全文
redis安装
摘要:$ rpm -Uvh http://download.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm$ rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-rel
阅读全文
x-pack-crack
摘要:破解x-pack 1. 编辑文件:LicenseVerifier.javapackage org.elasticsearch.license;import java.nio.*;import java.util.*;import java.security.*;import org.elastics
阅读全文
ELK获取用户真实IP
摘要:原理:在filebeat这台服务器上的nginx中获取到客户端真实IP($clientRealIp), 然后在访问日志中添加"$clientRealIp"字段。1. 通过map获取到用户真实IP,并调整日志格式,增加$clientRealIp段http { map $http_x_forwarded
阅读全文
多层代理获取用户真实IP
摘要:1. 几个概念remote_addr:如果中间没有代理,这个就是客户端的真实IP,如果有代理,这就是上层代理的IP.X-Forwarded-For:一个HTTP扩展头,格式为 X-Forwarded-For: client, proxy1, proxy2 X-Real-IP:自定义的HTTP头,用于
阅读全文
ELK帮助文档
摘要:elasticsearch: API中文指南:https://es.xiaoleilu.com/010_Intro/15_API.html 官方文档:https://www.elastic.co/cn/learn ELKstack中文指南:https://kibana.logstash.es/con
阅读全文
logstash filter plugin
摘要:1. 基本语法%{NUMBER:duration} %{IP:client} 2. 支持的数据类型默认会把所有的匹配都当作字符串,比如0.043, 想要转成浮点数,可以%{NUMBER:num:float}匹配,目前只支持int和float两种。3. 举例说明有下面一段http日志:55.3.244
阅读全文
开源实时日志分析ELK平台部署
摘要:ELK架构图: 1. JDK环境 1.1 下载最新JDK,解压到/usr/local/java目录。1.2 设置环境变量打开/etc/profile,添加下面内容export JAVA_HOME=/usr/local/javaexport JRE_HOME=$JAVA_HOME/jreexport
阅读全文
消息队列集群kafka安装配置
摘要:1. 下载wget http://mirror.rise.ph/apache/kafka/0.11.0.0/kafka_2.12-0.11.0.0.tgz2. 安装tar xf kafka_2.12-0.11.0.0.tgzmv kafka_2.12-0.11.0.0 /data/elk/kafka
阅读全文
日志采集客户端 filebeat 安装部署
摘要:linux 1. 下载wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.1-linux-x86_64.tar.g2. 安装tar xf filebeat-5.5.1-linux-x86_64.tar.gzm
阅读全文