随笔分类 -  ELK学习

Elasticsearch 聚合
摘要：桶（bucket）聚合 满足条件的结果集合。桶可以嵌套 标（metric）聚合 满足条件的结果集合的一些指标。如count，max等。 阅读全文
posted @ 2016-12-26 18:55 無限大 阅读(178) 评论(0) 推荐(0)
elasticsearch基础
摘要：elastic使用lucene建立索引的步骤中，需要文件系统缓存需要同步到磁盘上。（多个segment->commit文件来维护） 当建立历史数据时，并不要求太高的实时性时，可以减小（默认1s）自动刷新时间。 curl -XPOST http://127.0.0.1:9300/logstash-20 阅读全文
posted @ 2016-12-20 11:37 無限大 阅读(331) 评论(0) 推荐(0)
elasticsearch客户端连接选择
摘要：elasticsearch支持两种协议： http协议。 Native Elasticsearch binary protocol（本地elasticsearch二进制协议）：elasticsearch自主研发的节点间通信的协议。 还可以通过使用插件来扩展支持的协议。有一些官方的插件。 java之外 阅读全文
posted @ 2016-12-16 09:27 無限大 阅读(12064) 评论(1) 推荐(0)
logstash5.x配置
摘要：logstash --help --可以通过此命令看到所有命令 -f, --path.config －－配置文件路径 -e, --config.string －－可直接运行的配置字符串 -w, --pipeline.workers --处理线程数 -b, --pipeline.batch.size 阅读全文
posted @ 2016-12-13 11:50 無限大 阅读(1686) 评论(0) 推荐(0)
logstash5.x改变
摘要：5.x版本 logstash中 elasticsearch插件的workers，无法配置大于1，会提示 This plugin uses the shared and doesn't need this option 这个的意思是进到logstash本身的配置文件pipeline.output.wo 阅读全文
posted @ 2016-12-09 10:55 無限大 阅读(5956) 评论(0) 推荐(0)
logstash配合filebeat监控tomcat日志
摘要：环境：logstash版本：5.0.1&&filebeat 5.0.1 ABC为三台服务器。保证彼此tcp能够相互连接。 Index服务器A － 接收BC两台服务器的tomcat日志 /var/tomcat/logs/ca**.out 此服务器安装logstash。安装过程 logstash服务器启 阅读全文
posted @ 2016-12-06 20:35 無限大 阅读(21759) 评论(1) 推荐(0)
logstash学习2
摘要：从geoip字段取location的longitude字段 [geoip][location][0] 支持变量内插 "the longitude is %{[geoip][location][0]}" 使用logstash重建elasticsearch索引的例子 原因： 想切换到文档的值，因为字段数 阅读全文
posted @ 2016-12-01 11:55 無限大 阅读(146) 评论(0) 推荐(0)
logstash的性能测试
摘要：logstash有简单的批量生成插件。generator。详情见官网：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-generator.html 使用方法：配置文件修改为 LogStash 本身并不维护队列。这里，需要 阅读全文
posted @ 2016-11-30 16:00 無限大 阅读(1734) 评论(0) 推荐(0)
logstash中的redis插件
摘要：redis作为logstash中的官方broker，既有input插件，还有output插件。 redis input插件 data_type属性： 有三种类型， list －》 BLPOP －－阻塞式列表弹出 channel －》 SUBSCRIBE －－ 指定订阅者 pattern_channe 阅读全文
posted @ 2016-11-26 18:23 無限大 阅读(1268) 评论(0) 推荐(0)
Logstash学习1－logstash的简单例子
摘要：如何安装ELK Redis插件 1. 安装好logstash后。2. 最简单的logstash。logstash -e 'input { stdin { } } output { stdout {} }'直到看到"Pipeline main started"。说明启动成功。这个例子，stdin控制台 阅读全文
posted @ 2016-11-24 20:33 無限大 阅读(4502) 评论(0) 推荐(0)
安装Elasticsearch,Logstash,Kibana（5.0.1－mac版）
摘要：安装Elasticsearch 1.下载https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.0.1.tar.gz包 2.tar zxvf elasticsearch-5.0.1.tar.gz 3. 运行/bin/e 阅读全文
posted @ 2016-11-22 21:37 無限大 阅读(3882) 评论(0) 推荐(0)
代理服务器
摘要：1.正向代理 用户A － 代理服务器B － 服务器 C 概念：用户A通过登录服务器B去访问服务器C。客户端需要向代理服务器B指定想要访问的服务器C。 原因：1.用户A无法直接访问C。 2.有时可以提高访问速度。如A到C为底带宽连路，B到C为高带宽链路。这时候选择B就能更快的访问C。 3.缓存作用。用 阅读全文
posted @ 2016-11-22 15:38 無限大 阅读(184) 评论(0) 推荐(0)