随笔分类 -  ELK

ES索引的一些长度限制
摘要：一个ES索引最大可以支持多少个shard？理论上无限扩展，我推测最大应该是java array的最大长度：Integer.MAX_VALUE。通常业务为了保证查询效率，往往会限制data node上shards的总个数(cluster.routing.allocation.total_shards_ 阅读全文
posted @ 2020-02-23 23:11 软件心理学工程师 阅读(7389) 评论(0) 推荐(0)
Elasticsearch慢查询故障诊断
摘要：最近在做ES搜索调优，看了一些lucene搜索的文档和代码，本文用于总结调优过程中学到的知识和自己的思考。 在抓到ES慢查询之后，会通过profile或者kibana的Search Profiler console查看具体慢在了哪里。一般在执行profile search之前，需要稍微改变query 阅读全文
posted @ 2019-10-27 09:16 软件心理学工程师 阅读(4435) 评论(0) 推荐(0)
Elasticsearch搜索调优
摘要：最近把搜索后端从AWS cloudsearch迁到了AWS ES和自建ES集群。测试发现search latency高于之前的benchmark，可见模拟数据远不如真实数据来的实在。这次在产线的backup ES上直接进行测试和优化，通过本文记录search调优的主要过程。 问题1：发现AWS ES 阅读全文
posted @ 2019-10-26 09:57 软件心理学工程师 阅读(1389) 评论(0) 推荐(0)
elasticsearch基础知识杂记
摘要：日常工作中用到的ES相关基础知识和总结。不足之处请指正，会持续更新。 1.集群的健康状况为 yellow 则表示全部主分片都正常运行（集群可以正常服务所有请求），但是 副本 分片没有全部处在正常状态。 2.主分片的数目在索引创建时就已经确定了下来。但是，读操作——搜索和返回数据——可以同时被主分片  阅读全文
posted @ 2019-10-21 22:48 软件心理学工程师 阅读(243) 评论(0) 推荐(0)
elasticsearch.yml 常用参数说明
摘要：cluster.name: 指定node所属的cluster。 node.name: 本机的hostname。 node.master: 是否可以被选举为master节点。(true or false) node.data: 是否为data node。(true or false) node.att 阅读全文
posted @ 2018-02-28 13:42 软件心理学工程师 阅读(2380) 评论(0) 推荐(0)
elasticsearch local debug环境搭建
摘要：最近计划看看elasticsearch的源码，首先得把local debug环境搞定。 下载源码。因为公司产线是5.6.5，所以就下载了5.6.5的代码。 源码编译。先进入到/elasticsearch/core目录，因为IDE是idea，所以用gradle idea编译core目录。然后进入到/e 阅读全文
posted @ 2017-12-31 21:50 软件心理学工程师 阅读(849) 评论(0) 推荐(0)
logstash performance testing
摘要：最近一直在和peformance team的同事做logstash 5.6.2的测试，主要测试两个方面：一方面测试log数据是否能全部被logstash获取与发出去，一方面测试logstash自身的cpu和memory的使用情况。 通过脚本生成log：总共生成10个文件，每个文件1百万行文本， 每行 阅读全文
posted @ 2017-10-25 23:33 软件心理学工程师 阅读(832) 评论(0) 推荐(0)
Elasticsearch ML
摘要：Elastic公司在收购了Prelert半年之后，终于在Elasticsearch 5中推出了Machine Learning功能。Prelert本身就擅长做时序性数据的异常检测，从这点上讲也比较契合elasticsearch的数据特征。在做了一段时间的PoC之后，发现这个功能的最大作用就是trou 阅读全文
posted @ 2017-10-10 23:40 软件心理学工程师 阅读(925) 评论(0) 推荐(0)
jconsole远程监控logstash agent
摘要：在logstash的jvm.options文件末尾添加： -Dcom.sun.management.jmxremote.port=9999 //指定jmx端口-Dcom.sun.management.jmxremote.ssl=false // no ssl-Dcom.sun.management. 阅读全文
posted @ 2017-08-31 21:29 软件心理学工程师 阅读(585) 评论(0) 推荐(0)