摘要：在面试中，如果你被问到：“Elasticsearch（ES）在数据量很大的情况下（数十亿级别）如何提高查询效率？” 那么面试官其实是在测试你是否有实际使用 ES 的经验。为什么这么说？ 因为很多人以为 ES 性能非常强大，但实际上，在数据量达到几亿甚至数十亿条时，你可能会惊讶地发现，搜索一次需要 5 阅读全文

摘要：在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。 对“千万量级数据中查询 10W 量级的数据”设计了如下方案： 多线程+CK 翻页 阅读全文

摘要：1. 硬件优化1.1 内存分配Elasticsearch 对内存的需求较高，建议分配足够的堆内存。默认情况下，Elasticsearch 会使用系统内存的 50% 作为堆内存，但不要超过 32GB（因为 JVM 的指针压缩机制在 32GB 以下更高效）。 修改 JVM 堆内存：编辑 elastics 阅读全文

摘要：命令 GET _cat/nodes?help 列出所有node, 并展示node所在机器的运行状态信息，help可显示帮助信息 1 GET _cat/nodes?h=name,hp,hm,rp,rm,qcm,rcm,fm,sm&v 解析下上面参数的意义 信息如下： 以红框里的node为例， 内存占用 阅读全文

摘要：近期业务查询线上ES集群出现频繁超时告警，尤其是早晨某个时间点固定的报一波超时，从调用链监控上很难看出是什么业务行为导致的。 初步猜测查看Grafana上Elasticsaerch的基础监控，发现业务告警与ES的Old GC（老年代GC）卡顿时间基本吻合： 同时注意到，Old区的内存持续增长，不到1 阅读全文

摘要：问题背景 客户方面反馈的问题是ES入库速度变慢，延迟升高到几百毫秒，导致数据积压过多，影响了业务。 排查发现ES的服务日志出现不少的gc overhead现象，下面是一个示例的日志片段： [yyyy-MM-ddTHH:mm:ss,SSS][LEVEL][component][node_name][g 阅读全文

摘要：集群状态为什么会异常？ 想知道这个，我们首先需要了解一下集群的几种状态。 Elasticsearch 集群健康状态分为三种： GREEN YELLOW RED GREEN是最健康的状态，说明所有的分片包括副本都可用。这种情况Elasticsearch集群所有的主分片和副本分片都已分配，Elastic 阅读全文