随笔分类 - elk
摘要：使用Logstash从mysql同步用户和用户所有的宠物到ES中。 "register_name": "孟林洁", "id": 80469531, "pets": [ { "breed_name": "万能梗", "birthday": null, "pet_id": 999044, "name":
阅读全文
摘要：MySQL 设置 CREATE DATABASE es_db; USE es_db; DROP TABLE IF EXISTS es_table; CREATE TABLE es_table ( id BIGINT(20) UNSIGNED NOT NULL, PRIMARY KEY (id), U
阅读全文
摘要：shard分配策略 集群分片分配是指将索引的shard分配到其他节点的过程，会在如下情况下触发： 集群内有节点宕机，需要故障恢复； 增加副本； 索引的动态均衡，包括集群内部节点数量调整、删除索引副本、删除索引等情况； 上述策略开关，可以动态调整，由参数cluster.routing.allocati
阅读全文
摘要：把现有的5台节点全做hot节点，另外新增2台节点做warm节点。参考官方bloghot-warm-architecture-in-elasticsearch-5-x架构实现。需要注意的地方主要是：不要让已有的索引分片被ES自动Rebalance到warm节点上去了，并且新创建的索引，只应该分配在ho
阅读全文
摘要：如果你要处理时间序列数据，则不想将所有内容连续转储到单个索引中。 取而代之的是，您可以定期将数据滚动到新索引，以防止数据过大而又缓慢又昂贵。 随着索引的老化和查询频率的降低，您可能会将其转移到价格较低的硬件上，并减少分片和副本的数量。 要在索引的生命周期内自动移动索引，可以创建策略来定义随着索引的老
阅读全文
摘要：ES从6.7版本推出了索引生命周期管理（Index Lifecycle Management ，简称ILM)机制，能帮我们自动管理一个索引策略（Policy）下索引集群的生命周期。索引策略将一个索引的生命周期定义为四个阶段： Hot：索引可写入，也可查询。 Warm：索引不可写入，但可查询。 Col
阅读全文
摘要：hot node：用于支持索引并写入新文档、 warm node：用于处理不太频繁查询的只读索引 Hot node 我们可以使用 hot node 来做 indexing： indexing 是 CPU 和 IO 的密集操作，因此热节点应该是功能强大的服务器 比 warm node 更快的存储 Wa
阅读全文
摘要：主要有如下两种管道聚合方式： parent sibling 下面一一介绍ES定义的管道聚合。 Avg Bucket 聚合 同级管道聚合，它计算同级聚合中指定度量的平均值。同级聚合必须是多桶聚合，针对的是度量聚合(metric Aggregation)。 示例如下： { "avg_bucket": {
阅读全文
摘要：方案选择： 方案一：可对logstash配置output参数： 如下所示： 这种方案在logstash中指定模板文件，由logstash将template写入ES集群； 方案二：直接将template写入ES集群 通过ES提供的API，将JSON格式的template写入目标ES集群的_templa
阅读全文
摘要：1、elasticsearch了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段 。 面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道
阅读全文
摘要：面试题 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？ 面试官心理分析 问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es
阅读全文
摘要：Elasticsearch（ES）作为NOSQL+搜索引擎的有机结合体，不仅有近实时的查询能力，还具有强大的聚合分析能力。因此在全文检索、日志分析、监控系统、数据分析等领域ES均有广泛应用。而完整的Elastic Stack体系（Elasticsearch、Logstash、Kibana、Beats
阅读全文
摘要：ES JVM参数的配置： 将 Xms 和 Xmx 设置成一样大 避免JVM堆的动态调整给应用进程带来"不稳定"。参考：Heap Tuning Parameters By default, the JVM grows or shrinks the heap at each GC to try to k
阅读全文
摘要：Elasticsearch部署建议 1、选择合理的硬件配置：尽量使用SSD Elasticsearch 最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。 对于文
阅读全文
摘要：环境： 6个es节点 冷热配置 es1 master节点 # elasticsearch.yml node.name: "es1" cluster.name: "docker-cluster" network.host: 0.0.0.0 node.master: true node.data: fa
阅读全文
摘要：Python连接elasticserach python连接elasticsearch有一下几种连接方式 pip3 instal elasticsearch from elasticsearch import Elasticsearch es = Elasticsearch() # 默认连接本地el
阅读全文
摘要：内存占用 ES的JVM heap按使用场景分为可GC部分和常驻部分。 可GC部分内存会随着GC操作而被回收； 常驻部分不会被GC，通常使用LRU策略来进行淘汰； 内存占用情况如下图： common space包括了indexing buffer和其他ES运行需要的class。indexing buf
阅读全文
摘要：当我们做可视化图时，有时我们想为自己的图添加一条静态线。这条线的作用是用来表示在什么位置的统计数据是高于这个值的或低于这个值的。我们知道在通常的情况下，我们一般的可视化图是不可以做到这一点的。我们需要使用 TSVB 来说实现这个。比如，使用下图的红线，它清楚地表明了在什么时候统计数据是大于20的。我
阅读全文
摘要：[2019-06-16T15:31:22,778][DEBUG][o.e.a.a.c.n.i.TransportNodesInfoAction] [node-xxx] failed to execute on node [kQrOKwMhSZy8O42Hgs6sdg] org.elasticsear
阅读全文
摘要：原因为：es 的设置默认是 85% 和 90 %，95% 当为85%时：Elasticsearch不会将碎片分配给磁盘使用率超过85%的节点（ cluster.routing.allocation.disk.watermark.low） 当为90%时：Elasticsearch尝试重新分配给磁盘低于
阅读全文
浙公网安备 33010602011771号