摘要：
1、删除和更新也都是写操作，但是 Elasticsearch 中的文档是不可变的，因此不能被删除或者改动以展示其变更；2、磁盘上的每个段都有一个相应的.del 文件。当删除请求发送后，文档并没有真的被删除，而是在.del 文件中被标记为删除。该文档依然能匹配查询，但是会在结果中被过滤掉。当段合并时， 阅读全文
posted @ 2022-07-26 18:53
开源遗迹
阅读(241)
评论(0)
推荐(0)
摘要：
1、当集群 master 候选数量不小于 3 个时，可以通过设置最少投票通过数量（discovery.zen.minimum_master_nodes）超过所有候选节点一半以上来解决脑裂问题；2、当候选数量为两个时，只能修改为唯一的一个 master 候选，其他作为 data节点，避免脑裂问题 阅读全文
posted @ 2022-07-26 18:21
开源遗迹
阅读(61)
评论(0)
推荐(0)
摘要：
1、关闭缓存 swap;2、堆内存设置为：Min（节点内存/2, 32GB）；3、设置最大文件句柄数；4、线程池+队列大小根据业务需要做调整；5、磁盘存储 raid 方式——存储有条件使用 RAID10，增加单节点性能以及避免单节点存储故障。 1、64 GB 内存的机器是非常理想的，但是 32 GB 阅读全文
posted @ 2022-07-26 18:07
开源遗迹
阅读(220)
评论(0)
推荐(0)
摘要：
搜索拆解为“query then fetch” 两个阶段。query 阶段的目的：定位到位置，但不取。步骤拆解如下：1、假设一个索引数据有 5 主+1 副本 共 10 分片，一次请求会命中（主或者副本分片中）的一个。2、每个分片在本地进行查询，结果返回到本地有序的优先队列中。3、第 2步骤的结果发送 阅读全文
posted @ 2022-07-26 18:04
开源遗迹
阅读(112)
评论(0)
推荐(0)
摘要：
这里的索引文档应该理解为文档写入 ES，创建索引的过程。文档写入包含：单文档写入和批量 bulk 写入，这里只解释一下：单文档写入流程。 1、当分片所在的节点接收到来自协调节点的请求后，会将请求写入到 Memory Buffer，然后定时（默认是每隔 1 秒）写入到 Filesystem Cache 阅读全文
posted @ 2022-07-26 17:13
开源遗迹
阅读(117)
评论(0)
推荐(0)
摘要：
前置前提 1、只有候选主节点（master：true）的节点才能成为主节点。2、最小主节点数（min_master_nodes）的目的是防止脑裂。 核对了一下代码，核心入口为 findMaster，选择主节点成功返回对应 Master，否则返回 null。选举流程大致描述如下： 第一步：确认候选主节 阅读全文
posted @ 2022-07-26 17:01
开源遗迹
阅读(279)
评论(0)
推荐(0)
摘要：
动态索引层面基于模板+时间+rollover api 滚动创建索引，举例：设计阶段定义：blog 索引的模板格式为：blog_index_时间戳的形式，每天递增数据。这样做的好处：不至于数据量激增导致单个索引数据量非常大，接近于上线 2 的32 次幂-1，索引存储达到了 TB+甚至更大。一旦单个索引 阅读全文
posted @ 2022-07-26 16:56
开源遗迹
阅读(159)
评论(0)
推荐(0)
摘要：
传统的我们的检索是通过文章，逐个遍历找到对应关键词的位置。而倒排索引，是通过分词策略，形成了词和文章的映射关系表，这种词典+映射表即为倒排索引。有了倒排索引，就能实现 o（1）时间复杂度的效率检索文章了，极大的提高了检索效率 倒排索引，相反于一篇文章包含了哪些词，它从词出发，记载了这个词在哪些文档中 阅读全文
posted @ 2022-07-26 16:32
开源遗迹
阅读(154)
评论(0)
推荐(0)
摘要：
面试官：想了解应聘者之前公司接触的 ES 使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 ES 集群架构 13 个节点，索引根据通道不同共 20+索引，根据日期，每日递增 20+，索引：10 分片，每日递增 1 亿+数据，每个通道每天索引大小控制：150GB 之内。 仅索引层面调优手段 阅读全文
posted @ 2022-07-26 16:27
开源遗迹
阅读(544)
评论(0)
推荐(0)
摘要：
RSA 加密算法是一种典型的非对称加密算法，它基于大数的因式分解数学难题，它也是应用最广泛的非对称加密算法。非对称加密是通过两个密钥（公钥-私钥）来实现对数据的加密和解密的。公钥用于加密，私钥用于解密。 阅读全文
posted @ 2022-07-26 12:37
开源遗迹
阅读(157)
评论(0)
推荐(0)
浙公网安备 33010602011771号