摘要：
本文主要介绍如何基于 ES + FAISS 实现向量检索，并且以 FAISS IndexIVFFlat 索引为例介绍实现方案。对于 IndexIVFFlat 而言，需要先对数据进行聚类，得到若干个聚簇( nlist=1024)。然后在查询时，先计算与查询向量与聚簇之间的距离，选取距离最近的若干个(( 阅读全文
摘要：
本文讲解 ES 离线索引构建涉及一些核心功能实现原理，适用于10亿数据量，2-3小时内完成 ES 索引构建。 谈到索引构建，其实更熟悉的一个场景是： 一个线上服务，接收请求做了某些逻辑处理，然后想要将数据保存到 ES 用于后续的查询，这个过程是一般是基于 ES restful api 向 ES 集群 阅读全文
摘要：
欢迎读者在评论区共享读过的 ES(ElasticSearch)工程实践的文章 性能优化 美团外卖搜索基于Elasticsearch的优化实践 美团外卖LBS场景下，采用 LongObjectHashMap hash 查询方式优化了倒排链的查询、采用 RLE 编码将 posting list 极致压缩 阅读全文
摘要：
本文是：https://www.elastic.co/cn/blog/frame-of-reference-and-roaring-bitmaps 文章的翻译及理解。 lucene 在存储 doc 时，会为每个 doc 分配一个 doc_id。doc_id 是 segment 维度（index->s 阅读全文
摘要：
如果将 Elasticsearch（ES）作为线上C端服务的查询引擎，那么 search query 的响应时间则至关重要。因为毕竟面向C端用户，如果一个搜索请求 1 秒内（端到端）还未返回，那么用户将不可接受。 因此，C端服务对ES的性能稳定性做了许多工程上的优化，比如： 强制将分片的段文件设置为 阅读全文
摘要：
主要解释下面3个常用的参数： index 参数 store 与 _source 参数 doc_value 参数 1、index 参数 默认为true。当设置为true时，代表需要对该字段进行检索，也即倒排查询，根据 query 条件 查询 doc_id 2、store 与 _source 参数 这2 阅读全文
摘要：
什么是 5why 分法法？ 所谓5why分析法，又称“5问法”，也就是对一个问题点连续以5个“为什么”来自问，以追究其根本原因。 虽为5个为什么，但使用时不限定只做“5次为什么的探讨”，主要是必须找到根本原因为止，有时可能只要3次，有时也许要10次，如古话所言：打破砂锅问到底。 5why法的关键所在 阅读全文
摘要：
背景 面向C端用户的在线核心搜索系统底层采用ES作为核心“存储/检索”引擎，搜索作为用户购买决策的核心链路的一部分，对系统的可靠性要求tp9999，对查询性能要求极高(召回＋排序 300ms以内)。如何搭建一套这样系统稳定、性能可靠的搜索系统呢？ 索引构建 索引构建流程图如下： 各类业务数据存储在自 阅读全文
摘要：
Redis 持久化机制 1 RDB 每隔一段时间，生成一个指定时间点的快照。RDB 使用 fork 子进程进行数据的持久化，数据IO操作在子进程中执行。 1.1 优点 RDB 文件简单，它保存的是到某个时间点内所有的 Redis 数据集(键值对)，很适合用于归档。单个文件也很方便地传输给其它数据中心 阅读全文
摘要：
S：当我们接到一个产品需求时，需要调用下游服务方提供的接口，比如调用下游 LBS 服务召回附近的商家，这时候需要拉着下游 RD 做技术方案评审，确定下游提供的接口是否满足 PRD 需求。 C：在 PRD 评审时，往往只是 PM 拉着各方 RD 评完了产品功能，RD 需要评估出实现产品功能需要依赖的外 阅读全文