随笔分类 - Elastic Stack
摘要：转自：https://ost.51cto.com/posts/11557 回顾自己过去的5年，从一名后端开发工程师，自我摸索、学习、探究，成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段，可简要概括为：（1）关键词搜索、（2）相关性搜索、（3）探索式搜索。 具体如下图： • 关键词搜索：主
阅读全文
摘要：本文以 Elasticsearch 7.9.2 为准。 分片大小 日志类：单个分片不超过 50G 搜索类：单个分片不超过 20G 先估算总数据量，再根据分片大小，确定分片数。 容量规划 容量规划时要考虑的因素： 机器的软硬件配置 单个文档的尺寸，文档总数，索引大小，分片个数，副本个数 文档写入方式（
阅读全文
摘要：转自：https://www.jianshu.com/p/b9a07bfb766a 序言 Elasticsearch，中文名直译弹性搜索，不仅仅在单索引内部分片层面弹性搜索，更强的是在跨索引外围支持分片弹性搜索，同比其它分布式数据产品，此特性更鲜明，代表了 Elastic 集群架构设计的优越性。 本
阅读全文
摘要：方案对比 鉴于Canal是一个基于MySQL二进制日志的高性能数据同步系统， go-mysql-elasticsearch 是一个第三方插件的，虽然都可以同步mysql数据到es，由于es官方文档推荐使用canal工具来同步数据，因此主要将Canal的使用方式提供给用户。 核心概念 名词 解释 my
阅读全文
摘要：Logstash-input-jdbc安装 logstash-input-jdbc插件是logstash 的一个个插件,使用ruby语言开发。所以要先安装ruby,也是为了好使用ruby中的gem安装插件，下载地址: https://rubyinstaller.org/downloads/，下载下来
阅读全文
摘要：作为搜索服务的使用者，我希望系统能够提供基于界面操作的，灵活的自定义热词、停用词、同义词的词典管理功能，便于用户自定义扩展符合自己业务场景的词项，进而提高搜索的准确度。 实现方案 elasticsearch-analysis-ik插件改造，使用关系型数据库存储热词、停用词。 elasticsearc
阅读全文
摘要：作为系统的使用者，我希望用户输入搜索的过程中，系统能进行自动补全和搜索建议，协助用户输入更精准的关键词，提高后续全文搜索阶段文档匹配的准确度。 实现方案 用户刚开始输入的过程中，使用Completion Suggester进行关键词前缀匹配，刚开始匹配项会比较多，随着用户输入字符增多，匹配项越来越少
阅读全文
摘要：作为系统的使用者，希望系统提供支持中文搜索、英文搜索、中英混搜、全拼搜索、首字母搜索、中文+全拼、中文+首字母混搜等多种方式混合的高级搜索功能，提高易用性及搜索的全面度及准确度。 实现方案 组合ik中文分词器与pinyin分词器，自定义支持中文、英文、拼音混合搜索的自定义分析器。 调整索引结构，指定
阅读全文
摘要：转自：https://blog.csdn.net/zwgdft/article/details/83215977 Elasticsearch中的概念很多，本文将从笔者在实践过程中遇到的问题出发，逐步详细介绍 Global Ordinals 和 High Cardinality ，这也是笔者的认知过程
阅读全文
摘要：转自：https://cloud.tencent.com/developer/article/1361266 背景 Elasticsearch由一些Elasticsearch进程(Node)组成集群，用来存放索引(Index)。为了存放数据量很大的索引，Elasticsearch将Index切分成多
阅读全文
摘要：在本文中，我们将研究Elasticsearch的各个部分写入数据目录的文件。我们将查看节点，索引和分片级文件，并简要说明其内容，以便了解Elasticsearch写入磁盘的数据。 1、从Elasticsearch路径说起 Elasticsearch配置了多个路径： path.home：运行Elast
阅读全文
摘要：转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如
阅读全文
摘要：转自：https://www.cnblogs.com/ydxblog/p/8304297.html 1.Doc Values 聚合使用一个叫Doc Values的数据结构。Doc Values使聚合更快、更高效且内存友好。 Doc Values的存在是因为倒排索引只对某些操作是高效的。倒排索引的优势
阅读全文
摘要：转自：https://cloud.tencent.com/developer/article/1507715 0、题记 除了官方文档，其他能找到的介绍Elasticsearch脚本（Scripting）的资料少之又少。 一方面：性能问题。 官方文档性能优化中明确指出使用脚本会导致性能低； 另一方面：
阅读全文
摘要：数据类型 查询功能 聚合功能 geo_point geo_shape [geo shape]查询文档的geo-shape是否跟查询指定geo-shape相交、内嵌、不相交。 [geo bounding box] 查询文档的point是否在指定的矩形范围内。 [geo distance]:查询中心点指
阅读全文
摘要：准备 ubuntu系统添加用户并修改密码 useradd elasticsearch -d /home/elasticsearch -mpasswd elasticsearch# deluser elasticsearch shell修改为bash sudo chsh -s /bin/bash el
阅读全文
摘要：Elasticsearch 集群规模和容量规划：是进行 Elasticsearch 集群部署前对所需资源类型和数量的规划。 通过本文，您将了解：Elasticsearch 计算资源详解Elasticsearch 架构、增删改查操作和资源需求Elasticsearch 集群规模和容量规划的方法论 1、
阅读全文
摘要：Elasticsearch 的安全认证可以有两种方式实现，第一种是使用xpack的安全认证功能，另外一种是借助Nginx来实现安全认证，下面对两种方式做简要介绍。 使用Elasticsearch自带的安全认证功能 elasticsearch.yml增加安全认证的配置，示例如下： cluster.na
阅读全文
摘要：Elassticsearch实现IP白名单有两种方式，一种是使用xpack提供的Http Filter功能来实现，另外一种是使用Nginx实现IP的过滤，其中第一种为Elasticsearch的收费功能。下面对两种实现方式进行详细介绍。 本次使用的Elasticsearch版本为6.8.3。 使用x
阅读全文
摘要：原文转自：https://www.cnblogs.com/smail-bao/p/7448392.html 非常好的文章，感谢作者的总结分享。 一、Elasticsearch 是什么 Elasticsearch是一款用Java编写的开源分布式文档存储和搜索引擎，可以用于near real-time存
阅读全文
浙公网安备 33010602011771号