随笔分类 - Elasticsearch
Elasticsearch
摘要：一、深度分页方式from + sizees 默认采用的分页方式是 from+ size 的形式，在深度分页的情况下，这种使用方式效率是非常低的，比如我们执行如下查询： GET /student/student/_search { "query":{ "match_all": {} }, "from"
阅读全文
摘要：什么是类型(type)？从Elasticsearch的第一个发布版本以来，每一个文档都被存储在一个单独的索引里，并被赋予了一个type，一个映射类型代表着一个被索引的文档或实体的类型,例如，一个twitter索引可能有一个user类型和tweet类型。每种映射类型都有他自己的字段，所以user类型可
阅读全文
摘要：一、 硬件环境选择：如果有条件，尽可能使用SSD硬盘， 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极大改进ES的速度和性能。二、系统拓朴设计：ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，即设置3种不同类型的节点：Master节点、Ho
阅读全文
摘要：第一部分：调优索引速度1、使用批量请求批量请求将产生比单文档索引请求好得多的性能。为了知道批量请求的最佳大小，您应该在具有单个分片的单个节点上运行基准测试。首先尝试索引100个文件，然后是200，然后是400，等等。当索引速度开始稳定时，您知道您达到了数据批量请求的最佳大小。 请注意，如果群集请求太
阅读全文
摘要：首先，一个Elasticsearch集群(下面简称ES集群)是由许多节点(Node)构成的，Node可以有不同的类型，通过以下配置，可以产生四种不同类型的Node： conf/elasticsearch.yml: node.master: true/false node.data: true/fal
阅读全文
摘要：Elasticsearch索引(elasticsearch index)由一个或者若干分片(shard)组成，分片(shard)通过副本(replica)来实现高可用。一个分片(share)其实就是一个Lucene索引(lucene index)，一个Lucene索引(lucene index)又由
阅读全文
摘要：简介compositecomposite是一个多桶聚合，它从不同的源创建复合桶，与其他多桶聚合不同，复合聚合可用于高效地对多级聚合中的所有桶进行分页。这种聚合提供了一种方法来流特定聚合的所有桶，类似于滚动对文档所做的操作。组合桶是由为每个文档提取/创建的值的组合构建的，每个组合被视为组合桶。如下为官
阅读全文
摘要：Buket Aggregations(桶聚合)不像metrics Aggregations(度量聚合)那样计算字段上的度量，而是创建文档桶，每个文件桶有效地定义一个文档集。除了bucket本身之外，bucket聚合还计算并返回“落入”每个bucket的文档的数量。与度量聚合相反，桶聚合可以嵌套子聚合
阅读全文
摘要：Metric聚合，主要针对数值类型的字段，类似于关系型数据库中的sum、avg、max、min等聚合类型。一、avg 平均值 对字段grade取平均值。对应的java示例如下： @Resource private RestHighLevelClient client ; @Test public v
阅读全文
摘要：Elasticsearch是一个分布式文档存储。Elasticsearch不会将信息存储为列数据的行，而是存储已序列化为JSON文档的复杂数据结构。当集群中有多个Elasticsearch节点时，存储的文档将分布在集群中，并且可以从任何节点立即访问。存储文档时，将在1秒钟内几乎实时地对其进行索引和完
阅读全文
摘要：前言Elasticsearch 存储的基本单元是shard， ES中一个Index 可能分为多个shard， 事实上每个shard 都是一个Lucence 的Index，并且每个Lucence Index 由多个Segment组成， 每个Segment事实上是一些倒排索引的集合， 每次创建一个新的D
阅读全文
摘要：主分片修改不了（创建的时候已经确定了），副本分片可以修改数量 写流程：协调节点--》请求转换到指定的节点--》主分片保存数据--》主分片需要将数据发送副本-->副本保存后，进行反馈，主分片进行反馈--客户端获取反馈 读流程：客户端发送查询请求到协调节点，协调节点计算数据所在的分片以及全部的副本位置s
阅读全文
摘要：SearchSearch执行的时候实际上是分为两个步骤运作的：Query 和 Fetch。Query阶段 Fetch 排序es默认采用相关性算分排序，用户可以通过设定sorting参数来自行设定排序规则。 GET book/_search { "query": { "bool": { "must":
阅读全文
摘要：一、Query CacheQuery Cache也称为Filter Cache，顾名思义它的作用就是对一个查询中包含的过滤器执行结果进行缓存。比如我们常用的term，terms，range过滤器都会在满足某种条件后被缓存，注意，这里的bool过滤器是不会被缓存的，但bool过滤器包含的子query
阅读全文
摘要：安装说明，安装三个节点，一个master ，两个slave。集群名称 ip-端口myEsCluster （master） 127.0.0.1:9500myEsCluster（slave） 127.0.0.1:9600myEsCluster（slave） 127.0.0.1:9700 集群名称ip-端
阅读全文
摘要：常见术语文档 Document:用户存储到es中的数据文档。类比数据库中表中的一条数据，是es中的最小单元。索引 Index：由具有相同字段的文档列表组成。类比数据库中的表。DocumentDocument 由 json Object 组成。每个字段可以指定类型。每个Document还包含元数据。字
阅读全文
摘要：见其名知其意，有倒排索引，对应肯定，有正向索引。正向索引（forward index），反向索引（inverted index）更熟悉的名字是倒排索引。在搜索引擎中每个文件都对应一个文件ID，文件内容被表示为一系列关键词的集合（实际上在搜索引擎索引库中，关键词也已经转换为关键词ID）。例如“文档1”
阅读全文
摘要：一：文档对象如下 @Data @AllArgsConstructor @NoArgsConstructor @Document(indexName = "items", type = "item",shards = 5, replicas = 1) public class Item impleme
阅读全文
浙公网安备 33010602011771号