随笔分类 - Elasticsearch

ElasticSearch如何一次查询出全部数据

摘要：使用from size进行分页查询（深度分页），当数据量大的时候，对全部数据进行遍历，使用from size性能会很差。from指的是从哪里开始拿数据，size是结果集中返回的文档个数。from-size的工作原理是：如size=10&from=100，那么Elasticsearch会从每个分片里取阅读全文

posted @ 2021-03-26 18:52 金色的鱼儿阅读(4191) 评论(0) 推荐(0)

es scroll 时间_ElasticSearch教程之---Scroll查询

摘要：作者：千锋老魏源码地址：https://github.com/qfjiaoyan/elasticsearch-examplesES对于from+size的个数是有限制的，二者之和不能超过1w。当所请求的数据总量大于1w时，可用scroll来代替from+size。1.7.1 原理ES的搜索是分2个阶阅读全文

posted @ 2021-03-26 18:51 金色的鱼儿阅读(2621) 评论(0) 推荐(0)

Elasticsearch Java API 的使用（8）—Scroll (游标)API详解

摘要：####滚动查询Elasticsearch中进行大数据量查询时，往往因为设备、网络传输问题影响查询数据的效率；Elasticsearch中提供了 Scroll（游标）的方式对数据进行少量多批次的滚动查询，来提高查询效率。 public class Scroll { public static voi 阅读全文

posted @ 2021-03-26 18:06 金色的鱼儿阅读(1953) 评论(0) 推荐(0)

索引别名

摘要：索引别名就像一个快捷方式或软连接，可以指向一个或多个索引，也可以给任何一个需要索引名的API来使用。索引别名用处： 1、在运行的集群中可以无缝的从一个索引切换到另一个索引（原子操作，无需担心别名未指向索引的短时间段） 2、给多个索引分组 3、给索引的一个子集创建视图 //创建索引别名方式1 P 阅读全文

posted @ 2021-03-26 09:52 金色的鱼儿阅读(355) 评论(0) 推荐(0)

Elasticsearch官方已支持SQL查询，用起来贼方便！

摘要：简介 Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无论使用REST接口，命令行还是JDBC，任何客户端都可以使用SQL对Elasticsearch中的数据进行原生搜索和聚合数据。可以将Elasticsearch SQL看作是阅读全文

posted @ 2021-03-15 18:34 金色的鱼儿阅读(1557) 评论(0) 推荐(0)

ES Suggester 搜索自动补全

摘要：需求将商品表数据全量更新至ES索引商品索引支持Suggester自动补全，支持过滤商品enable和delete_status状态，只筛选启用且未删除的商品 Suggester与普通搜索区别：ES将Suggest机器依赖的字段放在堆内存，实现近实时的搜索提示功能 es安装ik分词插件 ./bin 阅读全文

posted @ 2021-03-15 17:51 金色的鱼儿阅读(1282) 评论(0) 推荐(0)

elasticsearch实现中文分词和拼音分词混合查询+CompletionSuggestion

摘要：引言之前已经介绍了如何搭建elasticsearch服务端和简单的索引创建，和中文分词的支持。今天我们来说一说如何实现elasticsearch同时实现中文分词和pinyin分词。并且实现类似百度搜索栏的搜索建议的功能。混合查询实现混合查询有很多方式，这里介绍我认为是一个偷懒的方法，就是为你要拼音搜阅读全文

posted @ 2021-03-15 15:05 金色的鱼儿阅读(654) 评论(0) 推荐(0)

使用Elasticsearch的动态索引和索引优化

摘要：关于映射实际工作中使用过ES的朋友可能会有和静儿一样的感受。ES存储更新从编码上是很方便。如下，Kubernetes的yaml文件完全可以通过json直接序列化一下，一行代码存入ES。剩下的工作可以交给ES进行动态生成映射。索引映射的生成方式有两种：动态映射字段和映射类型不需要在使用前定义，新字段阅读全文

posted @ 2021-03-13 15:58 金色的鱼儿阅读(594) 评论(0) 推荐(0)

java ElasticSearch并发操作之乐观锁的使用

摘要：参考文章： java ElasticSearch并发操作之乐观锁的使用简介 ES在添加和更新操作，其实是不安全的，所有的数据库db系统都会存在并发问题像关系型数据库MySQL，Oracle，SQL Server默认采用的是悲观锁。在ElasticSearch中采用的乐观锁，下面先熟悉下什么是乐观阅读全文

posted @ 2021-03-13 11:15 金色的鱼儿阅读(694) 评论(0) 推荐(0)

ES并发更新导致冲突的问题

摘要：当并发操作ES的线程越多，或者并发请求越多，或者是读取一份数据，供用户查询和操作的，时间越长，因为这段时间里很可能数据在ES已经被修改了，那么我们拿到的就是旧的数据，基于旧数据操作，那么后续肯定会出问题所以我们有悲观锁和乐观锁俩种并发控制方案悲观锁并发控制方案常见于关系型数据库中，比如mysql悲阅读全文

posted @ 2021-03-13 11:05 金色的鱼儿阅读(796) 评论(0) 推荐(0)

ElasticSearch教程——partial update（更新文档）实现原理及并发控制

摘要：ElasticSearch汇总请查看：ElasticSearch教程——汇总篇语法 partial update语法如下 post /index/type/id/_update { "doc": { "要修改的少数几个field即可，不需要全量的数据"："对应field的数据" } } 创建文档& 阅读全文

posted @ 2021-03-13 11:01 金色的鱼儿阅读(667) 评论(0) 推荐(0)

ElasticSearch教程——并发问题与锁机制

摘要：ElasticSearch汇总请查看：ElasticSearch教程——汇总篇并发冲突举个例子，比如在电商的场景下，假设我们有个程序，其工作流程为：1.读取商品信息（包含库存，以牙膏为例）；2.用户下单购买;3.更新商品库存（库存减一）;如果该程序是多线程的，那么总有一个线程是先得到的，假设我们牙膏阅读全文

posted @ 2021-03-13 10:55 金色的鱼儿阅读(904) 评论(0) 推荐(0)

Elasticsearch 7 : 文档 _id 的长度限制

摘要：PUT student { "mappings" : { "properties" : { "name" : { "type" : "keyword" } } }, "settings" : { "index" : { "number_of_shards" : 1 } } } 插入简单数据测试 PO 阅读全文

posted @ 2021-03-12 08:50 金色的鱼儿阅读(1377) 评论(0) 推荐(0)

ES之Mapping映射创建

摘要：1、AdminAPI.java package es; import org.elasticsearch.action.admin.indices.create.CreateIndexRequestBuilder; import org.elasticsearch.client.AdminClien 阅读全文

posted @ 2021-03-11 09:10 金色的鱼儿阅读(499) 评论(0) 推荐(1)

java操作elasticsearch实现批量添加主要使用了bulk

摘要：java操作elasticsearch实现批量添加主要使用了bulk 代码如下： //bulk批量操作(批量添加) @Test public void test7() throws IOException { //1、指定es集群 cluster.name 是固定的key值，my-applicati 阅读全文

posted @ 2021-03-10 12:44 金色的鱼儿阅读(205) 评论(0) 推荐(0)

es java scroll滚动查询

摘要：滚动查询 /** * 滚动查询 */ @Test public void scroll() { SearchResponse response = client.prepareSearch("twitter").setTypes("tweet") .addSort(SortBuilders.fiel 阅读全文

posted @ 2021-03-10 12:35 金色的鱼儿阅读(1557) 评论(0) 推荐(0)

Elasticsearch -删除索引（index）

摘要：删除单个: DELETE /indexcurl -XDELETE 'http://192.169.1.666:9200/index 你也可以这样删除多个索引： DELETE /index_one,index_two curl -XDELETE 'http://192.169.1.666:9200/i 阅读全文

posted @ 2021-03-04 16:55 金色的鱼儿阅读(1175) 评论(0) 推荐(0)

elasticSearch availableProcessors is already set to [8], rejecting [8]

摘要：使用springboot elasticSearch启动时报 org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'apiSearchController': 阅读全文

posted @ 2021-03-02 14:40 金色的鱼儿阅读(105) 评论(0) 推荐(0)

Transport Client 访问 es 常见问题

摘要：es 连接出错，错误信息如下： [None of the configured nodes are available:[{#transport#-1}{Wn5UYXoTTIaPT4LZ3-RtZg}{???.???.?.???}{???.???.?.???:9200}]] 常见问题场景： 1）端口阅读全文

posted @ 2021-02-26 15:16 金色的鱼儿阅读(904) 评论(0) 推荐(0)

Elasticsearch 之索引别名 alias

摘要：转载自：https://my.oschina.net/u/204498/blog/529960 一、 Elasticsearch的别名，就类似数据库的视图。创建别名: 我们为索引my_index创建一个别名my_index_alias,这样我们对my_index_alias的操作就像对my_i 阅读全文

posted @ 2021-02-25 20:08 金色的鱼儿阅读(1128) 评论(0) 推荐(0)

随笔分类 - Elasticsearch

公告