03 2021 档案

ElasticSearch如何一次查询出全部数据

摘要：使用from size进行分页查询（深度分页），当数据量大的时候，对全部数据进行遍历，使用from size性能会很差。from指的是从哪里开始拿数据，size是结果集中返回的文档个数。from-size的工作原理是：如size=10&from=100，那么Elasticsearch会从每个分片里取阅读全文

posted @ 2021-03-26 18:52 金色的鱼儿阅读(4320) 评论(0) 推荐(0)

es scroll 时间_ElasticSearch教程之---Scroll查询

摘要：作者：千锋老魏源码地址：https://github.com/qfjiaoyan/elasticsearch-examplesES对于from+size的个数是有限制的，二者之和不能超过1w。当所请求的数据总量大于1w时，可用scroll来代替from+size。1.7.1 原理ES的搜索是分2个阶阅读全文

posted @ 2021-03-26 18:51 金色的鱼儿阅读(2668) 评论(0) 推荐(0)

Elasticsearch Java API 的使用（8）—Scroll (游标)API详解

摘要：####滚动查询Elasticsearch中进行大数据量查询时，往往因为设备、网络传输问题影响查询数据的效率；Elasticsearch中提供了 Scroll（游标）的方式对数据进行少量多批次的滚动查询，来提高查询效率。 public class Scroll { public static voi 阅读全文

posted @ 2021-03-26 18:06 金色的鱼儿阅读(2092) 评论(0) 推荐(0)

索引别名

摘要：索引别名就像一个快捷方式或软连接，可以指向一个或多个索引，也可以给任何一个需要索引名的API来使用。索引别名用处： 1、在运行的集群中可以无缝的从一个索引切换到另一个索引（原子操作，无需担心别名未指向索引的短时间段） 2、给多个索引分组 3、给索引的一个子集创建视图 //创建索引别名方式1 P 阅读全文

posted @ 2021-03-26 09:52 金色的鱼儿阅读(424) 评论(0) 推荐(0)

reviewboard-腾讯企业邮箱邮件通知配置

摘要：使用的是2.5.16版本 reviewboard vim /usr/lib/python2.7/site-packages/django/core/mail/backends/smtp.py self.connection = smtplib.SMTP_SSL(self.host, self.por 阅读全文

posted @ 2021-03-17 17:44 金色的鱼儿阅读(277) 评论(1) 推荐(0)

reviewboard-126邮箱邮件通知配置

摘要：上文说到在配置的时候Email 得是真实有效的邮箱，这是管理员的邮箱，笔者之前配置的时候因为胡乱写了一个，导致管理员收不到邮件，所以得吸取教训。当我们用账户 admin 和密码登进去之后，就可以看到管理员页面了。我们这里先配置邮箱，选择SYSTEM SETTINGS 中的 E-Mail 进入邮箱阅读全文

posted @ 2021-03-17 17:43 金色的鱼儿阅读(515) 评论(0) 推荐(0)

如何从某个节点查询Cassandra并仅从该节点获取数据？

摘要：Cassandra使用一致的哈希来管理数据，在我们使用Cassandra驱动程序连接集群之后，我们连接的节点可以从集群中的其他节点进行查询以获得结果。但对于我目前的情况，我在这个节点中，我不希望节点查询其他节点得到结果 .。是否可能以及如何实现它？我发现Cassandra Python dri 阅读全文

posted @ 2021-03-17 16:07 金色的鱼儿阅读(354) 评论(0) 推荐(0)

Cassandra内部架构

摘要：Cassandra是一个开源的、分布式、无中心节点、弹性可扩展、高可用、容错、一致性协调、面向列的NoSQL数据库 Cassandra集群（Cluster） Cluster Data center(s) Rack(s) Server(s) Node (more accurately, a vnode 阅读全文

posted @ 2021-03-17 15:44 金色的鱼儿阅读(817) 评论(0) 推荐(0)

Cassandra 处理客户端请求

摘要：Cassandra集群中所有节点都是对等的，所以读/写操作可以发生在集群中的任意节点上，也许这个节点并没有需要读/写的数据，所以这个和用户交互的节点就成了coordinator节点。单数据中心的写请求：当客户端发送到coordinator节点上，则这个coordinator节点会吧这个写请求发送阅读全文

posted @ 2021-03-17 15:42 金色的鱼儿阅读(172) 评论(0) 推荐(0)

Cassandra client的请求详解

摘要：Cassandra的读写请求，主要包括两部分，client端如何找到节点，请求何时成功返回，以及本地的读写是如何完成的，本地的读写，会在后续的博客中不断给出。本文主要解析前面两个问题。【正文开始】 Cassandra集群中的所有节点都是对等的。客户端的读写请求可能会发送给集群中的任一节点。当客户端阅读全文

posted @ 2021-03-17 15:40 金色的鱼儿阅读(217) 评论(0) 推荐(0)

Cassandra集群各个节点之间的通讯

摘要：Cassandra集群没有中心节点，各个节点的地位完全相同，它们通过一种叫做gossip的协议维护集群的状态。通过gossip，每个节点都能知道集群中包含哪些节点，以及这些节点的状态，这使得Cassandra集群中的任何一个节点都可以完成任意key的路由，任意一个节点不可用都不会造成灾难性的后果。阅读全文

posted @ 2021-03-17 15:39 金色的鱼儿阅读(972) 评论(0) 推荐(0)

Java连接Cassandra

摘要：1.Cassandra驱动选择 maven依赖配置pom.xml <dependency> <groupId>com.datastax.cassandra</groupId> <artifactId>cassandra-driver-core</artifactId> <version>3.1.2< 阅读全文

posted @ 2021-03-17 15:37 金色的鱼儿阅读(867) 评论(0) 推荐(0)

cassandra的索引查询和排序

摘要：cassandra的索引查询和排序 cassandra的查询虽然很弱，但是它也是支持索引和排序的，当然是简陋的查询，这一切都是为了追求性能的代价，所以要使用cassandra，你不能希望它完全适用你的逻辑，而是把你的逻辑设计的更适合cassandra。第一：索引查询cassandra是支持创建二级阅读全文

posted @ 2021-03-16 20:10 金色的鱼儿阅读(1765) 评论(0) 推荐(0)

Cassandra 分页读取数据

摘要：为什么要分页如果一个查询得到的记录数太大，一次性返回回来，那么效率非常低，并且很有可能造成内存溢出，使得整个应用都奔溃。所以，在数据量比较大的时候，分页还是非常有必要的。方案选择TokenCassandra 提供了Token 函数来记录上次查询的最后一条数据，但是它需要多个primary key, 阅读全文

posted @ 2021-03-16 18:38 金色的鱼儿阅读(619) 评论(0) 推荐(0)

cassandra高级操作之索引、排序以及分页

摘要：参考 cassandra2.0 如何实现分页查询 cassandra的索引查询和排序转载于：https://www.cnblogs.com/youzhibing/p/6617986.html 阅读全文

posted @ 2021-03-16 15:33 金色的鱼儿阅读(261) 评论(0) 推荐(0)

cassandra 可视化工具

摘要：一、cassandramanager 下载地址：http://www.mongodbmanager.com/cassandra/ 二、razorsql 三、presto 四、devcenter 参考文章：https://blog.csdn.net/varyall/article/details/78 阅读全文

posted @ 2021-03-16 14:01 金色的鱼儿阅读(2856) 评论(0) 推荐(0)

SpringBoot集成Cassandra参考文章

摘要：cassandra + spring-boot使用简记，亲测可用 https://blog.csdn.net/zjpopo/article/details/101097759 spring data 操作 Cassandra 踩坑二三事 https://www.cnblogs.com/shoren/ 阅读全文

posted @ 2021-03-16 11:07 金色的鱼儿阅读(1378) 评论(0) 推荐(0)

cassandra启动时报内存不足处理

摘要：cassandra启动时报内存不足处理文章目录 cassandra启动时报内存不足处理一、问题描述二、问题分析三、问题解决一、问题描述这是之前遇到的问题，这里把它记下来。在启动cassandra时，报错，输出： Java HotSpot(TM) 64-Bit Server VM warn 阅读全文

posted @ 2021-03-16 09:39 金色的鱼儿阅读(557) 评论(0) 推荐(0)

windows系统下cassandra的安装方法

摘要：1、首先从http://cassandra.apache.org/download/网站上找到cassandra，如下图所示： 2、点击3.11.3跳转到下载地址，如下图所示： 3、点击下载，如果浏览器无法下载可以使用迅雷直接复制地址下载，下载好的文件如下图所示：4、然后在指定目录创建一个cassa 阅读全文

posted @ 2021-03-16 09:03 金色的鱼儿阅读(1290) 评论(0) 推荐(0)

Elasticsearch官方已支持SQL查询，用起来贼方便！

摘要：简介 Elasticsearch SQL是一个X-Pack组件，它允许针对Elasticsearch实时执行类似SQL的查询。无论使用REST接口，命令行还是JDBC，任何客户端都可以使用SQL对Elasticsearch中的数据进行原生搜索和聚合数据。可以将Elasticsearch SQL看作是阅读全文

posted @ 2021-03-15 18:34 金色的鱼儿阅读(1610) 评论(0) 推荐(0)

ES Suggester 搜索自动补全

摘要：需求将商品表数据全量更新至ES索引商品索引支持Suggester自动补全，支持过滤商品enable和delete_status状态，只筛选启用且未删除的商品 Suggester与普通搜索区别：ES将Suggest机器依赖的字段放在堆内存，实现近实时的搜索提示功能 es安装ik分词插件 ./bin 阅读全文

posted @ 2021-03-15 17:51 金色的鱼儿阅读(1301) 评论(0) 推荐(0)

Java 集合SortedSet&SortedMap讲解

摘要：把每天重复的工作做好，把每次遇到的困难解决。这次对java集合框架学习中的两个特殊的接口进行介绍：SortedSet和SortedMap，这两个接口提供排序操作，实现他们的子类都具有接口中定义的功能。Set和Map本身不具备排序功能，提供了SortedMap和SortedSet接口之后可以在提供阅读全文

posted @ 2021-03-15 15:15 金色的鱼儿阅读(370) 评论(0) 推荐(0)

elasticsearch实现中文分词和拼音分词混合查询+CompletionSuggestion

摘要：引言之前已经介绍了如何搭建elasticsearch服务端和简单的索引创建，和中文分词的支持。今天我们来说一说如何实现elasticsearch同时实现中文分词和pinyin分词。并且实现类似百度搜索栏的搜索建议的功能。混合查询实现混合查询有很多方式，这里介绍我认为是一个偷懒的方法，就是为你要拼音搜阅读全文

posted @ 2021-03-15 15:05 金色的鱼儿阅读(670) 评论(0) 推荐(0)

PDCA与OODA

摘要：今天读成甲的《好好思考》这本书，里面提到了两种模型，PDCA和OODA，这两种模型也分别代表着积累经验型学习和深度思考型的学习。 PDCA模型相信很多朋友都听说过，也是之前在学习的一个模型。 PDCA又称戴明环，是管理学中的重要理论，它把处理一件事情分为制订计划（Plan）、执行计划（Do）、检查任阅读全文

posted @ 2021-03-13 17:30 金色的鱼儿阅读(1891) 评论(0) 推荐(0)

使用Elasticsearch的动态索引和索引优化

摘要：关于映射实际工作中使用过ES的朋友可能会有和静儿一样的感受。ES存储更新从编码上是很方便。如下，Kubernetes的yaml文件完全可以通过json直接序列化一下，一行代码存入ES。剩下的工作可以交给ES进行动态生成映射。索引映射的生成方式有两种：动态映射字段和映射类型不需要在使用前定义，新字段阅读全文

posted @ 2021-03-13 15:58 金色的鱼儿阅读(602) 评论(0) 推荐(0)

java ElasticSearch并发操作之乐观锁的使用

摘要：参考文章： java ElasticSearch并发操作之乐观锁的使用简介 ES在添加和更新操作，其实是不安全的，所有的数据库db系统都会存在并发问题像关系型数据库MySQL，Oracle，SQL Server默认采用的是悲观锁。在ElasticSearch中采用的乐观锁，下面先熟悉下什么是乐观阅读全文

posted @ 2021-03-13 11:15 金色的鱼儿阅读(714) 评论(0) 推荐(0)

ES并发更新导致冲突的问题

摘要：当并发操作ES的线程越多，或者并发请求越多，或者是读取一份数据，供用户查询和操作的，时间越长，因为这段时间里很可能数据在ES已经被修改了，那么我们拿到的就是旧的数据，基于旧数据操作，那么后续肯定会出问题所以我们有悲观锁和乐观锁俩种并发控制方案悲观锁并发控制方案常见于关系型数据库中，比如mysql悲阅读全文

posted @ 2021-03-13 11:05 金色的鱼儿阅读(816) 评论(0) 推荐(0)

ElasticSearch教程——partial update（更新文档）实现原理及并发控制

摘要：ElasticSearch汇总请查看：ElasticSearch教程——汇总篇语法 partial update语法如下 post /index/type/id/_update { "doc": { "要修改的少数几个field即可，不需要全量的数据"："对应field的数据" } } 创建文档& 阅读全文

posted @ 2021-03-13 11:01 金色的鱼儿阅读(691) 评论(0) 推荐(0)

ElasticSearch教程——并发问题与锁机制

摘要：ElasticSearch汇总请查看：ElasticSearch教程——汇总篇并发冲突举个例子，比如在电商的场景下，假设我们有个程序，其工作流程为：1.读取商品信息（包含库存，以牙膏为例）；2.用户下单购买;3.更新商品库存（库存减一）;如果该程序是多线程的，那么总有一个线程是先得到的，假设我们牙膏阅读全文

posted @ 2021-03-13 10:55 金色的鱼儿阅读(927) 评论(0) 推荐(0)

Elasticsearch 7 : 文档 _id 的长度限制

摘要：PUT student { "mappings" : { "properties" : { "name" : { "type" : "keyword" } } }, "settings" : { "index" : { "number_of_shards" : 1 } } } 插入简单数据测试 PO 阅读全文

posted @ 2021-03-12 08:50 金色的鱼儿阅读(1402) 评论(0) 推荐(0)

ES之Mapping映射创建

摘要：1、AdminAPI.java package es; import org.elasticsearch.action.admin.indices.create.CreateIndexRequestBuilder; import org.elasticsearch.client.AdminClien 阅读全文

posted @ 2021-03-11 09:10 金色的鱼儿阅读(505) 评论(0) 推荐(1)

JAVA 判断字符串是否可转化为JSONObject、JSONArray

摘要：有时，我们需要判断字符串在转化为JSON对象或者JSONArray时，我们可以使用JSONObject.parseObject和JSONArray.parseArray，但是有时候我们需要在转化之前判断该字符串是否能够被转化为JSON对象或者数组。由于没有找到较好的方法，只能暂时用以下方法了。 /* 阅读全文

posted @ 2021-03-10 15:36 金色的鱼儿阅读(901) 评论(0) 推荐(0)

java操作elasticsearch实现批量添加主要使用了bulk

摘要：java操作elasticsearch实现批量添加主要使用了bulk 代码如下： //bulk批量操作(批量添加) @Test public void test7() throws IOException { //1、指定es集群 cluster.name 是固定的key值，my-applicati 阅读全文

posted @ 2021-03-10 12:44 金色的鱼儿阅读(210) 评论(0) 推荐(0)

es java scroll滚动查询

摘要：滚动查询 /** * 滚动查询 */ @Test public void scroll() { SearchResponse response = client.prepareSearch("twitter").setTypes("tweet") .addSort(SortBuilders.fiel 阅读全文

posted @ 2021-03-10 12:35 金色的鱼儿阅读(1567) 评论(0) 推荐(0)

利用Redis Sorted Set实现排行榜功能

摘要：Redis 有序集合(sorted set)一、向集合中添加（多个）元素和元素分值 ZADD key score1 member1 [ score2 member2] 1. ZADD testkey 1 redis 2. ZADD testkey 2 mysql 3 java 二、遍历集合 ZRAN 阅读全文

posted @ 2021-03-04 19:32 金色的鱼儿阅读(1011) 评论(0) 推荐(0)

Elasticsearch -删除索引（index）

摘要：删除单个: DELETE /indexcurl -XDELETE 'http://192.169.1.666:9200/index 你也可以这样删除多个索引： DELETE /index_one,index_two curl -XDELETE 'http://192.169.1.666:9200/i 阅读全文

posted @ 2021-03-04 16:55 金色的鱼儿阅读(1217) 评论(0) 推荐(0)

Redis简单案例(一) 网站搜索的热搜词

摘要：对于一个网站来说，无论是商城网站还是门户网站，搜索框都是有一个比较重要的地位，它的存在可以说是为了让用户更快、更方便的去找到自己想要的东西。对于经常逛这个网站的用户，当然也会想知道在这里比较“火” 的东西是什么，这个时候我们搜索框上的热词就起作用了。其实我觉得这一块的完善会对这个网站带来许多益处。阅读全文

posted @ 2021-03-03 19:14 金色的鱼儿阅读(368) 评论(0) 推荐(0)

别找了，最全的搜集关键词方法在这里

摘要：转载于：http://www.360doc.com/content/17/0422/11/8224881_647587845.shtml 阅读全文

posted @ 2021-03-03 18:25 金色的鱼儿阅读(1550) 评论(0) 推荐(0)

关键词收集与整理

摘要：一、为什么关键词最重要 1、自然流量的主要入口之一 2、关键词是产品推广的基石 3、关键词是否精准会直接影响产品的各项指标二、标题和关键词 a、关键词：客人搜索的才叫关键词，关键词是一个带数据的词 b、标题：就是把大量的搜索关键词以一定的逻辑组合起来 c、标题组合逻辑：不是语法，也不是语言习惯，也阅读全文

posted @ 2021-03-03 17:41 金色的鱼儿阅读(838) 评论(0) 推荐(0)

Intellij IDEA运行报command line is too long. shorten command line for xxx 解法

摘要：解决方法：在项目/.idea/workspace.xml文件中添加一行代码如下 <component name="PropertiesComponent"> ... <property name="dynamic.classpath" value="true" /> </component> 如图所阅读全文

posted @ 2021-03-03 14:52 金色的鱼儿阅读(2389) 评论(0) 推荐(0)

springboot redis工具类（含完整的单元测试+简单集成）

摘要：https://blog.csdn.net/mengxiangxingdong/article/details/88419976 阅读全文

posted @ 2021-03-03 14:05 金色的鱼儿阅读(387) 评论(0) 推荐(0)

Java单元测试(Junit+Mock+代码覆盖率)

摘要：单元测试是编写测试代码，用来检测特定的、明确的、细颗粒的功能。单元测试并不一定保证程序功能是正确的，更不保证整体业务是准备的。单元测试不仅仅用来保证当前代码的正确性，更重要的是用来保证代码修复、改进或重构之后的正确性。一般来说，单元测试任务包括 JUNIT JUnit是Java单元测试框架，已经阅读全文

posted @ 2021-03-03 13:43 金色的鱼儿阅读(2351) 评论(0) 推荐(0)

Git diff 生成patch文件

摘要：通过git diff 命令生成patch文件 1.还未提交的修改命令：git diff > commit.patch 2.已提交的修改先用git log命令查看commit id soft04@lzy-pc:~/work/code/p716qc-e3x-qz-noback$ git log c 阅读全文

posted @ 2021-03-03 09:02 金色的鱼儿阅读(5187) 评论(0) 推荐(0)

新建code review请求

摘要：Posted on 2014 年 7 月 19 日一个code review请求，至少包括”summary”,”description”, 一些”reviewers”。一个code review请求通常包含diff文件，如果code review请求中只有附件，那个这个diff文件就更有用了。有阅读全文

posted @ 2021-03-03 09:00 金色的鱼儿阅读(248) 评论(0) 推荐(0)

elasticSearch availableProcessors is already set to [8], rejecting [8]

摘要：使用springboot elasticSearch启动时报 org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'apiSearchController': 阅读全文

posted @ 2021-03-02 14:40 金色的鱼儿阅读(127) 评论(0) 推荐(0)

03 2021 档案

公告