06 2019 档案

ElasticSearch 横向扩容+容错机制+元数据解析
摘要：1、图解横向扩容过程，如何超出扩容极限，以及如何提升容错性 （1）primary&replica自动负载均衡，6个shard，3 primary，3 replica（2）每个node有更少的shard，IO/CPU/Memory资源给每个shard分配更多，每个shard性能更好（3）扩容的极限，6 阅读全文
posted @ 2019-06-27 14:27 Transkai 阅读(564) 评论(0) 推荐(0)
ElasticSearch 基础分布式架构+shard+replica
摘要：目录 1、Elasticsearch对复杂分布式机制的透明隐藏特性2、Elasticsearch的垂直扩容与水平扩容3、增减或减少节点时的数据rebalance4、master节点5、节点对等的分布式架构 6、shard&replica机制再次梳理 7、单node环境下创建index是什么样子的 1 阅读全文
posted @ 2019-06-26 15:40 Transkai 阅读(823) 评论(0) 推荐(1)
ElasticSearch 嵌套聚合+下钻分析+聚合分析
摘要：第一个分析需求：计算每个tag下的商品数量 GET /ecommerce/product/_search{ "aggs": { "group_by_tags": { "terms": { "field": "tags" } } }} 将文本field的fielddata属性设置为true PUT / 阅读全文
posted @ 2019-06-26 11:19 Transkai 阅读(707) 评论(0) 推荐(0)
ElasticSearch 多种搜索方式详解
摘要：1、query string search2、query DSL3、query filter4、full-text search5、phrase search6、highlight search 1、query string search 搜索全部商品：GET /ecommerce/product/ 阅读全文
posted @ 2019-06-26 11:16 Transkai 阅读(397) 评论(0) 推荐(0)
ElasticSearch Java API 增删改查操作
摘要：5 新建文档（源数据是手写的 json 串） 6 新建文档（源数据是以 map 方式添加的键值对） 7 新建文档（源数据是通过 es 构建器构建的数据） 8 搜索文档数据（单个索引） 9 搜索文档数据（多个索引） 10 更新文档数据（update） 11 更新文档数据（upsert） 12 删除文档 阅读全文
posted @ 2019-06-19 15:57 Transkai 阅读(1135) 评论(0) 推荐(0)
ElasticSearch Java API连接报错NoNodeAvailableException解决方案
摘要：如下代码： 运行报错： NoNodeAvailableException 查看日志如下： java.lang.IllegalStateException: Received message from unsupported version: [5.2.2] minimal compatible ve 阅读全文
posted @ 2019-06-19 11:32 Transkai 阅读(874) 评论(0) 推荐(0)
Elasticsearch 使用Kibana实现基本的增删改查+mget批量查询+bulk批量操作
摘要：使用ElasticSearch API 实现CRUD 添加索引： 指定分片和副本： PUT /lib/ { "settings":{ "index":{ "number_of_shards": 5, "number_of_replicas": 1 } }} 不指定分片和副本： PUT lib 查看索 阅读全文
posted @ 2019-06-18 16:30 Transkai 阅读(1089) 评论(0) 推荐(0)
Elasticsearch CentOS6.5下安装ElasticSearch6.2.4+elasticsearch-head+Kibana
摘要：CentOS6.5下安装ElasticSearch6.2.4(1)配置JDK环境 配置环境变量 export JAVA_HOME="/opt/jdk1.8.0_144" export PATH="$JAVA_HOME/bin:$PATH" export CLASSPATH=".:$JAVA_HOME 阅读全文
posted @ 2019-06-18 11:31 Transkai 阅读(747) 评论(0) 推荐(0)
Elasticsearch 核心概念：NRT+索引+分片+副本
摘要：1、lucene和elasticsearch的前世今生 lucene，最先进、功能最强大的搜索库，直接基于lucene开发，非常复杂，api复杂（实现一些简单的功能，写大量的java代码），需要深入理解原理（各种索引结构） elasticsearch，基于lucene，隐藏复杂性，提供简单易用的re 阅读全文
posted @ 2019-06-18 09:13 Transkai 阅读(1686) 评论(0) 推荐(0)
Solr solrj4与solrj-7.7.2操作solrcloud
摘要：以下为solr4的java API操作 还有HttpSolrServer类,而solr7已经是没有的了，换成Solrclient 以下为solrj4与solrj7操作solrcloud的比较 // zkHost：zookeeper的地址列表 //String zkHost = "hadoop-001 阅读全文
posted @ 2019-06-13 20:12 Transkai 阅读(793) 评论(0) 推荐(0)
Solr Centos6.5下搭建solr-7.7.2集群solrcloud+DIH操作
摘要：上一篇介绍了单机版的搭建，现在来介绍集群版的搭建 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并 阅读全文
posted @ 2019-06-13 19:49 Transkai 阅读(547) 评论(0) 推荐(0)
Solr Centos6.5下安装solr7.2
摘要：部署配置单机版solr 1.把solr-7.2.0/server/solr-webapp里面的webapp拷贝到tomcat 的webapps下，重命名为solr cp -r solr-7.2.1/server/solr-webapp/webapp/ /data/soft/tomcat/webapp 阅读全文
posted @ 2019-06-13 19:03 Transkai 阅读(358) 评论(0) 推荐(0)
剑指offer 25.分解让复杂问题简单 复杂链表的复制
摘要：题目描述 输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另一个特殊指针指向任意一个节点），返回结果为复制后复杂链表的head。（注意，输出结果中请不要返回参数中的节点引用，否则判题程序会直接返回空） 输入一个复杂链表（每个节点中有节点值，以及两个指针，一个指向下一个节点，另 阅读全文
posted @ 2019-06-03 20:03 Transkai 阅读(225) 评论(0) 推荐(0)
Scala 高阶函数（作为值的函数、匿名函数、闭包、柯里化）+隐式转换和隐式参数
摘要：Scala高级特性 1. 学习目标 1.1. 目标一：深入理解高阶函数 1.2. 目标二：深入理解隐式转换 2. 高阶函数 2.1. 概念 Scala混合了面向对象和函数式的特性，我们通常将可以作为参数传递到方法中的表达式叫做函数。在函数式编程语言中，函数是“头等公民”，高阶函数包含：作为值的函数、 阅读全文
posted @ 2019-06-03 18:44 Transkai 阅读(562) 评论(0) 推荐(0)
Scala Actor并发编程
摘要：1. Scala Actor并发编程 1.1. 目标 1.1.1. 目标一：熟悉Scala Actor并发编程 1.1.2. 目标二：为学习Akka做准备 注：Scala Actor是scala 2.10.x版本及以前版本的Actor。 Scala在2.11.x版本中将Akka加入其中，作为其默认的 阅读全文
posted @ 2019-06-03 17:39 Transkai 阅读(340) 评论(0) 推荐(0)
Scala 模式匹配和样例类+协变、逆变、非变+上下界
摘要：1. 模式匹配和样例类 Scala有一个十分强大的模式匹配机制，可以应用到很多场合：如switch语句、类型检查等。并且Scala还提供了样例类，对模式匹配进行了优化，可以快速进行匹配。 1.1. 匹配字符串 1.2. 匹配类型 注意：case y: Double if(y >= 0) => ... 阅读全文
posted @ 2019-06-03 17:27 Transkai 阅读(322) 评论(0) 推荐(0)
Scala 面向对象（二）construct+抽象类+接口trait
摘要：1.1.1. Scala中调用父类的constructor Scala中，每个类都可以有一个主constructor和任意多个辅助constructor，而且每个辅助constructor的第一行都必须调用其他辅助constructor或者主constructor代码；因此子类的辅助construc 阅读全文
posted @ 2019-06-03 17:17 Transkai 阅读(404) 评论(0) 推荐(0)