bonelee - 博客园

2017年8月30日

ElasticSearch Shard——本质上是做分布式扩展，副本对于集群的稳定性有很强的影响

摘要：什么是一个Shard？ Shard就是一个Lucene Index，参照文章(深入理解Shard和Lucene Index)。 Index需要多少个Shard？回答这个问题，我们需要先谈谈节点，一个集群有多个节点，具体需要多少个节点合适，是另外一个问题，但是这个数字也会影响我们对Shard数的设置阅读全文

posted @ 2017-08-30 17:25 bonelee 阅读(757) 评论(0) 推荐(0)

ES设置查询的相似度算法

摘要： similarity similarity Elasticsearch allows you to configure a scoring algorithm or similarity per field. The similaritysetting provides a simple way o 阅读全文

posted @ 2017-08-30 10:43 bonelee 阅读(3358) 评论(0) 推荐(0)

2017年8月28日

ES不设置副本是非常脆弱的，整个文章告诉了你为什么

摘要： Delaying Shard Allocation Delaying Shard Allocation Delaying Shard Allocation Delaying Shard Allocation As discussed way back in Scale Horizontally, E 阅读全文

posted @ 2017-08-28 16:40 bonelee 阅读(1435) 评论(0) 推荐(0)

集群版本升级——rolling upgrade在ES 单节点从 restart 到加入集群，大概要 100s 左右的时间。也就是说，这 100s 内，该节点上的所有分片都是 unassigned 状态

摘要：集群版本升级 Elasticsearch 作为一个新兴项目，版本更新非常快。而且每次版本更新都或多或少带有一些重要的性能优化、稳定性提升等特性。可以说，ES 集群的版本升级，是目前 ES 运维必然要做的一项工作。按照 ES 官方设计，有 restart upgrade 和 rolling upgr 阅读全文

posted @ 2017-08-28 16:24 bonelee 阅读(739) 评论(0) 推荐(0)

ES跨版本升级？——难道升级集群发生shard allocation是因为要分配replica节点？？？

摘要： Full cluster restart upgrade Full cluster restart upgrade Full cluster restart upgrade Full cluster restart upgrade Elasticsearch requires a full clus 阅读全文

posted @ 2017-08-28 15:31 bonelee 阅读(1102) 评论(0) 推荐(0)

官方文档 Upgrading Elasticsearch

摘要： Upgrading Elasticsearch Upgrading Elasticsearch Before upgrading Elasticsearch: Consult the breaking changes docs. Use the Elasticsearch Migration Plu 阅读全文

posted @ 2017-08-28 14:52 bonelee 阅读(457) 评论(0) 推荐(0)

集群节点Elasticsearch升级

摘要：集群节点Elasticsearch升级操作流程 1.首先执行Elasticsearch-1.2.2集群的索引数据备份 2.关闭elasticsearch-1.2.2集群的recovery.compress 3.关闭shard reallocation 4.关闭集群中需要升级的节点 5.确认被关闭节阅读全文

posted @ 2017-08-28 14:47 bonelee 阅读(837) 评论(0) 推荐(0)

ES什么时候会平衡分片

摘要： "cluster.routing.allocation.balance.shard":"0.45f",//定义分配在该节点的分片数的因子阈值=因子*（当前节点的分片数-集群的总分片数/节点数，即每个节点的平均分片数） "cluster.routing.allocation.balance.inde 阅读全文

posted @ 2017-08-28 14:28 bonelee 阅读(3471) 评论(0) 推荐(0)

ElasticSearch 深入理解三：集群部署设计

摘要： ElasticSearch 深入理解三：集群部署设计 ElasticSearch从名字中也可以知道，它的Elastic跟Search是同等重要的，甚至以Elastic为主要导向。 Elastic即可伸缩性，作为一个分布式的搜索引擎，可伸缩性是它的核心竞争力。 Elastic&Shard 这两个词能阅读全文

posted @ 2017-08-28 14:22 bonelee 阅读(1655) 评论(0) 推荐(0)

pyspark kafka createDirectStream和createStream 区别

摘要： Kafka的进程ID为9300，占用端口为9092 QuorumPeerMain为对应的zookeeper实例，进程ID为6379，在2181端口监听所以在运行官方例子时候一个是 ./bin/spark-submit --jars ~/spark-streaming-kafka-0-8-asse 阅读全文

posted @ 2017-08-28 11:32 bonelee 阅读(3094) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告