随笔分类 -  ElasticSearch

ES 集群调整、升级 最佳实践
摘要：es 集群修改配置或者升级 最佳实践 阅读全文
posted @ 2016-08-11 11:07 NPH 阅读(2232) 评论(0) 推荐(0)
logstash 输出到elasticsearch 自动建立index
摘要：由于es 单index 所能承受的数据量有限，之前情况是到400w数据300G左右的时候,整个数据的插入会变得特别慢（索引重建）甚至会导致集群之间的通信断开,于是我们采用每天一个index的方法来缓解压力,logstash 默认是支持每天产生索引的默认名为 logstash-yyyy.MM.d... 阅读全文
posted @ 2015-12-09 22:12 NPH 阅读(3657) 评论(3) 推荐(0)
ElasticSearch 的一次非正常master脱离的调查 （转 和我碰到的情况一模一样）
摘要：转自http://simonlei.iteye.com/blog/1669992一共有4个节点的cluster，其中es4是master，某个时间突然es1脱离了整个cluster，调查过程如下：[es@bigdata1logs]$date;sshbd4date2012年09月03日星期一09:41... 阅读全文
posted @ 2015-04-08 16:58 NPH 阅读(1300) 评论(0) 推荐(0)
Elasticsearch Java虚拟机配置详解（转）
摘要：引言：今天，事情终于发生了。Java6（Mustang），是2006年早些时候出来的，至今仍然应用在众多生产环境中，现在终于走到了尽头。已经没有什么理由阻止迁移到Java7(Dolphin)上了。这也促使我想写一篇关于在ElasticSearch上配置Java6和7的细微差异的博文。Elastics... 阅读全文
posted @ 2015-04-08 16:57 NPH 阅读(709) 评论(0) 推荐(0)
elasticsearch 性能调优
摘要：此处我们是修改为60s 其实可以改为-1s 这样就是不刷新，我们需要在查询的时候进行一次索引刷新然后再查询，这个嘛就得看你们用户能容忍多少时间长度了。 es最近老是挂掉，无缘无故，表现症状为 对于大小超过100g的index（5个分片 1e数据量左右）插入超级慢，由于机器资源有限 ，只能想出 将每一 阅读全文
posted @ 2015-03-19 17:25 NPH 阅读(46824) 评论(9) 推荐(1)
elasticsearch 配置详解
摘要：elasticsearch的config文件夹里面有两个配置文件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日志的，所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下e... 阅读全文
posted @ 2015-03-18 15:40 NPH 阅读(1096) 评论(0) 推荐(0)
elasticsearch 索引优化
摘要：ES索引优化篇主要从两个方面解决问题，一是索引数据过程；二是检索过程。索引数据过程我在上面几篇文章中有提到怎么创建索引和导入数据，但是大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tra... 阅读全文
posted @ 2015-03-18 15:38 NPH 阅读(1216) 评论(0) 推荐(0)
elasticsearch集群内部节点超时解决
摘要：默认配置为：节点每隔1s同master发送1次心跳，超时时间为30s，测试次数为3次，超过3次，则认为该节点同master已经脱离了。以上为elasticsearch的默认配置。在实际生产环境中，每隔1s，太频繁了，会产生太多网络流量。我们可以在elasticsearch.yml如下修改。Java代... 阅读全文
posted @ 2015-03-18 13:29 NPH 阅读(1339) 评论(0) 推荐(0)
elasticsearch使用jetty进行简单的权限控制
摘要：默认elasticsearch是使用netty作为http的容器，由于netty并没有权限模块，所以默认es没有任何的权限控制，直接通过http就可以进行任何操作，除非把http禁用。但如果你使用elasticsearch-jetty插件，就可以使用jetty自带的权限管理进行一些权限的控制，同时也... 阅读全文
posted @ 2015-03-18 13:28 NPH 阅读(863) 评论(0) 推荐(0)
elasticsearch 使用事项
摘要：template的使用刚开始的时候，每次实验都去改/etc/elasticsearch/elasticsearch.yml配置文件。事实上在template里修改settings更方便而且灵活！当然最主要的，还是调节里面的properties设定，合理的控制store和analyze了。templa... 阅读全文
posted @ 2015-03-18 13:28 NPH 阅读(442) 评论(0) 推荐(0)
elasticsearch的5种分片查询优先级
摘要：elasticsearch可以使用preference参数来指定分片查询的优先级，使用时就是在请求url上加上preference参数，如：http://ip:host/index/_search?preference=_primaryjava的调用接口翻译为：client.prepareSearc... 阅读全文
posted @ 2015-03-18 13:27 NPH 阅读(6146) 评论(0) 推荐(0)
elasticsearch高级配置之（一）----分片分布规则设置
摘要：Java代码cluster.routing.allocation.allow_rebalance设置根据集群中机器的状态来重新分配分片，可以设置为always, indices_primaries_active和indices_all_active，默认是设置成indices_all_active来... 阅读全文
posted @ 2015-03-18 13:25 NPH 阅读(993) 评论(0) 推荐(0)
elasticsearch高级配置之（二）----线程池设置
摘要：elasticsearch 配置 线程池一个Elasticsearch节点会有多个线程池，但重要的是下面四个：索引（index）：主要是索引数据和删除数据操作（默认是cached类型）搜索（search）：主要是获取，统计和搜索操作（默认是cached类型）批量操作（bulk）：主要是对索引的批量操... 阅读全文
posted @ 2015-03-18 13:25 NPH 阅读(3776) 评论(0) 推荐(0)
elasticsearch 手动控制分片分布
摘要：elasticsearch可以通过reroute api来手动进行索引分片的分配。 不过要想完全手动，必须先把cluster.routing.allocation.disable_allocation参数设置为true，禁止es进行自动索引分片分配，否则你从一节点把分片移到另外一个节点，那么另外一个 阅读全文
posted @ 2015-03-18 13:23 NPH 阅读(1232) 评论(0) 推荐(0)
ElasticSearch — 集群搭建
摘要：1.es需要java环境，故先检查java环境是否正常2.下载elasticsearch安装包http://www.elasticsearch.org/download/目前最新版本到1.4.0,Linux下载es命令:wgethttps://download.elasticsearch.org/e... 阅读全文
posted @ 2014-12-05 13:11 NPH 阅读(269) 评论(0) 推荐(0)