摘要：数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的 实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明 项目背景： 在一业务系统中，部分表每天的数据量过亿 阅读全文

摘要：这个问题说白了，就是看你有没有实际用过 ES，因为啥？其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下 5~10s，坑爹了。 第一次搜索的时候，是 5~10s，后面反而就快了，可能就几百毫秒。 你就很懵，每个用户第一次访问都 阅读全文

摘要：Lucene 简介 Lucene 是一种高性能、可伸缩的信息搜索（IR）库，在 2000 年开源，最初由鼎鼎大名的 Doug Cutting 开发，是基于 Java 实现的高性能的开源项目。 Lucene 采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，使它在读写 阅读全文

摘要：ES 性能调优 ES 的默认配置，是综合了数据可靠性、写入速度、搜索实时性等因素。实际使用时，我们需要根据公司要求，进行偏向性的优化。 写优化 假设我们的应用场景要求是，每秒 300 万的写入速度，每条 500 字节左右。 针对这种对于搜索性能要求不高，但是对写入要求较高的场景，我们需要尽可能的选择 阅读全文

摘要：我们把订单数据存储在 MySQL 中，但显然只通过 DB 来支撑大量的查询是不可取的。 同时对于一些复杂的查询，MySQL 支持得不够友好，所以订单中心系统使用了 Elasticsearch 来承载订单查询的主要压力。 Elasticsearch 作为一款功能强大的分布式搜索引擎，支持近实时的存储、 阅读全文

摘要：系统层面的调优 系统层面的调优主要是内存的设定与避免交换内存。ES 安装后默认设置的堆内存是 1GB，这很明显是不够的，那么接下来就会有一个问题出现：我们要设置多少内存给 ES 呢？ 其实这是要看我们集群节点的内存大小，还取决于我们是否在服务器节点上还要部署其他服务。 如果内存相对很大，如 64G 阅读全文

摘要：1.在使用ES之前就应该把mapping指定写好，官方文档写的很详细 You can only find that which is stored in your index. In order to make your data searchable, your database needs to 阅读全文