shoufeng

瘦风的南墙

随笔分类 -  02 - Elasticsearch

Elasticsearch是一款优秀的、被广泛使用的全文搜索引擎, 从这里手把手教你学 其与Logstash、Kibana组成的ELK技术栈在数据采集、数据分析、数据可视化等方面的应用啦😆
摘要:本篇博文通过对ES中不同类型的字段的建模方案进行说明, 并结合实际案例, 演示了index、stored、dynamic等参数的使用, 并归纳了ES处理关联关系、避免太多的字段、避免正则查询、避免空值引起聚合结果失真等最佳实践. 如有疑问, 留言区见😄 阅读全文
posted @ 2019-10-07 19:45 瘦风 阅读(2744) 评论(0) 推荐(1) 编辑
摘要:Elasticsearch的部署要比Solr方便很多: Solr要通过Tomcat/Jetty等Web容器发布服务, 并使用ZooKeeper作为注册中心进行选举、配置文件的管理等工作. 而ES只需要启动一个服务, 其内部已实现注册和选举, 因而更加轻量化. 本篇博文以Elasticsearch 6.6.0版本为例, 从0开始搭建一个3节点的生产集群, 并对搭建过程中可能出现的问题及解决方法做个记录. 阅读全文
posted @ 2019-06-25 10:54 瘦风 阅读(2127) 评论(4) 推荐(2) 编辑
摘要:在生产环境中, 要保证服务在各种极限情况下的稳定和高可用, 所以在部署ES集群时, 需要考虑服务器的内存、CPU、磁盘, 集群的网络、节点个数, 并且要优化JVM的各项参数. 首先从这些方面着手进行部署前的规划. 阅读全文
posted @ 2019-06-24 15:32 瘦风 阅读(7807) 评论(1) 推荐(2) 编辑
摘要:Elasticsearch是如何通过Lucene把索引数据写入磁盘的? 为了实现更快的实时性、更可靠的数据持久化, 以及更高效的大量segment文件的归并, 还能不能优化这个过程? 本片文章介绍一些优化实践, 欢迎交流呀( ⊙ o ⊙ ) 阅读全文
posted @ 2019-04-18 15:12 瘦风 阅读(5965) 评论(3) 推荐(0) 编辑
摘要:听说过Elasticsearch的协调节点吗? 在CRUD索引数据的时候, 就是它负责转发客户端的请求的. 转发之后是如何处理请求的呢? 这篇博文作个精简的介绍. 阅读全文
posted @ 2019-04-13 16:11 瘦风 阅读(1732) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch的type有什么用处? 通过type元字段实现了什么功能? 底层如何使用? 有哪些注意事项/最佳实践? 本篇文章对这些内容作一个简单的探讨. 阅读全文
posted @ 2019-04-11 19:22 瘦风 阅读(2848) 评论(2) 推荐(0) 编辑
摘要:元字段是ES为每个文档配置的内置字段, 主要用于ES内部相关操作. ES有多种类型的元字段, 在使用和提高性能方面有很强大的地方, 这篇文章列举常用元字段的功能和使用方法, 包括_index、_type、_source、_routing等, 欢迎交流吖~ 阅读全文
posted @ 2019-04-09 21:03 瘦风 阅读(12423) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch的映射(mapping)是什么? 在创建索引时, 如何对不同的数据类型进行特殊的配置与操作? 映射(mapping)有哪些组成部分? 如何配置和更新mapping? 这篇文章通通告诉你. 阅读全文
posted @ 2019-04-03 14:57 瘦风 阅读(13599) 评论(0) 推荐(2) 编辑
摘要:Elasticsearch中的脚本(script)有什么作用? 如何创建、搜索、使用脚本? 脚本的缓存又是什么? 对于脚本的使用, 有哪些高效的实践策略? 本篇博文对这些内容作个简单的探讨. 阅读全文
posted @ 2019-02-27 09:11 瘦风 阅读(8857) 评论(0) 推荐(0) 编辑
摘要:修改ES中的索引文档, 常见的方法是全量替换, 这种方式不能做到修改指定字段. 本篇博文通过对 partial update 语法的学习, 实现局部修改文档的功能, 并演示了通过外置脚本批量局部修改文档, 最后对partial update的并发控制方式做了简单的扩展. 阅读全文
posted @ 2019-02-14 19:06 瘦风 阅读(11630) 评论(0) 推荐(0) 编辑
摘要:Elasticsearch 如何进行分页查询? 如果起始页、页大小很大会有性能上的损耗吗? 本文从分页查询开始, 引出其deep paging (即深层分页) 问题, 并分析其优劣, 给出解决方法. 阅读全文
posted @ 2019-02-14 17:48 瘦风 阅读(2315) 评论(0) 推荐(0) 编辑
摘要:聚合类似于 MySQL 中的 group by 分组, Elasticsearch 支持通过聚合函数 (count、sum、max、min、avg等) 进行统计分析. 具体要如何通过ES进行聚合统计、嵌套聚合等操作呢? 本文通过系列案例, 进行比较详细的演示, 一起来学习交流吧^_^ 阅读全文
posted @ 2019-01-22 11:19 瘦风 阅读(45684) 评论(0) 推荐(7) 编辑
摘要:从相关度评分和性能表现两个角度对比 Elasticsearch 中检索(query)和过滤(filter)的区别: (1) query性能较差, 但支持排序; (2) filter性能优于query, 但不支持按照匹配的相关度进行排序. 阅读全文
posted @ 2019-01-18 14:53 瘦风 阅读(3456) 评论(0) 推荐(1) 编辑
摘要:Elasticsearch中如何进行数值范围查询? 日期范围查询又是怎么实现的?关于日期的数学表达式、四舍五入规则都是什么? 还有怎样根据不同的时区查询?本篇文章告诉你答案O(∩_∩)O~ 阅读全文
posted @ 2019-01-15 08:55 瘦风 阅读(101284) 评论(6) 推荐(5) 编辑
摘要:本篇博文简单介绍Elasticsearch中term词条检索、prefix前缀检索、wildcard通配符检索、fuzzy纠错检索, 以及boost分数提升等高级检索的用法, 最后通过复杂检索的示例, 综合演示这些检索语法. 阅读全文
posted @ 2019-01-12 13:17 瘦风 阅读(25958) 评论(1) 推荐(3) 编辑
摘要:本文介绍Elasticsearch的DSL(领域特定语言)的使用, 包括validate、match query、bool query等的使用方法, 详细而且都有使用示例~ 欢迎交流呀(⊙ o ⊙) 阅读全文
posted @ 2019-01-07 09:18 瘦风 阅读(4044) 评论(0) 推荐(2) 编辑
摘要:本篇主要讲Elasticsearch的_search API的简单使用, 包括在URI中拼接请求体的方式实现查询、对主要查询参数的含义和使用进行演示, 还讲到了timeout超时机制的作用和使用方法. 阅读全文
posted @ 2019-01-04 15:40 瘦风 阅读(7103) 评论(0) 推荐(0) 编辑
摘要:如何对Elasticsearch的索引数据进行增删改查操作? 新增数据时是否指定id? 如何通过`_id`和`_source`元字段查询文档, 全量修改和强制替换文档的使用, 删除文档的原理...... 本篇文章作个比较详细的说明~ 阅读全文
posted @ 2018-12-24 08:23 瘦风 阅读(9747) 评论(0) 推荐(2) 编辑
摘要:Elasticsearch中每个field都对应一个数据类型. 本篇详细介绍string、date、array、object、nested、geo等数据类型的作用及主要用法. 欢迎交流( ⊙ o ⊙ ) 阅读全文
posted @ 2018-12-20 12:23 瘦风 阅读(64795) 评论(3) 推荐(6) 编辑
摘要:本文以Elasticsearch 6.6.0版本为例, 介绍ES的动态映射, 以及其作用和优点, 并就如何自定义使用动态模板做一个详细的演示, 如有问题, 留言区见呀. 阅读全文
posted @ 2018-12-04 08:24 瘦风 阅读(11273) 评论(2) 推荐(2) 编辑