随笔分类 - ELK Stack
摘要：简单的事情应该简单(Simple things should be simple)，这是Elastic {ON} ‘17的主题之一，Elastics收到了许多关于使用简单易用的UI创建警报的请求。事实证明，创建单个UI以对所有类型的警报均有效地工作非常困难。例如，可以在平均CPU使用率超过50％时创
阅读全文
摘要：在Elasticsearch中，我们可以使用_search终端进行搜索。这个在我之前的文章 “开始使用Elasticsearch （2）” 中有很多的描述。针对这种搜索，我们可以使用强大的DSL进行搜索。在Elasticsearch中，还有一类是基于URI的搜索。对于这种它可以很方便地直接在浏览器中
阅读全文
摘要：建立搜索体验是一项艰苦的工作。 乍一看似乎很容易：建立一个搜索栏，将数据放入数据库，然后让用户输入对该数据库的查询。 但是，在数据建模，底层逻辑以及（当然）总体设计和用户体验方面，有很多事情要考虑。 我们将逐步介绍如何使用Elastic的开源Search UI库构建出色的基于React的搜索体验。
阅读全文
摘要：Beats作为Elastic Stack家族中重要的部分。它可以和方便地让我们把我们的数据发送到Elasticsearch或Logstash之中。如果我们想要生成自己的Beat，请使用GitHub的beats仓库中提供的Beat生成器。在今天的文章中，我们将详细介绍如何一步一步地来创建一个我们自己想
阅读全文
摘要：Elasticsearch提供了replica解决方案，它可以帮我们解决了如果有一个或多个node失败了，那么我们的数据还是可以保证完整的情况，并且搜索还可以继续进行。但是，有一种情况是我们的所有的node，或者有一部分node失败，可能会造成我们的数据的丢失。也就是说replca不能提供一种灾难性
阅读全文
摘要：聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合
阅读全文
摘要：在今天的文章里，我们将介绍Elastic的一个重要的应用：应用程序性能管理（Application Performance Monitoring/Management)，简称APM。那么到底什么是APM呢？ 随着时代的发展，我们的IT架构越来越复杂，比如： 我们系统的服务器越来越多，而且更多的设备都
阅读全文
摘要：Elastic Stack的组件是不安全的，因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时，这会带来安全风险。 为了防止生产中未经授权的访问，采用了不同的机制来施加安全性，例如在防火墙后运行Elastic Stack并通过反向代理（例如ngi
阅读全文
摘要：在本文中，我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语，这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用： 为用户查询标识包含同义词，首字母缩略词等的相关文档。例如，当用户搜索H1N1
阅读全文
摘要：Elastic Stack是一套完整的从数据采集，解析，分析，丰富，到搜索，检索，数据程序等一套完整的软件栈。在具体的实践中，我们应该如何搭建我们的系统呢？ 下图描述了常用的Elastic Stack的部署架构： 该图描述了三种可能的体系结构： 将操作指标直接发送到Elasticsearch：如上图
阅读全文
摘要：Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中，用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫（Markov）模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入
阅读全文
摘要：ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上，ICU的目的是增加对Unicode和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看，此插件提供了文本分析中的新组件，如下表所示: 安装 我们可以首
阅读全文
摘要：在7.0版发布之前，hits.total始终用于表示符合查询条件的文档的实际数量。在Elasticsearch 7.0版中，如果匹配数大于10,000，则不会计算hits.total。 这是为了避免为给定查询计算精确匹配文档的不必要开销。 我们可以通过将track_total_hits = true
阅读全文
摘要：在实际的搜索中，我们有时候会打错字，从而导致搜索不到。在Elasticsearch中，我们可以使用fuzziness属性来进行模糊查询，从而达到搜索有错别字的情形。 match查询具有“fuziness”属性。它可以被设置为“0”， “1”， “2”或“auto”。“auto”是推荐的选项，它会根据
阅读全文
摘要：在上一篇文章 “Elasticsearch：运用scroll接口对大量数据实现更好的分页”，我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中，我们讲述了两种方法： from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言，我们尽量避免使用f
阅读全文
摘要：在Elasticsearch中，我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引，这是有效的吗？Scroll API可用于从单个搜索请求中检索大量结果（甚至所有结果），这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求，而是用于处理大量
阅读全文
摘要：我们发现一些用户经常编写了一些非常冗长和复杂的查询 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个search template（搜索模板）来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。 Search temp
阅读全文
摘要：Index template定义在创建新index时可以自动应用的settings和mappings。 Elasticsearch根据与index名称匹配的index模式将模板应用于新索引。这个对于我们想创建的一系列的Index具有同样的settings及mappings。比如我们希望每一天/月的日
阅读全文
摘要：在今天的这个教程中，我们来着重讲解一下如何使用Elasticsearch中的copy来提高搜索的效率。比如在我们的搜索中，经常我们会遇到如下的文档： 在这里，我们可以看到在这个文档中，我们有这样的几个字段： 它们是非常相关的。我们在想是不是可以把它们综合成一个字段，这样可以方便我们的搜索。假如我们要
阅读全文
摘要：在处理大量数据时，关系数据库存在很多问题。 无论是速度，高效处理，有效并行化，可扩展性还是成本，当数据量开始增长时，关系数据库都会失败。该关系数据库的另一个挑战是必须预先定义关系和模式。Elasticsearch也是一个NoSQL文档数据存储。 但是，尽管是一个NoSQL数据存储，Elasticse
阅读全文
浙公网安备 33010602011771号