该文被密码保护。 阅读全文
posted @ 2020-01-07 17:31
哈喽哈喽111111
阅读(3130)
评论(0)
推荐(0)
摘要：
默认情况下，对字段值进行索引以使其可搜索，但不存储它们 (store)。 这意味着可以查询该字段，但是无法检索原始字段值。在这里我们必须理解的一点是: 如果一个字段的mapping中含有store属性为true，那么有一个单独的存储空间为这个字段做存储，而且这个存储是独立于 的存储的。它具有更快的查 阅读全文
posted @ 2020-01-06 17:25
哈喽哈喽111111
阅读(4820)
评论(0)
推荐(4)
摘要：
ElastAlert是一个简单的框架，用于从Elasticsearch中的数据中发出异常，尖峰或其他感兴趣模式的警报。我们可以在地址https://elastalert.readthedocs.io/en/latest/elastalert.html找到它的使用说明。在今天的教程中，我将一步一步地介 阅读全文
posted @ 2020-01-06 17:21
哈喽哈喽111111
阅读(4260)
评论(0)
推荐(0)
摘要：
1. 某个字段不被搜索，也就是说不想为这个字段建立inverted index(反向索引)，可以这么做： 通过mapping对user字段进行了修改： 不想我们的整个文档被搜索: 2. 不想存储任何的字段,也就是说不在 中存储数据,它有完好的inverted index供查询，虽然它没有字的sour 阅读全文
posted @ 2020-01-06 16:09
哈喽哈喽111111
阅读(233)
评论(0)
推荐(0)
摘要：
date命令可以获取当前的时间，通过man，可以看到date有很多参数可以用，很容易做到格式化 如果要获取相对当前时间的某个时间，需要怎么做，通过 d 参数就能实现 如果说我想获取13天前的时间怎么办， d参数还有更加灵活的用法 第一个数字可以是负数，负数表示将来时间，正数表示前面已经过去的时间，第 阅读全文
posted @ 2020-01-02 14:19
哈喽哈喽111111
阅读(2817)
评论(0)
推荐(0)
摘要：
在本篇文章里，我将详细介绍如果启动Logstash的监控及集中管理。 前提条件 安装好Logstash，设置Elasticsearch及Kibana的安全密码。 如何监控Logstash? 我们安装如下的步骤来实现监控Logstash的目的： Step 1: 在Kibana中启动监控： 然后，我们可 阅读全文
posted @ 2020-01-02 10:01
哈喽哈喽111111
阅读(3389)
评论(0)
推荐(1)
摘要：
我们可以点击Elasticsearch API以获取所需的响应，但是如果要修改API响应，以便我们更改显示格式或过滤掉某些字段，然后我们可以将这些选项与查询一起应用。 有一些常见的选项可以适用于API，在下面我们来介绍一些常用的选项。 准备数据 我们首先使用Bulk API来把我们的文档导入到Ela 阅读全文
posted @ 2020-01-02 09:47
哈喽哈喽111111
阅读(292)
评论(0)
推荐(0)
摘要：
1.配置阿里云yum仓库 #vim /etc/yum.repos.d/mongodb-org-4.0.repo [mngodb-org] name=MongoDB Repository baseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Ser 阅读全文
posted @ 2019-12-26 15:05
哈喽哈喽111111
阅读(457)
评论(0)
推荐(0)
摘要：
转载自：https://www.lbbniu.com/6148.html 1、什么是堆内存？ Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域： 新生代 ( Young )、 老年代 ( Old )。 新生代 ( Yo 阅读全文
posted @ 2019-12-25 11:38
哈喽哈喽111111
阅读(865)
评论(0)
推荐(0)
摘要：
官方的操作： 1.安装filebeat,配置filebeat获取nginx日志，来源有两种： 第一种是使用自带的模块进行收集，在modules.d目录中启用模块配置，运行Filebeat时启用模块，在filebeat.yml文件中启用模块配置 第二种是在filebeat.yml中写input日志所在 阅读全文
posted @ 2019-12-25 11:00
哈喽哈喽111111
阅读(1942)
评论(0)
推荐(0)
摘要：
Elastic官方博客地址：https://blog.csdn.net/UbuntuTouch 这个地址是在CSDN上面的，看不惯CSDN网站的广告，同时官方博客讲述的也都十分详细，自己保留一份作为参考。 因为文章太多，就没有逐个在文章中表明转载的信息，所以专门写一篇转载的用来说明这个情况。 阅读全文
posted @ 2019-12-24 17:29
哈喽哈喽111111
阅读(183)
评论(0)
推荐(0)
摘要：
我们将介绍使用function_score的基础知识，并介绍一些function core技术非常有用和有效的用例。 介绍 评分的概念是任何搜索引擎（包括Elasticsearch）的核心。评分可以粗略地定义为：找到符合一组标准的数据并按相关性顺序将其返回。相关性通常是通过类似TF IDF的算法来实 阅读全文
posted @ 2019-12-24 17:22
哈喽哈喽111111
阅读(2443)
评论(0)
推荐(0)
摘要：
在今天的文章里，我们来主要介绍一下Elasticsearch的refresh及flush两种操作的区别。如果我们从字面的意思上讲，好像都是刷新的意思。但是在Elasticsearch中，这两种操作是有非常大的区别的。本指南将有效解决两者之间的差异。 我们还将介绍Lucene功能的基础知识，例如重新打 阅读全文
posted @ 2019-12-24 17:15
哈喽哈喽111111
阅读(4568)
评论(0)
推荐(1)
摘要：
top_hits指标聚合器跟踪要聚合的最相关文档。 该聚合器旨在用作子聚合器，以便可以按存储分区汇总最匹配的文档。 top_hits聚合器可以有效地用于通过存储桶聚合器按某些字段对结果集进行分组。 一个或多个存储桶聚合器确定将结果集切成哪些属性。 选项： from 要获取的第一个结果的偏移量。 si 阅读全文
posted @ 2019-12-24 17:07
哈喽哈喽111111
阅读(7344)
评论(0)
推荐(1)
摘要：
本教程向您展示如何将数据从Elasticsearch导出到CSV文件。 想象一下，您想要在Excel中打开一些Elasticsearch中的数据，并根据这些数据创建数据透视表。 这只是一个用例，其中将数据从Elasticsearch导出到CSV文件将很有用。 方法一 其实这种方法最简单了。我们可以直 阅读全文
posted @ 2019-12-24 16:55
哈喽哈喽111111
阅读(9231)
评论(0)
推荐(0)
摘要：
默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values(https 阅读全文
posted @ 2019-12-24 16:41
哈喽哈喽111111
阅读(14332)
评论(1)
推荐(2)
摘要：
HanLP 中文分词器是一个开源的分词器，是专为Elasticsearch而设计的。它是基于HanLP，并提供了HanLP中大部分的分词方式。它的源码位于： https://github.com/KennFalcon/elasticsearch analysis hanl 从Elasticsearc 阅读全文
posted @ 2019-12-24 16:33
哈喽哈喽111111
阅读(2824)
评论(0)
推荐(0)
摘要：
我们可以通过在命令行中对我们的Beats进行管理，比如我们可以启动metric几个模块，我们可以通过如下的命令来执行： 上面的命令启动apache mysql模块。我们也许觉得这个这样做很方便。但是如果我相对许多的机器（比如几千部机器）来做这样的管理，可能也很麻烦，这是因为我们需要到每一台机器上重复 阅读全文
posted @ 2019-12-24 15:43
哈喽哈喽111111
阅读(1045)
评论(0)
推荐(0)
摘要：
简单的事情应该简单(Simple things should be simple)，这是Elastic {ON} ‘17的主题之一，Elastics收到了许多关于使用简单易用的UI创建警报的请求。事实证明，创建单个UI以对所有类型的警报均有效地工作非常困难。例如，可以在平均CPU使用率超过50％时创 阅读全文
posted @ 2019-12-24 15:20
哈喽哈喽111111
阅读(558)
评论(0)
推荐(0)
摘要：
在Elasticsearch中，我们可以使用_search终端进行搜索。这个在我之前的文章 “开始使用Elasticsearch （2）” 中有很多的描述。针对这种搜索，我们可以使用强大的DSL进行搜索。在Elasticsearch中，还有一类是基于URI的搜索。对于这种它可以很方便地直接在浏览器中 阅读全文
posted @ 2019-12-24 14:56
哈喽哈喽111111
阅读(676)
评论(0)
推荐(0)
摘要：
建立搜索体验是一项艰苦的工作。 乍一看似乎很容易：建立一个搜索栏，将数据放入数据库，然后让用户输入对该数据库的查询。 但是，在数据建模，底层逻辑以及（当然）总体设计和用户体验方面，有很多事情要考虑。 我们将逐步介绍如何使用Elastic的开源Search UI库构建出色的基于React的搜索体验。 阅读全文
posted @ 2019-12-24 14:44
哈喽哈喽111111
阅读(836)
评论(0)
推荐(0)
摘要：
Beats作为Elastic Stack家族中重要的部分。它可以和方便地让我们把我们的数据发送到Elasticsearch或Logstash之中。如果我们想要生成自己的Beat，请使用GitHub的beats仓库中提供的Beat生成器。在今天的文章中，我们将详细介绍如何一步一步地来创建一个我们自己想 阅读全文
posted @ 2019-12-24 13:57
哈喽哈喽111111
阅读(1439)
评论(0)
推荐(0)
摘要：
Elasticsearch提供了replica解决方案，它可以帮我们解决了如果有一个或多个node失败了，那么我们的数据还是可以保证完整的情况，并且搜索还可以继续进行。但是，有一种情况是我们的所有的node，或者有一部分node失败，可能会造成我们的数据的丢失。也就是说replca不能提供一种灾难性 阅读全文
posted @ 2019-12-24 12:08
哈喽哈喽111111
阅读(2220)
评论(0)
推荐(0)
摘要：
聚合(aggregation)功能集是整个Elasticsearch产品中最令人兴奋和有益的功能之一，主要是因为它提供了一个非常有吸引力对之前的facets的替代。 在本教程中，我们将解释Elasticsearch中的聚合（aggregation）并逐步介绍一些示例。 我们比较了指标聚合和存储桶聚合 阅读全文
posted @ 2019-12-24 11:42
哈喽哈喽111111
阅读(898)
评论(0)
推荐(0)
摘要：
在今天的文章里，我们将介绍Elastic的一个重要的应用：应用程序性能管理（Application Performance Monitoring/Management)，简称APM。那么到底什么是APM呢？ 随着时代的发展，我们的IT架构越来越复杂，比如： 我们系统的服务器越来越多，而且更多的设备都 阅读全文
posted @ 2019-12-24 11:06
哈喽哈喽111111
阅读(8838)
评论(0)
推荐(1)
摘要：
Elastic Stack的组件是不安全的，因为它没有内置的固有安全性。 这意味着任何人都可以访问它。 在生产环境中运行Elastic Stack时，这会带来安全风险。 为了防止生产中未经授权的访问，采用了不同的机制来施加安全性，例如在防火墙后运行Elastic Stack并通过反向代理（例如ngi 阅读全文
posted @ 2019-12-24 10:47
哈喽哈喽111111
阅读(3612)
评论(0)
推荐(1)
摘要：
在本文中，我们将重点关注significant terms和significant text聚合。这些聚合旨在搜索数据集中有趣和/或不寻常的术语，这些术语可以告诉您有关数据的隐藏属性的更多信息。此功能对于以下用例特别有用： 为用户查询标识包含同义词，首字母缩略词等的相关文档。例如，当用户搜索H1N1 阅读全文
posted @ 2019-12-24 10:30
哈喽哈喽111111
阅读(1978)
评论(0)
推荐(0)
摘要：
Elastic Stack是一套完整的从数据采集，解析，分析，丰富，到搜索，检索，数据程序等一套完整的软件栈。在具体的实践中，我们应该如何搭建我们的系统呢？ 下图描述了常用的Elastic Stack的部署架构： 该图描述了三种可能的体系结构： 将操作指标直接发送到Elasticsearch：如上图 阅读全文
posted @ 2019-12-24 10:16
哈喽哈喽111111
阅读(1813)
评论(0)
推荐(0)
摘要：
Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中，用于分析中文或中英文混合文本。 支持的分析器在大型训练语料库上使用基于隐马尔可夫（Markov）模型的概率知识来查找简体中文文本的最佳分词。 它使用的策略是首先将输入 阅读全文
posted @ 2019-12-24 10:09
哈喽哈喽111111
阅读(1852)
评论(0)
推荐(0)
摘要：
ICU Analysis插件是一组将Lucene ICU模块集成到Elasticsearch中的库。 本质上，ICU的目的是增加对Unicode和全球化的支持，以提供对亚洲语言更好的文本分割分析。 从Elasticsearch的角度来看，此插件提供了文本分析中的新组件，如下表所示: 安装 我们可以首 阅读全文
posted @ 2019-12-24 09:58
哈喽哈喽111111
阅读(4337)
评论(2)
推荐(0)
摘要：
在7.0版发布之前，hits.total始终用于表示符合查询条件的文档的实际数量。在Elasticsearch 7.0版中，如果匹配数大于10,000，则不会计算hits.total。 这是为了避免为给定查询计算精确匹配文档的不必要开销。 我们可以通过将track_total_hits = true 阅读全文
posted @ 2019-12-24 09:45
哈喽哈喽111111
阅读(2418)
评论(0)
推荐(0)
摘要：
在实际的搜索中，我们有时候会打错字，从而导致搜索不到。在Elasticsearch中，我们可以使用fuzziness属性来进行模糊查询，从而达到搜索有错别字的情形。 match查询具有“fuziness”属性。它可以被设置为“0”， “1”， “2”或“auto”。“auto”是推荐的选项，它会根据 阅读全文
posted @ 2019-12-23 18:10
哈喽哈喽111111
阅读(6444)
评论(0)
推荐(0)
摘要：
在上一篇文章 “Elasticsearch：运用scroll接口对大量数据实现更好的分页”，我们讲述了如何运用scroll接口来对大量数据来进行有效地分页。在那篇文章中，我们讲述了两种方法： from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言，我们尽量避免使用f 阅读全文
posted @ 2019-12-23 18:09
哈喽哈喽111111
阅读(13832)
评论(0)
推荐(0)
摘要：
在Elasticsearch中，我们可以通过size和from来对我们的结果来进行分页。但是对于数据量很大的索引，这是有效的吗？Scroll API可用于从单个搜索请求中检索大量结果（甚至所有结果），这与在传统数据库上使用cursor的方式非常相似。Scroll不是用于实时用户请求，而是用于处理大量 阅读全文
posted @ 2019-12-23 18:05
哈喽哈喽111111
阅读(2873)
评论(0)
推荐(0)
摘要：
我们发现一些用户经常编写了一些非常冗长和复杂的查询 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个search template（搜索模板）来做这样的工作非常合适。搜索模板允许您使用可在执行时定义的参数定义查询。 Search temp 阅读全文
posted @ 2019-12-23 17:57
哈喽哈喽111111
阅读(3129)
评论(0)
推荐(0)
摘要：
Index template定义在创建新index时可以自动应用的settings和mappings。 Elasticsearch根据与index名称匹配的index模式将模板应用于新索引。这个对于我们想创建的一系列的Index具有同样的settings及mappings。比如我们希望每一天/月的日 阅读全文
posted @ 2019-12-23 17:52
哈喽哈喽111111
阅读(3800)
评论(0)
推荐(1)
摘要：
在今天的这个教程中，我们来着重讲解一下如何使用Elasticsearch中的copy来提高搜索的效率。比如在我们的搜索中，经常我们会遇到如下的文档： 在这里，我们可以看到在这个文档中，我们有这样的几个字段： 它们是非常相关的。我们在想是不是可以把它们综合成一个字段，这样可以方便我们的搜索。假如我们要 阅读全文
posted @ 2019-12-23 17:44
哈喽哈喽111111
阅读(4598)
评论(0)
推荐(4)
摘要：
在处理大量数据时，关系数据库存在很多问题。 无论是速度，高效处理，有效并行化，可扩展性还是成本，当数据量开始增长时，关系数据库都会失败。该关系数据库的另一个挑战是必须预先定义关系和模式。Elasticsearch也是一个NoSQL文档数据存储。 但是，尽管是一个NoSQL数据存储，Elasticse 阅读全文
posted @ 2019-12-23 17:37
哈喽哈喽111111
阅读(3108)
评论(0)
推荐(0)
摘要：
在我们开发的过程中，我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后，需要重新把数据从现有的index转到新的index建立新的索引，这是因为我们不能修改现有的index的m 阅读全文
posted @ 2019-12-23 17:01
哈喽哈喽111111
阅读(9751)
评论(1)
推荐(1)
摘要：
Ngrams和edge ngrams是在Elasticsearch中标记文本的两种更独特的方式。 Ngrams是一种将一个标记分成一个单词的每个部分的多个子字符的方法。 ngram和edge ngram过滤器都允许您指定min_gram以及max_gram设置。 这些设置控制单词被分割成的标记的大小 阅读全文
posted @ 2019-12-23 16:56
哈喽哈喽111111
阅读(1275)
评论(0)
推荐(0)
浙公网安备 33010602011771号