摘要：查询模块 保证ES节点有充足的内存 ES默认分配节点一半的内存给JVM（最多会分配30GB），剩余的内存用于向量索引和pagecache，节点内存不足会导致频繁触发向量索引的驱逐和加载，导致查询延迟较高。 因此需要确保数据节点有足够的内存，使向量索引常驻内存。可以通过以下方式获取节点向量数据的内存使 阅读全文

摘要：一、预备知识1.1、索引不可变看到这篇文章相信大家都知道es是倒排索引，在es的索引过程中为了满足一下特点，落盘的es索引是不可变的。 1 不需要锁。如果从来不需要更新一个索引，就不必担心多个程序同时尝试修改。 2 一旦索引被读入文件系统的缓存(内存)，它就一直在那儿，因为不会改变。只要文件系统缓存 阅读全文

摘要：简介： ES 布尔查询中 minimum_should_match 参数使用避坑 在 Elasticsearch (ES) 中，布尔查询（Boolean Query）是一种查询类型，它允许你组合多个查询子句以控制搜索结果的匹配逻辑。minimum_should_match 是布尔查询中一个重要的参数 阅读全文

摘要：https://www.cnblogs.com/ititit111222333/p/16382943.html 修改批量大小值 POST _reindex { "source": { "index": "源索引名称", "size": 5000 }, "dest": { "index": "迁移的索 阅读全文

摘要：https://www.cnblogs.com/ititit111222333/p/16382887.html 新建v1 index PUT /test_v1 设置v1 mapping POST /test_v1/_mapping { "properties": { "itemId": { "typ 阅读全文

摘要：1、match略 1.1 不同字段权重 如果需要为不同字段设置不同权重，可以考虑使用 bool 查询的 should 子句来组合多个 match 查询，并为每个 match 查询设置不同的权重。 { "query": { "bool": { "should": [ { "match": { "pro 阅读全文

摘要：问题背景# 在晚上9点左右，刚从外面逛街回到家，就接到了电话报警(幸好前不久刚好把电话报警机制加上，不然可能我就要去洗澡了👻)，电话告警告知线上业务存在大量请求失败的情况。于是赶紧打开电脑，排查了起来。 错误日志我们都是直接打到了钉钉上，发现大量的报警都是elasticsearch 访问超时发生的 阅读全文

摘要：目录 一 字段搜索 二 通配符 三 正则 四 模糊搜索 五 近似搜索 六 范围搜索 七 逻辑操作 八 分组 九 转义特殊字符 十 lucene 语法参考 一 字段搜索限定字段全文搜索 ：field:value 精确搜索 ：filed:"value"（关键字加上双引号 ） 字段本身是否存在 _exis 阅读全文

摘要：目录一、背景二、设置索引生命周期策略(ILM)三、手动给索引设置删除策略四、查看结果五、自动给索引添加删除策略六、参考一、背景ELK系统里面存放了大量日志索引，只需要保留15天的日志索引，希望到期自动删除对应的索引;本文的解决方案是给索引添加生命周期策略，不需要手动设置定时器去调用api删除； 二、 阅读全文

摘要：下载 建议到官网下载最新版https://www.elastic.co/cn/downloads/logstash本文使用logstash7.0.0https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz wget h 阅读全文

摘要：以前转载过一篇别人的关于opendistro的文章，还好使用docker-compose 运行，很方便，所以自己也跑下 环境准备 docker-compose 文件 version: '3' services: odfe-node1: image: amazon/opendistro-for-ela 阅读全文

摘要：1. 初始化环境 1.0 初始化环境官网参考 https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html 1.1 架构 主机 iphostname安装的服务 192.168.110.245 no 阅读全文

摘要：范围查询（range query） 范围查询用于匹配某些字段的字段值位于特定范围内的文档。Lucene查询的类型依赖于字段的类型，对于字符串字段，是TermRangeQuery，而对于数字/日期字段，查询是NumericRangeQuery。 GET _search { "query": { "ra 阅读全文

摘要：GET /test_index/_search{ "query": { "bool": { "must": { "match": { "name": "tom" }}, "should": [ { "match": { "hired": true }}, { "bool": { "must": { 阅读全文

摘要：ELK适用场景 公司网站的访问量有多大，访问高峰期的时间段是多少，最经常访问的热点数据是什么？这一切的一切，虽然我们可以自己通过shell等手段截取出来，但是如果网站多了，服务器多了，还是非常不方便，而且阅读性也不好，因此ELK应运而生，不仅可以获取访问高峰期，还可以制作图表，让你的领导一目了然，E 阅读全文

摘要：一、介绍 用于从系统和服务收集指标。从 CPU 到内存，从 Redis 到 Nginx，Metricbeat 能够以一种轻量型的方式，输送各种系统和服务统计数据。 1、系统级监控，更简洁（轻量型指标采集器） 将 Metricbeat 部署到您所有的 Linux、Windows 和 Mac 主机，并将 阅读全文

摘要：概述 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对 阅读全文

摘要：1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是： “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样的IP地址。 例如： 我们的试验数据是： 1）我们举个例子来讲解过滤IP 现在启动一下： 2）举个例 阅读全文

摘要：Nginx日志处理为JSON格式，并放置在http区块： log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":" 阅读全文

摘要：使用 add_field 参数有两种需求： 1. 直接加入到 event 的 hash 顶级对象中 那么，结果会类似： 2. 加入到 event 的某个 tag 中 那么，结果会类似： 3. 由于 add_field 参数要求格式为 hash，我尝试如下用法结果发现满足不了需求。( ╯□╰ )为嘛？ 阅读全文