随笔分类 -  日志分析系统

常用的日志分析系统内维护经验
elasticsearch group sum top 10
摘要：``` { "version": true, "size": 0, "sort": [ { "request_length": { "order": "desc", "unmapped_type": "boolean" } } ], "stored_fields": [ "*" ], "script 阅读全文
posted @ 2023-07-04 21:34 萱乐庆foreverlove 阅读(20) 评论(0) 推荐(0)
logstash 时区问题
摘要：场景 日志信息按天写入索引，output 代码如下 output { elasticsearch { hosts => ["192.168.23.20:9200","192.168.23.21:9200","192.168.23.22:9200","192.168.23.23:9200","192. 阅读全文
posted @ 2023-01-03 21:02 萱乐庆foreverlove 阅读(345) 评论(0) 推荐(0)
elasticsearch 安全配置集合
摘要：本节涉及 es开启https， 配置用户， 关联ldap，ECK 中配置 环境 10.160.1.9 | CHANGED | rc=0 >> Linux tidb-test00000F 3.10.0-1062.12.1.el7.x86_64 #1 SMP Tue Feb 4 23:02:59 UTC 阅读全文
posted @ 2022-06-03 01:26 萱乐庆foreverlove 阅读(436) 评论(0) 推荐(0)
logstash 跨年日期bug
摘要：) { mutate { add_field => { "target_index_name" => "%{service}-%{+YYYY.MM.dd}" } } } else { mutate { add_field => { "target_index_name" => "%{service} 阅读全文
posted @ 2022-01-01 11:20 萱乐庆foreverlove 阅读(94) 评论(0) 推荐(0)
使用elasticsearch 自带pipeline 功能来解析geoip
摘要：原理 配置geoip pipeline 关联到具体的index pattern 日志写入式执行geoip 形成新的日志段 步骤 1 配置pipeline #!/bin/bash curl -X PUT "localhost:9200/_ingest/pipeline/geoip?pretty" -H 阅读全文
posted @ 2021-08-30 19:38 萱乐庆foreverlove 阅读(422) 评论(0) 推荐(0)
ECK部署cluster
摘要：apiVersion: elasticsearch.k8s.elastic.co/v1beta1 kind: Elasticsearch metadata: name: elasticsearch-7x6x2 namespace: devops spec: image: hub.pri.ibanyu 阅读全文
posted @ 2021-07-09 00:28 萱乐庆foreverlove 阅读(155) 评论(2) 推荐(0)
sonic检索服务
摘要：https://crates.io/crates/sonic-server 阅读全文
posted @ 2021-02-08 17:56 萱乐庆foreverlove 阅读(61) 评论(0) 推荐(0)
ELK:日常维护系列(5)
摘要：本期介绍remote_cluster相关内容： 我司日志集群有存在这样一个需求，有的日志要做近实时检索业务级别。日志查询高峰期和日志检索高峰期高度重合。急需要独立集群来处理对应的日志索引。但是对于ELK中最后的用户通道，用户的需求是他们由一个UI直接进入可以检索全部日志。 1. 配置remote_c 阅读全文
posted @ 2021-02-08 11:27 萱乐庆foreverlove 阅读(139) 评论(0) 推荐(0)
ELK:日常维护系列(4)
摘要：日志系统未分片处理过程 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.details | grep UNASSIGNED 其中details 能清晰的说明分片是卡在那里，触发的情况通常有两种。 阅读全文
posted @ 2021-02-08 11:18 萱乐庆foreverlove 阅读(92) 评论(0) 推荐(0)
ELK:日常维护系列(3)
摘要：ELK 索引归并最终方案 logstash 配置中使用 =～ 来进行日志输出流向控制，这很不明知的给logstash 加了一层处理步骤。es 原生支持alias 的方式来控制 日志输出流向 具体的实现思路是 logstash > indexname-2020.10.01.v1 curl -X PUT 阅读全文
posted @ 2021-02-08 11:07 萱乐庆foreverlove 阅读(92) 评论(0) 推荐(0)
ELK:日常维护系列(2)
摘要：ES 在作为日志存储的时候，在常规模式下。日志按服务按天走索引为保证每个节点峰值吞吐量一致那么每个节点的shard 数量在一定规模上保持一致。 所以要更改节点分片永久设置 说明: 每个节点默认分片是1000，一旦超过每个节点默认设置分片数，es写不了数据。 永久更改每节点分片大小: http://1 阅读全文
posted @ 2021-02-08 10:58 萱乐庆foreverlove 阅读(82) 评论(0) 推荐(0)
ELK:日常维护系列(1)
摘要：动态修改打开文件数。 日志集群每天有400个索引，每个索引从最大1T到20Mb不均衡分布。那么20天的文件句柄使用数量的增长曲线就如图所示。 在使用elastic 官方的安装包进行安装后。默认打开文件数是65535.对于日志集群来说这太小了。 使用一下命令了可以查看集群的打开文件数分布情况： cur 阅读全文
posted @ 2021-02-08 10:52 萱乐庆foreverlove 阅读(143) 评论(0) 推荐(0)