摘要：
https://crates.io/crates/sonic-server 阅读全文
posted @ 2021-02-08 17:56
萱乐庆foreverlove
阅读(61)
评论(0)
推荐(0)
摘要：
本期介绍remote_cluster相关内容： 我司日志集群有存在这样一个需求，有的日志要做近实时检索业务级别。日志查询高峰期和日志检索高峰期高度重合。急需要独立集群来处理对应的日志索引。但是对于ELK中最后的用户通道，用户的需求是他们由一个UI直接进入可以检索全部日志。 1. 配置remote_c 阅读全文
posted @ 2021-02-08 11:27
萱乐庆foreverlove
阅读(138)
评论(0)
推荐(0)
摘要：
日志系统未分片处理过程 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.details | grep UNASSIGNED 其中details 能清晰的说明分片是卡在那里，触发的情况通常有两种。 阅读全文
posted @ 2021-02-08 11:18
萱乐庆foreverlove
阅读(91)
评论(0)
推荐(0)
摘要：
ELK 索引归并最终方案 logstash 配置中使用 =～ 来进行日志输出流向控制，这很不明知的给logstash 加了一层处理步骤。es 原生支持alias 的方式来控制 日志输出流向 具体的实现思路是 logstash > indexname-2020.10.01.v1 curl -X PUT 阅读全文
posted @ 2021-02-08 11:07
萱乐庆foreverlove
阅读(91)
评论(0)
推荐(0)
摘要：
ES 在作为日志存储的时候，在常规模式下。日志按服务按天走索引为保证每个节点峰值吞吐量一致那么每个节点的shard 数量在一定规模上保持一致。 所以要更改节点分片永久设置 说明: 每个节点默认分片是1000，一旦超过每个节点默认设置分片数，es写不了数据。 永久更改每节点分片大小: http://1 阅读全文
posted @ 2021-02-08 10:58
萱乐庆foreverlove
阅读(82)
评论(0)
推荐(0)
摘要：
动态修改打开文件数。 日志集群每天有400个索引，每个索引从最大1T到20Mb不均衡分布。那么20天的文件句柄使用数量的增长曲线就如图所示。 在使用elastic 官方的安装包进行安装后。默认打开文件数是65535.对于日志集群来说这太小了。 使用一下命令了可以查看集群的打开文件数分布情况： cur 阅读全文
posted @ 2021-02-08 10:52
萱乐庆foreverlove
阅读(142)
评论(0)
推荐(0)
浙公网安备 33010602011771号