只有注册用户登录后才能阅读该文。 阅读全文

摘要： 概述 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对进入过滤器的原始数据进行复杂的逻辑处理，甚至添加独特的新事件到后续流程中 logstash 之所以强大和流行，与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能，还可以对 阅读全文

摘要： 1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是： “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字，IP模式则会匹配出127.0.0.1这样的IP地址。 例如： 我们的试验数据是： 1）我们举个例子来讲解过滤IP 现在启动一下： 2）举个例 阅读全文

摘要： tips:最近发现有不少人在百度这个问题，当初如易我也是初学者，随便从网上搜了一下，就转过来了，不过为了避免搜索结果同质化，为大家提供更翔实的参考，我将nohup.out相关 知识整理汇总如下： 1.nohup.out的由来及作用 用途：LINUX命令用法，不挂断地运行命令。 语法：nohup Co 阅读全文

摘要： Nginx日志处理为JSON格式，并放置在http区块： log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":" 阅读全文

摘要： 使用 add_field 参数有两种需求： 1. 直接加入到 event 的 hash 顶级对象中 那么，结果会类似： 2. 加入到 event 的某个 tag 中 那么，结果会类似： 3. 由于 add_field 参数要求格式为 hash，我尝试如下用法结果发现满足不了需求。( ╯□╰ )为嘛？ 阅读全文

摘要： 目录 五、错误记录 Nginx作为网站的第一入口，其日志记录了除用户相关的信息之外，还记录了整个网站系统的性能，对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收，处理，转发日志的工具。支持系统日志，webserver日志，错误日志，应用日志，总之包括所有可以抛出来的日志类型。一般 阅读全文

摘要： 假设日志文件中的每一行记录格式为json的，如： 默认配置下，logstash处理插入进elasticsearch后，查到的结果是这样的： 即会将json记录做为一个字符串放到”message”下，但是我是想让logstash自动解析json记录，将各字段放入elasticsearch中。有三种配置 阅读全文

摘要： 分布式一致性问题：# 分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的 阅读全文

摘要： 分布式系统在极大提高可用性、容错性的同时，带来了一致性问题（CAP理论）。Raft算法能够解决分布式系统环境下的一致性问题。 我们熟悉的ETCD注册中心就采用了这个算法；你现在看的这篇微信公众号文章，也是保存在基于Raft算法的高可用存储服务器中。 没有耐心看文字，就直接拉到第四章。 一、Raft算 阅读全文