2019年11月29日

Logstash filter 的使用

摘要: 概述 logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理,甚至添加独特的新事件到后续流程中 logstash 之所以强大和流行,与其丰富的过滤器插件是分不开的 过滤器提供的并不单单是过滤的功能,还可以对 阅读全文

posted @ 2019-11-29 21:37 ExplorerMan 阅读(1436) 评论(0) 推荐(0) 编辑

logstash过滤器插件filter详解及实例

摘要: 1、logstash过滤器插件filter 1.1、grok正则捕获 grok的语法规则是: “语法”指的是匹配的模式。例如使用NUMBER模式可以匹配出数字,IP模式则会匹配出127.0.0.1这样的IP地址。 例如: 我们的试验数据是: 1)我们举个例子来讲解过滤IP 现在启动一下: 2)举个例 阅读全文

posted @ 2019-11-29 21:34 ExplorerMan 阅读(620) 评论(0) 推荐(0) 编辑

Linux下如何不停止服务,清空nohup.out文件

摘要: tips:最近发现有不少人在百度这个问题,当初如易我也是初学者,随便从网上搜了一下,就转过来了,不过为了避免搜索结果同质化,为大家提供更翔实的参考,我将nohup.out相关 知识整理汇总如下: 1.nohup.out的由来及作用 用途:LINUX命令用法,不挂断地运行命令。 语法:nohup Co 阅读全文

posted @ 2019-11-29 19:59 ExplorerMan 阅读(447) 评论(0) 推荐(0) 编辑

logstash收集Nginx日志,转换为JSON格式

摘要: Nginx日志处理为JSON格式,并放置在http区块: log_format json '{"@timestamp":"$time_iso8601",' '"@version":"1",' '"client":"$remote_addr",' '"url":"$uri",' '"status":" 阅读全文

posted @ 2019-11-29 16:32 ExplorerMan 阅读(618) 评论(0) 推荐(0) 编辑

Logstash add_field 参数应用

摘要: 使用 add_field 参数有两种需求: 1. 直接加入到 event 的 hash 顶级对象中 那么,结果会类似: 2. 加入到 event 的某个 tag 中 那么,结果会类似: 3. 由于 add_field 参数要求格式为 hash,我尝试如下用法结果发现满足不了需求。( ╯□╰ )为嘛? 阅读全文

posted @ 2019-11-29 16:30 ExplorerMan 阅读(6002) 评论(0) 推荐(0) 编辑

Kafka、Logstash、Nginx日志收集入门

摘要: 目录 五、错误记录 Nginx作为网站的第一入口,其日志记录了除用户相关的信息之外,还记录了整个网站系统的性能,对其进行性能排查是优化网站性能的一大关键。Logstash是一个接收,处理,转发日志的工具。支持系统日志,webserver日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。一般 阅读全文

posted @ 2019-11-29 16:29 ExplorerMan 阅读(297) 评论(0) 推荐(0) 编辑

Logstash处理json格式日志文件的三种方法

摘要: 假设日志文件中的每一行记录格式为json的,如: 默认配置下,logstash处理插入进elasticsearch后,查到的结果是这样的: 即会将json记录做为一个字符串放到”message”下,但是我是想让logstash自动解析json记录,将各字段放入elasticsearch中。有三种配置 阅读全文

posted @ 2019-11-29 16:29 ExplorerMan 阅读(819) 评论(0) 推荐(0) 编辑

导航