摘要：Logstash 配置（五）实战举例：将错误日志写入es 配置： input { file { path => ["/usr/local/logstash-6.6.2/data_test/run_error.log"] type => "error" start_position => "begin
阅读全文
posted @ 2020-08-18 08:55
文章分类 - Logstash
摘要：Logstash 配置（四）output配置 写入到ES（重点） [root@bigdata111 confs_test]# vi output_es_stdin.conf 配置： input { stdin { type => "log2es" } } output { elasticsearch
阅读全文
posted @ 2020-08-18 08:48
摘要：Logstash 配置（四）output配置 服务器间传输文件(File)（不怎么用） 配置： 接收日志服务器配置： input { tcp { mode => "server" port => 9600 ssl_enable => false } } filter { json { source
阅读全文
posted @ 2020-08-18 08:44
摘要：Logstash 配置（四）output配置 标准输出(Stdout) 保存成文件(File) 通过日志收集系统将分散在数百台服务器上的数据集中存储在某中心服务器上，这是运维最原始的需求。Logstash 当然也能做到这点。 和 LogStash::Inputs::File 不同, LogStash
阅读全文
posted @ 2020-08-18 08:38
摘要：Logstash 配置（三）filter配置 GeoIP 地址查询归类（用处多） GeoIP 是最常见的免费 IP 地址归类查询库，同时也有收费版可以采购。 GeoIP 库可以根据 IP 地址提供对应的地域信息，包括国别，省市，经纬度等，对于可视化地图和区域统计非常有用。 [root@bigdata
阅读全文
posted @ 2020-08-18 08:33
摘要：Logstash 配置（三）filter配置 自定义类型（用处少） 更多时候logstash grok没办法提供你所需要的匹配类型，这个时候我们可以使用自定义。 创建自定义 patterns 文件。 ①创建一个名为patterns其中创建一个文件postfix （文件名无关紧要,随便起）, [roo
阅读全文
posted @ 2020-08-18 08:27
摘要：Logstash 配置（三）filter配置 Grok插件 logstash拥有丰富的filter插件,它们扩展了进入过滤器的原始数据，进行复杂的逻辑处理，甚至可以无中生有的添加新的 logstash 事件到后续的流程中去！ Grok 是 Logstash 最重要的插件之一。也是迄今为止使蹩脚的、无
阅读全文
posted @ 2020-08-18 08:22
摘要：Logstash 配置（二）codec配置 Codec 是 logstash 从 1.3.0 版开始新引入的概念(Codec 来自 Coder/decoder 两个单词的首字母缩写)。 在此之前，logstash 只支持纯文本形式输入，然后以过滤器处理它。但现在，我们可以在输入期处理不同类型的数据，
阅读全文
posted @ 2020-08-18 08:12
摘要：Logstash 配置（一）input配置 标准输入(Stdin) 我们已经见过好几个示例使用 stdin 了。这也应该是 logstash 里最简单和基础的插件了。 [root@bigdata111 confs_test]# vi input_stdin.conf input { stdin {
阅读全文
posted @ 2020-08-18 08:04
摘要：Logstash 配置（一）input配置 首先在LS下创建目录confs_test、data_test [root@bigdata111 logstash-6.6.2]# mkdir confs_test [root@bigdata111 logstash-6.6.2]# mkdir data_t
阅读全文
posted @ 2020-08-18 07:59
摘要：Logstash 一、Logstash简介 Logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like,
阅读全文
posted @ 2020-08-18 07:48
浙公网安备 33010602011771号