摘要: 有些既存的项目把一部分日志信息写入到数据库中了,或者是由于其它的原因我们希望把关系型数据库中的信息读取到 elasticsearch 中。这种情况可以使用 logstash 的 jdbc input 插件从关系型数据库中读取日志数据,然后输出到 elasticsearch 中。本文介绍如何在 win阅读全文
posted @ 2019-07-17 09:34 sparkdev 阅读(159) 评论(1) 编辑
摘要: 到目前为止,logstash 没有给出官方的,在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明:演示的环境为 windows server 2016,logstash 的版本为 6.2.4。 阅读全文
posted @ 2019-07-09 13:15 sparkdev 阅读(27) 评论(0) 编辑
摘要: 需求:收集 ubuntu 系统日志,发送给 logstash,再由 logstash 把数据传递给 elasticsearch,最后通过 kibana 展示日志数据。 Filebeat System Module Filebeat Modules 可以简化常见日志格式的收集、解析和可视化。一个典型的阅读全文
posted @ 2019-07-03 13:15 sparkdev 阅读(43) 评论(2) 编辑
摘要: 作为生产者和消费者之间数据流的一个中心组件,需要一个 Logstash 实例负责驱动多个并行事件流的情况。默认情况下,这样的使用场景的配置让人并不太开心,使用者会遭遇所谓的条件地狱(Conditional hell)。因为每个单独的 Logstash 实例默认支持一个管道,该管道由一个输入、若干个过阅读全文
posted @ 2019-06-28 08:53 sparkdev 阅读(53) 评论(0) 编辑
摘要: 使用 date 插件解析字段中的日期,然后使用该日期或时间戳作为事件的 logstash 时间戳。对于排序事件和导入旧数据,日期过滤器尤其重要。如果您在事件中没有得到正确的日期,那么稍后搜索它们可能会出现问题。 如果时间戳尚未在事件中设置,logstash 将根据第一次看到事件(在输入时)创建一个时阅读全文
posted @ 2019-06-24 12:55 sparkdev 阅读(40) 评论(0) 编辑
摘要: Elasticsearch 的安装非常简单,笔者在前文《单机部署 ELK》中已经介绍过了,本文主要介绍集群的配置,并解释常见配置参数的含义。 要配置集群,最简单的情况下,设置下面几个参数就可以了: 本文的演示环境为 Ubuntu Server 18.04,Elasticsearch 的版本为 6.2阅读全文
posted @ 2019-06-18 13:18 sparkdev 阅读(67) 评论(0) 编辑
摘要: 前文中笔者介绍了管道,本文接着介绍命名管道。文中演示所用环境为 Ubuntu 18.04 desktop。 命名管道(named pipe)又被称为先进先出队列(FIFO),是一种特殊的管道,存在于文件系统中。命名管道与管道非常类似,但是又有自身的显著特征: 命名管道可以用于任何两个进程间的通信,而阅读全文
posted @ 2019-06-12 13:06 sparkdev 阅读(67) 评论(0) 编辑
摘要: 管道(pipe)是进程间通信的一种实现方式。在 Linux 系统中,管道本质上是一种特殊的文件,它的主要用途是实现进程间的通信。文中演示所用环境为 Ubuntu 18.04 desktop。 在 shell 中执行下面的命令: echo 命令的输出通过管道作为了 cat 命令的输入。这里面的具体操作阅读全文
posted @ 2019-06-11 13:08 sparkdev 阅读(78) 评论(0) 编辑
摘要: 笔者在《Golang 入门 : 竞争条件》一文中介绍了 Golang 并发编程中需要面对的竞争条件。本文我们就介绍如何使用 Golang 提供的 channel(通道) 消除竞争条件。 Channel 是 Golang 在语言级别提供的 goroutine 之间的通信方式,可以使用 channel 阅读全文
posted @ 2019-06-10 08:46 sparkdev 阅读(6649) 评论(3) 编辑
摘要: 笔者在前文《Golang 入门 : 理解并发与并行》和《Golang 入门 : goroutine(协程)》中介绍了 Golang 对并发的原生支持以及 goroutine 的用法。本文我们来聊聊并发与并行带来的一些副作用。 并行编程之所以难道较高,根本的原因是需要处理共享资源的同步访问。比如在 G阅读全文
posted @ 2019-06-04 12:55 sparkdev 阅读(66) 评论(0) 编辑