摘要：
我们在做日志处理时，往往会从多个源服务器收集日志，然后在一个（或一组）中心服务器做日志聚合分析。 源服务器上的日志可能属于同一应用类型，也可能属于不同应用类型。我们可能需要在聚合服务器上对这些不同类型的日志分类处理，一个实现方法就是在Fluentd内部重新给这些日志打tag，然后重新路由到合适的ou
阅读全文
posted @ 2020-11-04 14:46
哈喽哈喽111111
阅读(1085)
推荐(0)
摘要：
in_http插件允许使用HTTP协议来采集日志事件。这个插件会建立一个支持REST风格的HTTP端点，来接收日志事件请求。 配置示例 <source> @type http port 9880 bind 0.0.0.0 body_size_limit 32m keepalive_timeout 1
阅读全文
posted @ 2020-11-04 14:37
哈喽哈喽111111
阅读(577)
推荐(0)
摘要：
stdout即标准输出，out_stdout将收到的日志事件打印到标准输出。 如果Fluentd以daemon方式在后台运行，out_stdout会将事件输出到Fluentd的运行日志中。 这个插件在调试时非常有用。 通常，我们在使用其他输出插件时，如果在目的接收端收不到日志，或收到的日志数据不准确
阅读全文
posted @ 2020-11-04 14:21
哈喽哈喽111111
阅读(646)
推荐(0)
摘要：
copy即复制，out_copy的作用就是将日志事件复制到多个输出，这样就可以对同一份日志做不同类型的分析处理。 out_copy内置于Fluentd，无需单独安装。 示例配置 <match pattern> @type copy <store> @type file path /var/log/f
阅读全文
posted @ 2020-11-04 14:18
哈喽哈喽111111
阅读(379)
推荐(0)
摘要：
in_tail输入插件内置于Fluentd中，无需安装。 它允许fluentd从文本文件尾部读取日志事件，其行为类似linux的tail -F命令（按文件名来tail）。 这几乎是最常用的一个输入插件了。 示例配置 <source> @type tail path /var/log/httpd-ac
阅读全文
posted @ 2020-11-03 17:56
哈喽哈喽111111
阅读(1652)
推荐(0)
摘要：
out_forward是一个带缓存的输出插件，用于向其他节点转发日志事件，并支持转发节点之间的负载均衡和自动故障切换。 out_forward支持至多一次和至少一次传输模式，默认为至多一次。 out_forward内置于Fluentd，无需安装。 1.示例配置 <match pattern> @ty
阅读全文
posted @ 2020-11-03 17:45
哈喽哈喽111111
阅读(546)
推荐(0)
摘要：
in_forward插件通常用于从其他节点接收日志事件，这些节点包括其他Fluentd实例、fluent-cat命令行或者Fluentd客户端程序。这是目前效率最高的日志事件接收方法。 in_forward插件会在本地打开一个tcp监听socket，用于接收日志事件。同时，它也会开启一个udp端口用
阅读全文
posted @ 2020-11-03 17:39
哈喽哈喽111111
阅读(625)
推荐(0)
摘要：
通过一个例子进行阶段总结。 本示例使用到如下插件：in_tail, out_copy, out_stdout, out_forward, in_forward。 本示例包含两个节点： node_forwarder： 使用in_tail收集nginx的access日志，将其输出到stdout，同时通过
阅读全文
posted @ 2020-11-03 17:32
哈喽哈喽111111
阅读(302)
推荐(0)
摘要：
告警是预防系统故障的一个重要工具，目前已经有许多成熟的方案通过监控系统运行指标来进行阈值预警。今天简单了解一下如何使用Fluentd实现邮件告警功能。 Fluentd的告警是基于日志分析实现的，通过监测日志中的业务状态信息，及时识别严重错误，实时发送告警信息。 以分析Apache的访问日志为例，了解
阅读全文
posted @ 2020-11-03 17:25
哈喽哈喽111111
阅读(297)
推荐(0)
摘要：
在某些日志采集场景中，我们需要对数据流进行一些转换。比如，我们可能需要从日志记录中提取某些字段以进行错误告警，或向日志记录中插入新的字段用以后续的分析。 本文简单介绍一下使用Fluentd进行数据操作的技术细节。 根据日志字段取值来过滤事件 谈到过滤，我们通常会想到正则表达式，在linux中通常使用
阅读全文
posted @ 2020-11-03 17:22
哈喽哈喽111111
阅读(780)
推荐(0)
摘要：
Fluentd+MongoDB，用以实时收集半结构化数据。 背景知识 日志接入Fluentd后，会以json的格式在Fluentd内部进行路由。这就决定了Fluentd处理日志的方式是非常灵活的，它将日志视为半结构化数据，可以方便地修改其结构。 相应地，日志的最终存储数据库也应该擅长处理这样的半结构
阅读全文
posted @ 2020-11-03 17:17
哈喽哈喽111111
阅读(383)
推荐(0)
摘要：
收集日志是为了做进一步的分析。收集是第一步，收集到日志后还需要进行存储、索引，以便进行快速查询分析。我们还需要一个友好的查询界面，来方便用户使用日志。 本文介绍一个免费的开源软件组合，正好可以实现上述目的。它们就是Fluentd + Elasticsearch + Kibana，简称EFK。 Flu
阅读全文
posted @ 2020-11-03 17:10
哈喽哈喽111111
阅读(535)
推荐(0)
摘要：
Fluentd系统配置项 https://www.cnblogs.com/sanduzxcvbnm/p/13920972.html Fluentd自身日志 https://www.cnblogs.com/sanduzxcvbnm/p/13921045.html 几种监控Fluentd的方法 http
阅读全文
posted @ 2020-11-03 16:57
哈喽哈喽111111
阅读(636)
推荐(0)
摘要：
介绍一下排查Fluentd运行时错误的几种方法。 查看日志 如果感觉Fluentd运行异常，请先查看日志。td-agent安装后，默认日志存放在/var/log/td-agent/td-agent.log。 开启详细日志 Fluentd日志支持多个级别，打开详细的日志有助于发现问题。有以下几种方法可
阅读全文
posted @ 2020-11-03 16:56
哈喽哈喽111111
阅读(915)
推荐(0)
摘要：
介绍如何使用Fluentd的多worker模式处理高访问量的日志事件。此模式会运行多个worker进程以最大利用多核CPU。 原理 默认情况下，一个Fluentd实例会运行一个监控进程和一个工作进程。工作进程包含了Input/Filter/Output各类插件。 多worker模式就是一个实例中启动
阅读全文
posted @ 2020-11-03 16:52
哈喽哈喽111111
阅读(1034)
推荐(0)
摘要：
如果你的日志请求达到了5000条/秒，这里描述的技术点可用于调优。 检查操作系统配置 在安装Fluentd之前，进行操作系统参数优化。 通过top查看系统瓶颈 如果发现Fluentd运行效率不佳，可先查看一下当前系统瓶颈在哪里：CPU？内存？磁盘IO？ 避免额外运算 不要在Fluentd中执行过多的
阅读全文
posted @ 2020-11-03 16:48
哈喽哈喽111111
阅读(1413)
推荐(0)
摘要：
对于高访问量的web站点或者服务，可以采用Fluentd的高可用配置模式。 消息分发语义 Fluentd设计初衷主要是用作事件日志分发系统的。这类系统支持几种不同的分发模式： 至多一次。消息被立即发送，若传输成功，该消息不会再被发送。发送失败，则会导致消息丢失。现实环境下会有很多情况导致发送失败，比
阅读全文
posted @ 2020-11-03 16:45
哈喽哈喽111111
阅读(837)
推荐(0)
摘要：
监控的目的是确保日志采集能稳定高效运行。 Fluentd内部运行指标 Fluentd内部保存着一些运行指标，这些指标可通过REST api直接获取，也支持通过第三方工具，如Prometheus，来访问。Prometheus是官方推荐的监控工具。 进程监控 Fluentd运行后会产生两个ruby进程，
阅读全文
posted @ 2020-11-03 16:40
哈喽哈喽111111
阅读(871)
推荐(0)
摘要：
Fluentd是用来处理其他系统产生的日志的，它本身也会产生一些运行时日志。Fluentd包含两个日志层：全局日志和插件级日志。每个层次的日志都可以进行单独配置。 日志级别 Fluentd的日志包含6个级别：fatal、error、warn、info、debug和trace。级别依次递增，高级别的日
阅读全文
posted @ 2020-11-03 16:30
哈喽哈喽111111
阅读(1243)
推荐(0)
摘要：
Fluentd的全局配置项，诸如开启RPC、使用多worker模式等。可在配置文件中通过<system>进行配置，或通过命令行进行配置。 参数 workers：指定worker进程数，默认为1 root_dir：配置root目录 log_level：设置日志级别，可选值为trace、debug、in
阅读全文
posted @ 2020-11-03 16:23
哈喽哈喽111111
阅读(1216)
推荐(0)
摘要：
事件（Event）是Fluentd内部处理流程使用的数据结构，日志记录一旦进入Fluentd便被封装成一个event。Event由三部分组成：tag、time、record。 tag: 标识事件的来源，或者说类型，用于内部消息路由，即后续交由哪个插件处理； time: 是事件的发生时间； recor
阅读全文
posted @ 2020-11-03 14:44
哈喽哈喽111111
阅读(355)
推荐(0)
摘要：
Fluentd通过读取配置文件来加载各插件，日志经由各插件的处理完成输入到输出的整个路由。 本文通过一个最简单的示例来说明配置文件的结构。td-agent.conf默认位于/etc/td-agent/下，先来看一下配置文件： <source> @type tail @id input_tail <p
阅读全文
posted @ 2020-11-03 14:03
哈喽哈喽111111
阅读(650)
推荐(0)
摘要：
Fluentd是一个跨平台的开源系统，支持在Linux（Redhat、Ubuntu、Debian）、Windows平台上运行。MacOS呢？官方并没有明显指出，但是在安装说明中列出了通过Ruby Gem进行安装的方法，想必也支持MacOS系统。 Fluentd是用C+Ruby来开发的，考虑到很多开发
阅读全文
posted @ 2020-11-03 13:37
哈喽哈喽111111
阅读(1760)
推荐(0)
摘要：
Weave Scope是Docker和Kubernetes的可视化和监视工具。它提供了自上而下的应用程序视图以及整个基础架构视图，并允许您实时诊断将分布式容器化应用程序部署到云提供商时遇到的任何问题。 github开源项目地址: https://github.com/weaveworks/scope
阅读全文
posted @ 2020-11-02 18:08
哈喽哈喽111111
阅读(1618)
推荐(1)
摘要：
环境准备 Centos 7.5虚拟机三台： 192.168.102.128 192.168.102.130 192.168.102.131 以上虚拟机统一安装docker环境 三台机器分别配置如下所示的hosts文件，以供rabbitmq容器使用 $ vim /home/rabbitmq/hosts
阅读全文
posted @ 2020-11-02 09:51
哈喽哈喽111111
阅读(595)
推荐(0)
摘要：
受限于内网，无法使用pip install Flask直接安装。 以Flask-0.12.2为例 安装Flask需要以下的依赖性，在安装Flask离线版时可以看到依赖性要求。 离线安装文件地址： https://pypi.python.org/pypi/ 登录后，页面右上角有一个 search的搜索
阅读全文
posted @ 2020-10-31 21:37
哈喽哈喽111111
阅读(5270)
推荐(0)
posted @ 2020-10-30 16:38
哈喽哈喽111111
阅读(0)
推荐(0)
摘要：
rpm方式 源地址：https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ wget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-12.9.0-ce.0.el
阅读全文
posted @ 2020-10-28 14:40
哈喽哈喽111111
阅读(616)
推荐(0)
摘要：
地址：https://files.cnblogs.com/files/sanduzxcvbnm/demo-flask.zip
阅读全文
posted @ 2020-10-26 13:54
哈喽哈喽111111
阅读(352)
推荐(0)
摘要：
kubectl 通过访问 Kubernetes API 来执行命令。我们也可以通过对应的TLS key， 使用curl 或是 golang client做同样的事。 API 请求必须使用 JSON 格式来发送。kubectl 的作用是将 yaml 转换为 JSON 格式进行 API 请求。 1、我们
阅读全文
posted @ 2020-10-23 17:58
哈喽哈喽111111
阅读(1548)
推荐(0)
摘要：
日常工作中，可能需要在自己的笔记本电脑上执行 kubectl 命令以管理远程 Linux 服务器上的 Kubernetes 集群。通过调用 kubernetes API 来实现对 Kubernetes 对象的操作. 在客户端电脑安装 kubectl Linux # cat <<EOF > /etc/
阅读全文
posted @ 2020-10-23 17:26
哈喽哈喽111111
阅读(1315)
推荐(0)
摘要：
在政府，医院等单位有网络安全要求，对内外网进行物理隔离，然而内网主机无法访问互联网下载安装包，通过Nginx 反向代理搭建本地yum服务器实现内网主机安装包下载。 Centos 8.2 部署 Nginx Server 系统版本 [root@yum-server ~]# cat /etc/redhat
阅读全文
posted @ 2020-10-23 15:40
哈喽哈喽111111
阅读(439)
推荐(0)
摘要：
Jenkins 使用Jenkins的话，完成的工作主要有如下步骤： 1.从Gogs或Gitlab仓库上拉取代码 2.使用Maven编译代码，打包成jar文件 3.根据jar文件使用相对应的Dockerfile文件制作成Docker镜像 4.把Docker镜像推送到Nexus上的Docker仓库(或者
阅读全文
posted @ 2020-10-23 10:10
哈喽哈喽111111
阅读(2487)
推荐(0)
摘要：
网址：https://www.qikqiak.com/post/harbor-quick-install/ 安装 Harbor Harbor 支持多种安装方式，源码目录下面默认有一个安装脚本（make/install.sh），采用 docker-compose 的形式运行 Harbor 各个组件，和
阅读全文
posted @ 2020-10-21 17:26
哈喽哈喽111111
阅读(1285)
推荐(0)
摘要：
参考网址：https://www.qikqiak.com/post/gitlab-ci-k8s-cluster-feature/
阅读全文
posted @ 2020-10-21 17:24
哈喽哈喽111111
阅读(346)
推荐(0)
摘要：
结合文章：1. 在 Kubernetes 上安装 Gitlab ，地址：https://www.cnblogs.com/sanduzxcvbnm/p/13852854.html 总结： 结合开头的文章部署Gitlab，在这个文章汇中只需要处理token就行了，其他的不用动。 总共需要五个yaml文件
阅读全文
posted @ 2020-10-21 17:19
哈喽哈喽111111
阅读(609)
推荐(0)
摘要：
总结： 所需要的三个yaml文件的下载地址：https://files.cnblogs.com/files/sanduzxcvbnm/k8s-gitlab.zip Gitlab官方提供了 Helm 的方式在 Kubernetes 集群中来快速安装，但是在使用的过程中发现 Helm 提供的 Chart
阅读全文
posted @ 2020-10-21 15:59
哈喽哈喽111111
阅读(1001)
推荐(0)
摘要：
 
阅读全文
posted @ 2020-10-21 10:25
哈喽哈喽111111
阅读(823)
推荐(0)
摘要：
阅读全文
posted @ 2020-10-21 10:24
哈喽哈喽111111
阅读(826)
推荐(0)
摘要：
import csv import os def main(): current_dir = os.path.abspath('.') file_name = os.path.join(current_dir, "csss.csv") csvfile = open(file_name, 'wt',n
阅读全文
posted @ 2020-10-20 15:56
哈喽哈喽111111
阅读(4371)
推荐(0)
浙公网安备 33010602011771号