11 2018 档案

docker容器日志收集方案汇总评价总结
摘要：docker日志收集方案有太多，下面截图罗列docker官方给的日志收集方案（详细请转docker官方文档）。很多方案都不适合我们下面的系列文章没有说。 经过以下5篇博客的叙述简单说下docker容器日志采集方案 docker日志收集方案基本归为两类： 1、本地存储 2、远程输出 由于docker的 阅读全文
posted @ 2018-11-26 08:25 zygfengyuwuzu 阅读(1995) 评论(0) 推荐(0)
docker容器日志收集方案（方案N，其他中间件传输方案）
摘要：由于docker虚拟化的特殊性导致日志收集方案的多样性和复杂性下面接收几个可能的方案 ​ 这个方案各大公司都在用只不过传输方式大同小异 中间件使用kafka是肯定的，kafka的积压与吞吐能力相当强悍，其实kafka就是专门为传输日志设计的，链路当中可以对日志进行压缩等。 这里与方案四不同的地方除了 阅读全文
posted @ 2018-11-26 08:24 zygfengyuwuzu 阅读(1115) 评论(0) 推荐(0)
docker容器日志收集方案（方案四，目前使用的方案）
摘要：先看数据流图，然后一一给大家解释 ​ 这个方案是将日志直接从应用代码中将日志输出到redis中（注意，是应用直接连接redis进行日志输出），redis充当一个缓存中间件有一定的缓存能力，不过有限，因为使用的是内存，内存使用完了就会出现阻塞失败等现象从而导致日志丢失。 接下来logstash从red 阅读全文
posted @ 2018-11-23 16:13 zygfengyuwuzu 阅读(2456) 评论(0) 推荐(0)
docker容器日志收集方案（方案三 filebeat+journald本地日志收集）
摘要：其实方案三和方案二日志采集套路一样，但是还是有点差别。 差别就在于日志格式如下: ​ 为了方便对比吧日志贴上来 Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892 INFO [demo1,fa9d2f274c9d 阅读全文
posted @ 2018-11-23 15:04 zygfengyuwuzu 阅读(2490) 评论(1) 推荐(0)
docker容器日志收集方案（方案二 filebeat+syslog本地日志收集）
摘要：与方案一一样都是把日志输出到本地文件系统使用filebeat进行扫描采集 不同的是输出的位置是不一样的 我们对docker进行如下设置 sudo docker service update --log-driver syslog pbblyrmsof5t sudo docker service up 阅读全文
posted @ 2018-11-23 13:07 zygfengyuwuzu 阅读(4353) 评论(0) 推荐(0)
docker容器日志收集方案（方案一 filebeat+本地日志收集）
摘要：filebeat不用多说就是扫描本地磁盘日志文件，读取文件内容然后远程传输。 docker容器日志默认记录方式为 json-file 就是将日志以json格式记录在磁盘上 格式如下： { "log": "2018-11-16 01:24:30.372 INFO [demo1,786a42d3b893 阅读全文
posted @ 2018-11-23 11:57 zygfengyuwuzu 阅读(9440) 评论(0) 推荐(0)