天下之事，必先处之难，而后易之。

InfluxDB与Canal实现数据库增量备份统计分析及系统监控架构设计

本文通过InfluxDB与Canal实现数据库增量日志分析统计及系统监控架构设计，目标就是为了零侵入现有代码实现数据增量备份处理和实现用户业务数据、接口等操作实时统计功能，这里有点像AOP编程，抽象我们需要修改的地方然后进行日志记录操作。

目录

需求设计要求

增量备份&统计架构图

增量备份&统计分析&系统监控架构图

系统监控实践

InfluxDB基本组件

Linux监控指标

Web服务器监控

架构设计

需求设计要求

零侵入编码、架构自动伸缩

Canal：数据或操作日志增量备份，做到代码级别零侵入（InfluxDB也需要基于此方能做到不动源代码伸缩架构处理）
InfluxDB:存储时序操作日志类数据，用于统计分析。
Grafana：Grafana具有统计分析和数据展示能力。

增量备份&统计架构图

架构设计图如下：

为什么要如此设计？

数据库备份可靠性（Canal阿里开源产品）
数据顺序存储（InfluxDB）
数据实时查询能力（Grafana提供类似SQL语言的查询）
数据展示能力（Grafana包含丰富的图标展示功能）

增量备份&统计分析&系统监控架构图

设计原理同上，只是加入了对Linux的系统监控组件Telegraf：

更多请阅读系统监控实践内容。

系统监控实践

https://frank6866.gitbooks.io/monitor/content/chapters/basic/monitor-basic-influxdb.html

InfluxDB基本组件

Linux监控指标

Web服务器监控

Docker监控

注：要实现备份需要使用到Otter，而Otter依赖Canal、Zookeeper集群、数据库源、目标数据库。

posted @ 2024-10-09 20:21 boonya 阅读(75) 评论(0) 收藏举报来源

刷新页面返回顶部

我有佳人隔窗而居，今有伊人明月之畔。
轻歌柔情冰壶之浣，涓涓清流梦入云端。
美人如娇温雅悠婉，目遇赏阅适而自欣。
百草层叠疏而有致，此情此思怀彼佳人。
念所思之唯心叩之，踽踽彳亍寤寐思之。
行云如风逝而复归，佳人一去莫知可回？
深闺冷瘦独自徘徊，处处明灯影还如只。
推窗见月疑是归人，阑珊灯火托手思忖。
庐居闲客而好品茗，斟茶徐徐漫漫生烟。

我有佳人在水之畔，瓮载渔舟浣纱归还。
明月相照月色还低，浅近芦苇深深如钿。
庐山秋月如美人衣，画堂春阁香气靡靡。
秋意幽笃残粉摇曳，轻轻如诉画中蝴蝶。
泾水潺潺取尔浇园，暮色黄昏如沐佳人。
青丝撩弄长裙翩翩，彩蝶飞舞执子手腕。
香带丝缕缓缓在肩，柔美体肤寸寸爱怜。
如水之殇美玉成欢，我有佳人清新如兰。
伊人在水我在一边，远远相望不可亵玩。