随笔分类 -  数据订阅与同步

爷青回，canal 1.1.6来了，几个重要特性和bug修复
摘要：刚刚在群里看到消息说，时隔一年，canal 1.1.6正式release了，赶紧上去看看有什么新特性。 （居然才发布了6个小时，前排围观） 1、什么是canal canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据 订阅 和 消费。应该是 阅读全文
posted @ 2022-05-27 10:07 阿丸 阅读(1002) 评论(2) 推荐(0)
2020实战复盘：如何从0到1搭建数据传输平台产品DTS？
摘要：微信搜索【阿丸笔记】，关注Java/MySQL/中间件各系列原创实战笔记，干货满满。 2020年下半年的主要任务，就是从0到1搭建了数据传输服务平台产品。平稳上线后，基本达到预期，实现了最初的产品规划目标。 这里做个复盘，记录下从0到1的过程，包括： 产品设计 整体技术架构 核心模块的技术选型、原理 阅读全文
posted @ 2021-01-05 09:59 阿丸 阅读(1334) 评论(2) 推荐(3)
拥抱云原生，如何将开源项目用k8s部署？
摘要：微信搜索【阿丸笔记】，关注Java/MySQL/中间件各系列原创实战笔记，干货满满。 k8s以及云原生相关概念近年来一直比较火热，阿丸最近搞了个相关项目，小结一下。 本文将重点分享阿里开源项目otter适配k8s部署的改造过程，其中的改造过程和技巧应该适用于将大多数开源项目改造到k8s进行部署。 1 阅读全文
posted @ 2020-12-21 13:01 阿丸 阅读(843) 评论(0) 推荐(0)
基于canal的client-adapter数据同步必读指南
摘要：本文将介绍canal项目中client-adapter的使用，以及落地生产中需要考虑的可靠性、高可用与监控报警。（基于canal 1.1.4版本） canal作为mysql的实时数据订阅组件，实现了对mysql binlog数据的抓取。 虽然阿里也开源了一个纯粹从mysql同步数据到mysql的项目 阅读全文
posted @ 2020-09-05 10:41 阿丸 阅读(8468) 评论(0) 推荐(3)
「从零单排canal 07」 parser模块源码解析
摘要：基于1.1.5-alpha版本，具体源码笔记可以参考我的github：https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的binlog订阅模块parser进行分析。 parser模块 阅读全文
posted @ 2020-08-24 14:17 阿丸 阅读(698) 评论(0) 推荐(0)
「从零单排canal 06」 instance模块源码解析
摘要：基于1.1.5-alpha版本，具体源码笔记可以参考我的github：https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal instance模块比较简单，我们重点了解以下几个问题 instance配置模式 阅读全文
posted @ 2020-07-28 19:57 阿丸 阅读(538) 评论(0) 推荐(0)
「从零单排canal 05」 server模块源码解析
摘要：基于1.1.5-alpha版本，具体源码笔记可以参考我的github：https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的server模块进行分析，跟之前一样，我们带着几个问题来看源 阅读全文
posted @ 2020-07-20 09:16 阿丸 阅读(1021) 评论(0) 推荐(0)
「从零单排canal 04」 启动模块deployer源码解析
摘要：基于1.1.5-alpha版本，具体源码笔记可以参考我的github：https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的启动模块deployer进行分析。 Deployer模块(绿 阅读全文
posted @ 2020-07-06 10:33 阿丸 阅读(1150) 评论(0) 推荐(2)
「从零单排canal 03」 canal源码分析大纲
摘要：在前面两篇中，我们从基本概念理解了canal是一个什么项目，能应用于什么场景，然后通过一个demo体验，有了基本的体感和认识。 从这一篇开始，我们将从源码入手，深入学习canal的实现方式。了解canal相关功能的实现方式，其中有很多机制是非常值得深入了解的，从代码实现角度去学习实时数据订阅与同步的 阅读全文
posted @ 2020-06-23 09:09 阿丸 阅读(1209) 评论(0) 推荐(0)
「从零单排canal 02」canal集群版 + admin控制台 最新搭建姿势（基于1.1.4版本）
摘要：canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据 订阅 和 消费。应该是阿里云DTS（Data Transfer Service）的开源版本，开源地址：https://github.com/alibaba/canal。 canal从1 阅读全文
posted @ 2020-06-10 21:28 阿丸 阅读(5182) 评论(1) 推荐(3)
「从零单排canal 01」 canal 10分钟入门（基于1.1.4版本）
摘要：1.简介 canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据 订阅 和 消费。应该是阿里云DTS（Data Transfer Service）的开源版本。 2.提供的能力 Canal与DTS提供的功能基本相似： 1）基于Mysql的Sl 阅读全文
posted @ 2020-06-04 21:43 阿丸 阅读(1499) 评论(0) 推荐(1)
实时数据订阅与分发系统概述
摘要：实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上，并维护消息的统一格式，提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景： 索引构建：MySQL到ES 缓存管理：MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订 阅读全文
posted @ 2020-05-27 23:24 阿丸 阅读(2485) 评论(0) 推荐(0)