随笔分类 -  canal数据同步

数据同步canal客户端
摘要：1、增量订阅、消费设计 get/ack/rollback协议介绍： ① Message getWithoutAck(int batchSize)，允许指定batchSize，一次可以获取多条，每次返回的对象为Message，包含的内容为： a. batch id 唯一标识 b. entries 具体 阅读全文
posted @ 2017-12-28 10:11 大明湖畔的守望者 阅读(6828) 评论(0) 推荐(1)
数据同步canal服务端配置mysql多主
摘要：canal服务端HA模式，本人并未使用过，为保证文章的完整性，从以下地址摘抄该部分内容，待以后验证及使用 https://github.com/alibaba/canal/wiki/AdminGuide 1、mysql机器准备 准备两台mysql机器，配置为M-M模式，比如ip为：10.20.144 阅读全文
posted @ 2017-12-27 15:26 大明湖畔的守望者 阅读(4765) 评论(0) 推荐(0)
数据同步canal服务端HA配置
摘要：canal服务端HA模式，本人并未使用过，为保证文章的完整性，从以下地址摘抄该部分内容，待以后验证及使用 https://github.com/alibaba/canal/wiki/AdminGuide 1、机器准备 ① 2个canal服务端节点 10.20.144.22, 10.20.144.51 阅读全文
posted @ 2017-12-27 15:20 大明湖畔的守望者 阅读(1877) 评论(0) 推荐(0)
数据同步canal服务端介绍
摘要：1、下载安装包 canal&github的地址，最权威的学习canal相关知识的地方 https://github.com/alibaba/canal 在下面的wiki列表中找到AdminGuide连接，进入 https://github.com/alibaba/canal/wiki/AdminGu 阅读全文
posted @ 2017-12-26 17:38 大明湖畔的守望者 阅读(2340) 评论(0) 推荐(0)
canal数据同步目录
摘要：我们公司对于数据同步有以下需求 1、多个mysql库中有一些基础表需要数据统一，mysql跨库同步 2、mysql热数据加载到redis 3、全文检索需要mysql同步到es 4、数据变更是附属的其它操作，如发http请求、发通知等 所有的这些打算在数据同步中完成。 canal是阿里为解决双机房数据 阅读全文
posted @ 2017-12-26 17:15 大明湖畔的守望者 阅读(757) 评论(0) 推荐(0)