05 2018 档案

【Canal源码分析】TableMetaTSDB
摘要：这是Canal在新版本引入的一个内容，主要是为了解决由于历史的DDL导致表结构与现有表结构不一致，导致的同步失败的问题。采用的是Druid和Fastsql，来记录表结构到DB中，如果需要进行回滚时，得从DB中根据时间点去查到对应的库表结构，然后进行业务的处理。也就是，如果我们想要这样的效果，需要开启 阅读全文
posted @ 2018-05-31 13:49 飞轩 阅读(841) 评论(0) 推荐(0)
【Canal源码分析】重要类图
摘要：从Canal的整体架构中，我们可以看出，在Canal中，比较重要的一些领域有Parser、Sink、Store、MetaManager、CanalServer、CanalInstance、CanalClient、Connection等等。下面我们仔细分析下Canal的领域模型。 一、Parser 核 阅读全文
posted @ 2018-05-31 10:52 飞轩 阅读(586) 评论(0) 推荐(0)
【Canal源码分析】整体架构
摘要：本文详解canal的整体架构。 一、整体架构 说明： server代表一个canal运行实例，对应于一个jvm instance对应于一个数据队列 （1个server对应1..n个instance) instance模块： eventParser (数据源接入，模拟slave协议和master进行交 阅读全文
posted @ 2018-05-30 17:24 飞轩 阅读(1303) 评论(0) 推荐(1)
【Canal源码分析】配置项
摘要：本文讲解canal中的一些配置含义。 一、配置加载图 二、配置文件canal.properties 2.1 common参数定义 比如可以将instance.properties的公用参数，抽取放置到这里，这样每个instance启动的时候就可以共享. 【instance.properties配置定 阅读全文
posted @ 2018-05-30 16:32 飞轩 阅读(3119) 评论(1) 推荐(0)
【Canal源码分析】数据传输协议
摘要：Canal的数据传输有两块，一块是进行binlog订阅时，binlog转换为我们所定义的Message，第二块是client与server进行TCP交互时，传输的TCP协议。 一、EntryProtocal 这块是binlog的一个存储。主要的格式如下： 二、CanalProtocal 这块主要定义 阅读全文
posted @ 2018-05-30 14:07 飞轩 阅读(916) 评论(0) 推荐(0)
【Canal源码分析】client工作过程
摘要：client的工作过程，需要我们自己去编写对应的逻辑，我们目前只能从example写的例子来看。目前examle中提供了两个例子，一个是单机的，一个是集群的cluster，我们后续如果需要进行开发的话，其实也是开发我们自己的client，以及client的一些逻辑。我们主要看下集群的client是如 阅读全文
posted @ 2018-05-29 16:42 飞轩 阅读(1854) 评论(0) 推荐(0)
【Canal源码分析】Sink及Store工作过程
摘要：一、序列图 二、源码分析 2.1 Sink Sink阶段所做的事情，就是根据一定的规则，对binlog数据进行一定的过滤。我们之前跟踪过parser过程的代码，发现在parser完成后，会把数据放到一个环形队列TransactionBuffer中，也就是这个方法： 我们具体看下add这个方法。 判断 阅读全文
posted @ 2018-05-25 15:01 飞轩 阅读(894) 评论(2) 推荐(1)
【Canal源码分析】Canal Instance启动和停止
摘要：一、序列图 1.1 启动 1.2 停止 二、源码分析 2.1 启动 这部分代码其实在ServerRunningMonitor的start()方法中。针对不同的destination，启动不同的CanalInstance。主要的方法在于initRunning()。 首先在zk中新增一个临时节点，表示的 阅读全文
posted @ 2018-05-24 17:50 飞轩 阅读(2019) 评论(0) 推荐(0)
【Canal源码分析】Canal Server的启动和停止过程
摘要：本文主要解析下canal server的启动过程，希望能有所收获。 一、序列图 1.1 启动 1.2 停止 二、源码分析 整个server启动的过程比较复杂，看图难以理解，需要辅以文字说明。 首先程序的入口在CanalLauncher的main方法中。 2.1 加载配置文件 从canal.prope 阅读全文
posted @ 2018-05-24 15:25 飞轩 阅读(5015) 评论(0) 推荐(0)
【Canal源码分析】parser工作过程
摘要：本文主要分析的部分是instance启动时，parser的一个启动和工作过程。主要关注的是AbstractEventParser的start()方法中的parseThread。 一、序列图 二、源码分析 parseThread中包含的内容比较清晰，代码不是很长，我们逐步分析下。 2.1 构造数据库连 阅读全文
posted @ 2018-05-24 10:55 飞轩 阅读(1481) 评论(0) 推荐(0)
【源码分析】Canal之Binlog的寻找过程
摘要：binlog的寻找过程可能的场景如下： instance第一次启动 发生数据库主备切换 canal server HA情况下的切换 所以这个过程是能够保证binlog不丢失的关键点。 本文从源码的角度来分析下启动过程中的binlog寻找过程。 一、流程图 下图是根据源码画出的流程图，需要结合源码分析 阅读全文
posted @ 2018-05-23 22:12 飞轩 阅读(7262) 评论(0) 推荐(1)