canal笔记
工作原理
canal的工作原理就是把自己伪装成MySQL slave，模拟MySQL slave的交互协议向MySQL Mater发送 dump协议，MySQL mater收到canal发送过来的dump请求，开始推送binary log给canal，然后canal解析binary log，再发送到存储目的地，比如MySQL，Kafka，Elastic Search等等。
一、mysql创建一个可用的账号
-- 使用命令登录：mysql -u root -p
-- 创建用户 用户名：canal 密码：Canal@123456
create user 'canal'@'%' identified by 'Canal@123456';
-- 授权 *.*表示所有库
grant SELECT, REPLICATION SLAVE, REPLICATION CLIENT on *.* to 'canal'@'%' identified by 'Canal@123456';数据库开启binlog
查看binglog日志及开启方法请移步: https://www.cnblogs.com/kaibindirver/p/16540069.html
一、下载canal.deployer 及启动
https://github.com/alibaba/canal/releases
官方说明: https://github.com/alibaba/canal/wiki/QuickStart
解压后对其配置文件进行修改
配置文件conf/example/instance.propertiesv
## mysql serverId--随便写但是不要重复
canal.instance.mysql.slaveId = 1234
#position info，需要改成自己的数据库信息
canal.instance.master.address = 192.168.1.103:3317
canal.instance.master.journal.name = mysql-bin.000005
canal.instance.master.position =
canal.instance.master.timestamp =
#canal.instance.standby.address =
#canal.instance.standby.journal.name =
#canal.instance.standby.position =
#canal.instance.standby.timestamp =
#username/password，需要改成自己的数据库信息
canal.instance.dbUsername = canal
canal.instance.dbPassword = Canal@123456
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8
#table regex # mysql 数据解析表的-只接收某表，多个表用，隔开 见 https://blog.csdn.net/leilei1366615/article/details/108819651
canal.instance.filter.regex = .\*\\\\..\*
//mysql 数据解析关注的表，Perl正则表达式.多个正则之间以逗号(,)分隔，转义符需要双斜杠(\) 常见例子：1. 所有表：.* or .\… 2. canal schema下所有表： canal\…* 3. canal下的以canal打头的表：canal\.canal.* 4. canal schema下的一张表：canal\.test15. 多个规则组合使用：canal\…*,mysql.test1,mysql.test2 (逗号分隔)这里开始的时候制定了binlog文件，后续数据库binglog变了，canal.deployer也会自动记录在上面instance.properties配置文件下的meta.dat里面记录最新的
canal.instance.filter.regex 指定接收某库某表的，adapter只会接收到指定的库表信息 对呀log日志文件就不会你那么大
canal.instance.filter.regex = eee_mlz_bbb\…* 只接收eee_mlz_bbbeee_mlz_bbb库下的所有表信息变更
在bin目录下启动
sh startup.sh
/canal/canal.deployer-1.1.5/logs/canal/canal.log
log会打印出服务的ip和暴露的端口
/logs/example/example.log
log这个是binlog的变动
遇到问题解决:
canal deployer运行出现 org.h2.jdbc.JdbcSQLException: Wrong user name or password
解决: 删除canal.deployer/conf/example中的XX.mv.db文件
参考: https://blog.csdn.net/weixin_41098099/article/details/115656887
目录: /conf/example/meta.dat
有时候客户端接收不到数据，是因为meta.dat里面指定的log文件不对，把他删了重新启动即可
二、编写客户端，从canal获取变更的消息
1、创建springboot项目
2、首先引入maven依赖：
<dependency>
<groupId>com.alibaba.otter</groupId>
<artifactId>canal.client</artifactId>
<version>1.1.4</version>
</dependency>
目录结构
在CannalClient类使用Spring Bean的生命周期函数afterPropertiesSet()：
@Component
public class CannalClient implements InitializingBean {
private final static int BATCH_SIZE = 1000;
@Override
public void afterPropertiesSet() throws Exception {
// 创建链接 ，这里输入的是cannel的服务ip和他默认暴露的端口11111
CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 11111), "example", "", "");
try {
//打开连接
connector.connect();
//订阅数据库表,全部表
connector.subscribe(".*\\..*");
//回滚到未进行ack的地方，下次fetch的时候，可以从最后一个没有ack的地方开始拿
connector.rollback();
while (true) {
// 获取指定数量的数据
Message message = connector.getWithoutAck(BATCH_SIZE);
//获取批量ID
long batchId = message.getId();
//获取批量的数量
int size = message.getEntries().size();
//如果没有数据
if (batchId == -1 || size == 0) {
try {
//线程休眠2秒
Thread.sleep(2000);
} catch (InterruptedException e) {
e.printStackTrace();
}
} else {
//如果有数据,处理数据
printEntry(message.getEntries());
}
//进行 batch id 的确认。确认之后，小于等于此 batchId 的 Message 都会被确认。
connector.ack(batchId);
}
} catch (Exception e) {
e.printStackTrace();
} finally {
connector.disconnect();
}
}
/**
* 打印canal server解析binlog获得的实体类信息
*/
private static void printEntry(List<Entry> entrys) {
for (Entry entry : entrys) {
if (entry.getEntryType() == EntryType.TRANSACTIONBEGIN || entry.getEntryType() == EntryType.TRANSACTIONEND) {
//开启/关闭事务的实体类型，跳过
continue;
}
//RowChange对象，包含了一行数据变化的所有特征
//比如isDdl 是否是ddl变更操作 sql 具体的ddl sql beforeColumns afterColumns 变更前后的数据字段等等
RowChange rowChage;
try {
rowChage = RowChange.parseFrom(entry.getStoreValue());
} catch (Exception e) {
throw new RuntimeException("ERROR ## parser of eromanga-event has an error , data:" + entry.toString(), e);
}
//获取操作类型：insert/update/delete类型
EventType eventType = rowChage.getEventType();
//打印Header信息
System.out.println(String.format("================》; binlog[%s:%s] , name[%s,%s] , eventType : %s",
entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),
entry.getHeader().getSchemaName(), entry.getHeader().getTableName(),
eventType));
//判断是否是DDL语句
if (rowChage.getIsDdl()) {
System.out.println("================》;isDdl: true,sql:" + rowChage.getSql());
}
//获取RowChange对象里的每一行数据，打印出来
for (RowData rowData : rowChage.getRowDatasList()) {
//如果是删除语句
if (eventType == EventType.DELETE) {
printColumn(rowData.getBeforeColumnsList());
//如果是新增语句
} else if (eventType == EventType.INSERT) {
printColumn(rowData.getAfterColumnsList());
//如果是更新的语句
} else {
//变更前的数据
System.out.println("------->; before");
printColumn(rowData.getBeforeColumnsList());
//变更后的数据
System.out.println("------->; after");
printColumn(rowData.getAfterColumnsList());
}
}
}
}
private static void printColumn(List<Column> columns) {
for (Column column : columns) {
System.out.println(column.getName() + " : " + column.getValue() + " update=" + column.getUpdated());
}
}
}当数据库发生变化时，就会收到消息，如果收不到查看下 cannel服务的/logs目录下各log文件，看有没有报错的信息
这里有个别人写好可 以直接插入数据库的到时看看 https://blog.csdn.net/qq_36971119/article/details/122856561
三、同步到其他数据库的方法
1、下载adapter文件
https://github.com/alibaba/canal/releases
官方说明 https://github.com/alibaba/canal/wiki/ClientAdapter
(注意这个文件要放到没有中文的目录下面!!!!!!!!---晕死踩坑2次)
有中文会启动报 Caused by: java.lang.RuntimeException: Config dir not found.
目录文件
2、配置配置文件及启动
启动器文件 application.yml
server:
port: 8081
spring:
jackson:
date-format: yyyy-MM-dd HH:mm:ss
time-zone: GMT+8
default-property-inclusion: non_null
canal.conf:
mode: tcp #tcp kafka rocketMQ rabbitMQ
flatMessage: true
zookeeperHosts:
syncBatchSize: 1000
retries: 0
timeout:
accessKey:
secretKey:
consumerProperties:
# canal tcp consumer
canal.tcp.server.host: 127.0.0.1:11111
canal.tcp.zookeeper.hosts:
canal.tcp.batch.size: 500
canal.tcp.username:
canal.tcp.password:
# kafka consumer
kafka.bootstrap.servers: 127.0.0.1:9092
kafka.enable.auto.commit: false
kafka.auto.commit.interval.ms: 1000
kafka.auto.offset.reset: latest
kafka.request.timeout.ms: 40000
kafka.session.timeout.ms: 30000
kafka.isolation.level: read_committed
kafka.max.poll.records: 1000
# rocketMQ consumer
rocketmq.namespace:
rocketmq.namesrv.addr: 127.0.0.1:9876
rocketmq.batch.size: 1000
rocketmq.enable.message.trace: false
rocketmq.customized.trace.topic:
rocketmq.access.channel:
rocketmq.subscribe.filter:
# rabbitMQ consumer
rabbitmq.host:
rabbitmq.virtual.host:
rabbitmq.username:
rabbitmq.password:
rabbitmq.resource.ownerId:
# srcDataSources:
# defaultDS:
# url: jdbc:mysql://127.0.0.1:3306/mytest?useUnicode=true
# username: root
# password: 121212
canalAdapters:
- instance: example # canal instance Name or mq topic name --给要同步的目标数据库启个别名
groups:
- groupId: g1
outerAdapters:
- name: logger //这个注释掉貌似少了些信息，canal.deployer 配置获取的表命中才打出日志
- name: rdb
key: mysql1
properties:
jdbc.driverClassName: com.mysql.jdbc.Driver
jdbc.url: jdbc:mysql://192.168.1.103:3306/max?useUnicode=true
jdbc.username: root
jdbc.password: 123456
# - name: rdb
# key: oracle1
# properties:
# jdbc.driverClassName: oracle.jdbc.OracleDriver
# jdbc.url: jdbc:oracle:thin:@localhost:49161:XE
# jdbc.username: mytest
# jdbc.password: m121212
# - name: rdb
# key: postgres1
# properties:
# jdbc.driverClassName: org.postgresql.Driver
# jdbc.url: jdbc:postgresql://localhost:5432/postgres
# jdbc.username: postgres
# jdbc.password: 121212
# threads: 1
# commitSize: 3000
# - name: hbase
# properties:
# hbase.zookeeper.quorum: 127.0.0.1
# hbase.zookeeper.property.clientPort: 2181
# zookeeper.znode.parent: /hbase
# - name: es
# hosts: 127.0.0.1:9300 # 127.0.0.1:9200 for rest mode
# properties:
# mode: transport # or rest
# # security.auth: test:123456 # only used for rest mode
# cluster.name: elasticsearch
# - name: kudu
# key: kudu
# properties:
# kudu.master.address: 127.0.0.1 # ',' split multi address
适配器文件
同步max库 student2 表
dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值
destination: example # cannal的instance或者MQ的topic
groupId: g1
outerAdapterKey: mysql1 # adapter key, 对应上面配置outAdapters中的key
concurrent: true # 是否按主键hase并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!!
dbMapping:
database: 123 # 源数据源的database/shcema
table: student # 源数据源表名
targetTable: student2 # 目标数据源的库名.表名--我在启动器指定了数据库的库了
targetPk: # 主键映射
id: id # 如果是复合主键可以换行映射多个
# mapAll: true # 是否整表映射, 要求源表和目标表字段名一模一样 (如果targetColumns也配置了映射,则以targetColumns配置为准)
targetColumns: # 字段映射, 格式: 目标表字段: 源表字段, 如果字段名一样源表字段名可不填
id: id
name2: name
# dbMapping:
# mirrorDb: true
# database: 123
同步max库 tb_commodity_info 表
dataSourceKey: defaultDS # 源数据源的key, 对应上面配置的srcDataSources中的值
destination: example # cannal的instance或者MQ的topic
groupId: g1
outerAdapterKey: mysql1 # adapter key, 对应上面配置outAdapters中的key
concurrent: true # 是否按主键hase并行同步, 并行同步的表必须保证主键不会更改及主键不能为其他同步表的外键!!
dbMapping:
database: 123 # 源数据源的database/shcema
table: tb_commodity_info # 源数据源表名
targetTable: tb_commodity_info # 目标数据源的库名.表名 ----我在启动器指定了数据库的库了
targetPk: # 主键映射
id: id # 如果是复合主键可以换行映射多个
mapAll: true # 是否整表映射, 要求源表和目标表字段名一模一样 (如果targetColumns也配置了映射,则以targetColumns配置为准)
# targetColumns: # 字段映射, 格式: 目标表字段: 源表字段, 如果字段名一样源表字段名可不填
# id: id
# name2: name
# dbMapping:
# mirrorDb: true
# database: 123
在bin目录下启动
sh startup.sh
3、操作控制接口
查询所有订阅同步的canal destination 的状态 --(这个可以查询后说明服务已启动好了，不然还得等等)
http://127.0.0.1:8081/destinations
查看单独某个目标数据库
http://127.0.0.1:8081/syncSwitch/example
关闭别名为example的目标数据库同步
curl http://127.0.0.1:8081/syncSwitch/example/off -X PUT
开启别名为example的目标数据库同步
curl http://127.0.0.1:8081/syncSwitch/example/on -X PUT
有个查看目标数据库同步数据的 请求 回头研究下
参考文档:
简单实现cannel入门---canal.deployer
https://blog.csdn.net/yehongzhi1994/article/details/107880162
cannel往mq或redis发
https://blog.csdn.net/yehongzhi1994/article/details/108034330
adapter配置参考
https://blog.csdn.net/weixin_39748445/article/details/113231208
https://blog.csdn.net/qq_29860591/article/details/110217909 --主要参考了这个
https://www.wenjiangs.com/doc/client-adapter ---貌似出处在这里
视频
https://www.bilibili.com/video/BV1jY41177Qh?spm_id_from=333.337.search-card.all.click&vd_source=caabcbd2a759a67e2a3de8acbaaf08ea
官网wiki介绍:
https://github.com/alibaba/canal/wiki
这篇挺全的还有个canal的后台可以操作
https://blog.csdn.net/leilei1366615/article/details/108819651
源码去启动见这篇
https://blog.csdn.net/wx2207/article/details/121538475
部署到服务器
sh命令后面要加&,不然无法使用2个sh的命令，不加会报下面的错误
sh startup.sh &
let: 命令无法识别解决:
sudo dpkg-reconfigure dash 选择 "否", 表示用bash代替dash
https://www.cnblogs.com/fanjp666888/p/10022038.html
浙公网安备 33010602011771号