alibaba canal安装笔记

canal是alibaba开源的基于mysql binlog解析工具,可利用它实现mysql增量订阅/消费,典型的应用场景如下图:

 

利用canal,可以将mysql的数据变化,通过解析binlog,投递到kafka(或rocket mq),mq的消费方,可以把这些数据变化,应用到不同的业务场景,比如:

1. 同步到redis(即:数据库的变化自动同步到缓存)

2. 同步到es搜索引擎(即:数据库的变化自动刷新ES索引)

3. 同步到其它异构数据库(即:mysql的变化,自动同步到pg、oracle等其它类型的数据库)

 

下面是mac本上,搭建standalone单机模式的过程:

一、安装zookeeper

注:canal、kafka都依赖zk,所以得先安装zk

1.1  wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

1.2 tar -zxvf zookeeper-3.4.14.tar.gz

1.3 cd zookeeper-3.4.14

1.4 cp conf/zoo_sample.cfg conf/zoo.cfg

1.5 vim conf/zoo.cfg 参考下面的内容

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/Users/jimmy/soft/zookeeper-3.4.14/data
dataLogDir=/Users/jimmy/soft/zookeeper-3.4.14/logs
clientPort=2181

注:dataDir, dataLogDir的目录大家可自行调整,如果没有,请先创建,且zk必须有写入权限

1.6 bin/zkServer.sh start-foreground 如果看到终端有类似下面的输入:

2019-05-26 13:27:38,667 [myid:] - INFO [main:ServerCnxnFactory@117] - Using org.apache.zookeeper.server.NIOServerCnxnFactory as server connection factory
2019-05-26 13:27:38,682 [myid:] - INFO [main:NIOServerCnxnFactory@89] - binding to port 0.0.0.0/0.0.0.0:2181

就表示启动成功了。

注:start-foreground表示前台启动,如果启动过程中有任何错误,也会直接输出,首次启动时,用这种方式可以快速排错。如果启动成功后,可以ctrl+c,然后用bin/zkServer.sh start 转入后台运行模式。

 

二、安装kafka

2.1 wget http://mirror.bit.edu.cn/apache/kafka/2.1.1/kafka_2.11-2.1.1.tgz

2.2 tar -zxvf kafka_2.11-2.1.1.tgz

2.3 vim config/server.properties 修改下面几处

...
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://127.0.0.1:9092
...
log.dirs=/Users/jimmy/soft/kafka_2.11-2.1.1/logs

注:主要就是指定个zk的地址,以及日志目录 

2.4 bin/kafka-server-start.sh config/server.properties 启动

如果控制台没输出错误信息,lsof -i:9092 端口都在(另开1个终端检测),说明启用成功,Ctrl+C停掉,再用 bin/kafka-server-start.sh -daemon config/server.properties 后台方式运行

 

三、安装mysql

3.1 brew install mysql@5.7

注:不建议安装mysql 5.8版本,因为5.8采用了新的身份验证方式,canal在连接时,低版本会遇到问题(将来canal可能会支持5.8版本)

3.2 brew services start mysql@5.7 (注:start换成stop就是停止)

3.3 随便找个mysql客户端连上去,创建canal专用连接账号

CREATE USER 'canal'@'%'  IDENTIFIED BY 'Canal.1.1.3.x';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;

注:上面Canal.1.1.3.x 是canal的密码,大家根据需求自行修改。

3.4 调整my.cnf参数,启用binlog功能

vim /usr/local/etc/my.cnf

# Default Homebrew MySQL server config
[mysqld]
log-bin=mysql-bin
binlog-format=ROW
server_id=1
# Only allow connections from localhost
bind-address=127.0.0.1

调整好后,重启mysql,然后连上去,输入:

show master status;

验证一下,如果能看到类似:

就表示ok了。

 

四、安装canal

4.1 wget https://github.com/alibaba/canal/releases/download/canal-1.1.3/canal.deployer-1.1.3.tar.gz

4.2 tar -zxvf canal.deployer-1.1.3.tar.gz

4.3 cd canal-1.1.3 (注:如果解析后的目录名,不是这个,大家自行调整)

4.4 vim conf/example/instance.properties

....
canal.instance.mysql.slaveId=1234

....
canal.instance.master.address=127.0.0.1:3306
canal.instance.master.journal.name=mysql-bin.000001
canal.instance.master.position=154

...
canal.instance.dbUsername=canal
canal.instance.dbPassword=Canal.1.1.3.x
canal.instance.connectionCharset=UTF-8

...

# table regex(同步sample库中的employee,city这二张表)
canal.instance.filter.regex=sample\\.employee,sample\\.city

# mq config(上面的二张表,数据变化,投放到sample-data中)
canal.mq.topic=sample-data

...

主要是指定:mysql地址及binlog起始位置(注:最好与上一步show master status里输出的信息一致),连接用户名/密码,以及kafka mq的topic信息(上面的配置,我们会把sample库的employee,city这二张表的变化,都投递到sample-data这个topic中)

4.5 vim conf/canal.properties

...
canal.serverMode=kafka

...
canal.destinations = example

...
canal.mq.servers = 127.0.0.1:9092

注:上述关键配置,表示canal将使用kafka作为mq,同时conf/example作为desination之一。

4.6 bin/startup.sh 启动

启动完成后,是否成功要通过日志查看

cat logs/canal/canal.log 如果能看到类似下面的输出:

2019-05-26 14:43:36.468 [main] INFO  com.alibaba.otter.canal.deployer.CanalStater - ## the canal server is running now ......
2019-05-26 14:43:36.468 [destination = metrics , address = null , EventParser] ERROR c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - parse events has an error
com.alibaba.otter.canal.parse.exception.CanalParseException: illegal connection is null
2019-05-26 14:43:36.482 [canal-instance-scan-0] INFO  c.a.o.canal.deployer.monitor.SpringInstanceConfigMonitor - auto notify stop metrics successful.
2019-05-26 14:43:36.713 [destination = example , address = /127.0.0.1:3306 , EventParser] WARN  c.a.o.c.p.inbound.mysql.rds.RdsBinlogEventParserProxy - ---> find start position successfully, EntryPosition[included=false,journalName=mysql-bin.000001,position=4435,serverId=1,gtid=,timestamp=1558841400000] cost : 409ms , the next step is binlog dump

就表示成功了。

注:如果启动不成功,可能原因有:

1、canal连接不上mysql,日志里会有相应提示,可尝试用mysql客户端,以canal里配置的用户名、密码连接测试一下

2、提示无法读取binlog,找不到binlog文件之类。如果mysql里show master status正常,多半是之前canal上次运行时记录了错误的binlog起始位置。可尝试调整/conf/example/meta.dat文件中的值

{"clientDatas":[{"clientIdentity":{"clientId":1001,"destination":"example","filter":""},"cursor":{"identity":{"slaveId":-1,"sourceAddress":{"address":"localhost","port":3306}},"postion":{"gtid":"","included":false,"journalName":"mysql-bin.000004","position":2805,"serverId":1,"timestamp":1558880055000}}}],"destination":"example"}y

该文件为一个标准json,里面记录了binlog的文件名及起始位置。或者简单粗暴点,删除/conf/example下的.dat以及.db文件。

 

4.7 查看kafka中的消息

先在sample数据库中,随便建二个表,并修改几行数据,表结构如下:

CREATE TABLE `employee` (
  `id` bigint(20) unsigned zerofill NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `name` varchar(100) NOT NULL DEFAULT '' COMMENT '姓名',
  `update_at` datetime(3) NOT NULL DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3) COMMENT '最后更新时间',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8mb4

 及

CREATE TABLE `city` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `city_name` varchar(100) DEFAULT '' COMMENT '城市名',
  `create_at` datetime(3) DEFAULT CURRENT_TIMESTAMP(3),
  `update_at` datetime(3) DEFAULT CURRENT_TIMESTAMP(3) ON UPDATE CURRENT_TIMESTAMP(3),
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8mb4 COMMENT='城市表'

然后回到终端界面。

4.7.1 cd kafka_2.11-2.1.1 进入kafka目录

4.7.2 bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181 查看所有topic, 如果输出信息中,有sample-data这个topic,表示topic正常

4.7.3 bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092  --from-beginning --topic sample-data 查看所有sample topic的消息

看到类似下面的输出(注:为了便于阅读,已经做了json格式化处理)

{
	"data": [{
		"id": "6",
		"name": "杨俊明",
		"update_at": "2019-05-26 14:51:30.094"
	}],
	"database": "sample",
	"es": 1558853490000,
	"id": 4,
	"isDdl": false,
	"mysqlType": {
		"id": "bigint(20) unsigned zerofill",
		"name": "varchar(100)",
		"update_at": "datetime(3)"
	},
	"old": [{
		"name": "新名称",
		"update_at": "2019-05-26 11:30:00.899"
	}],
	"pkNames": ["id"],
	"sql": "",
	"sqlType": {
		"id": -5,
		"name": 12,
		"update_at": 93
	},
	"table": "employee",
	"ts": 1558853490132,
	"type": "UPDATE"
}

 或

{
	"data": [{
		"id": "2",
		"city_name": "北京",
		"create_at": "2019-05-26 22:14:15.508",
		"update_at": "2019-05-26 22:14:15.508"
	}],
	"database": "sample",
	"es": 1558880055000,
	"id": 5,
	"isDdl": false,
	"mysqlType": {
		"id": "bigint",
		"city_name": "varchar(100)",
		"create_at": "datetime(3)",
		"update_at": "datetime(3)"
	},
	"old": null,
	"pkNames": ["id"],
	"sql": "",
	"sqlType": {
		"id": -5,
		"city_name": 12,
		"create_at": 93,
		"update_at": 93
	},
	"table": "city",
	"ts": 1558880055712,
	"type": "INSERT"
}

  

参考文章:

https://github.com/alibaba/canal/wiki/Kafka-QuickStart

https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart

https://www.jianshu.com/p/93d9018e2fa1

posted @ 2019-05-26 15:02 菩提树下的杨过 阅读(...) 评论(...) 编辑 收藏