5.DBus学习-2
1、编译DBus源代码
DBus本身是一个前后端分离的maven多模块项目，前端基于React，后端基于SpringCloud全家桶 。
到 https://github.com/BriData/DBus 拉取源码
我本地已经安装好了
通过git工具拉取代码到本地
git clone https://github.com/BriData/DBus.git
通过idea打开项目
先编译后端代码
在dbus-commons/pom.xml 中，需要在占位符处引入 mysql和 oracle相关包
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.35</version>
</dependency>
<dependency>
<groupId>com.oracle</groupId>
<artifactId>ojdbc14</artifactId>
<version>10.2.0.2.0</version>
</dependency>
修改依赖组件的版本号
修改
dbus-main是总体工程，其中encoder-base、 dbus-commons等一些模块是公共模块，会被其他引用。
所以，推荐直接在dbus-main工程上使用mvn clean package命令进行编译。
编译完成后，DBus/deployer/target目录下的deployer-0.6.1.zip就是最终的部署文件
前端代码编译
使用淘宝NPM镜像
npm install -g cnpm --registry=https://registry.npm.taobao.org
前端编译
修改源码：
# (1) 文件：DBus/dbus-keeper/keeper-web/app/containers/Project/route/index.js，确保目录Project首字母P是大写，源码中有几行是project // 导入自定义组件 # 注意，确保第一行import的路径为'@/app/containers/App' import App from '@/app/containers/App' import TopologyWrapper from '@/app/containers/Project/TopologyWrapper' import TableWrapper from '@/app/containers/Project/TableWrapper' import SinkWrapper from '@/app/containers/Project/SinkWrapper' import UserWrapper from '@/app/containers/Project/UserWrapper' import ResourceWrapper from '@/app/containers/Project/ResourceWrapper' import FullpullWrapper from '@/app/containers/Project/FullpullWrapper' import MonitorWrapper from '@/app/containers/Project/MonitorWrapper' import UserKeyDownloadWrapper from '@/app/containers/Project/UserKeyDownloadWrapper'
# (2) 文件：DBus/dbus-keeper/keeper-web/app/components/index.js，确保目录common是小写，源码中有几行是Common // common 公共无状态组件 export Bread from './common/Bread' export Navigator from './common/Navigator' export Header from './common/Header' export Foot from './common/Foot' export OperatingButton from './common/OperatingButton' export FileTree from './common/FileTree'
# (3) 将DBus/dbus-keeper/keeper-web/app/containers/Project目录下的几个js文件的名称首字母改成大写 [admin@hdp01 Project]$ mv resourceWrapper.js ResourceWrapper.js [admin@hdp01 Project]$ mv tableWrapper.js TableWrapper.js [admin@hdp01 Project]$ mv topologyWrapper.js TopologyWrapper.js
进入DBus\dbus-keeper\keeper-web下，在执行如下命令
cnpm install
编译
cnpm run build
编译成功后，在keeper-web生成了build目录，整个目录都是我们需要的前端文件
2、基础软件安装部署
在各个节点安装ZIP
sudo yum -y install zip
在安装软件之前，我们登录Ambari把用不到的服务先关掉，以节约
来。如下图所示，先保留Zookeeper和Ambari Metrics服务即可：
直接使用HDP3.1自带的Zookeeper，版本3.4.6正好合适，之前就安装好了这里保持不动，处于启动状态即可。
安装Kafka
生产上我们起码要部署三个节点的Kafka集群，这里我们就在node02上部署一个单点，
所有的部署方法、操作等跟部署集群没有差别。
后续步骤就一路下一步。
上传安装包到node02节点
解压安装包
unzip kafka-manager-2.0.0.0.zip ln -s kafka-manager-2.0.0.0 kafka-manager
创建软链接
配置环境变量：
sudo vim /etc/profile
末尾添加：
export KAFKA_MANAGER_HOME=/home/hadoop/app/kafka-manager
export PATH=$KAFKA_MANAGER_HOME/bin:$PATH
使环境变量生效
source /etc/profile
配置kafka-manager
修改如下配置项：
kafka-manager.zkhosts="node01:2181" basicAuthentication.enabled=true basicAuthentication.password="admin"
启动kafka-manager:
cd /home/hadoop/app/kafka-manager
#前台启动 kafka-manager -Dhttp.port=9999
#也可以后台启动 nohup $KAFKA_MANAGER_HOME/kafka-manager -Dhttp.port=9999 > kafka-managernohup.log 2>&1 &
访问 http://node02:9999/ 前提是配置好hosts文件
用户名 admin
密码admin
接下来添加一个kafka集群到kafka-manager
其余选项根具体是修改，不需要修改的保持默认即可，直接点击保存即可，至此kafka-manager就安装
好了，一个Kafka-manager可以管理多个集群。
保存后：
此时，Kafka-manager是获取不到Kafka Broker的相关信息的，cluster视图如下：
开启kafka的JMX
保存的时候，记得输入描述信息，这是个好习惯：
改完一定要重启kafka Broker才能生效：
我们可以看到Ambari考虑得比较全面，在生产环境肯定不能随意整体重启，肯定是滚动重启的。
安装Storm
基于步骤基本就是下一步。
安装InfluxDB
我们将infludb安装到node03
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6.x86_64.rpm
安装
sudo yum -y localinstall influxdb-1.7.6.x86_64.rpm
启动
sudo systemctl start influxdb #启动influxdb
sudo systemctl status influxdb #查看状态
sudo systemctl enable influxdb #开启开机启动
初始化配置
登录influxdb
执行如下命令：
#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus' #配置监控数据的保留时间，实际生产时根据自己的运维要求来定 ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d exit
安装Grafana
Ambari使用的Grafana根DBus依赖的版本不一样，需要单独安装以便于导入Dashboard
我们安装在node02上：
wget https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.2.0-1.x86_64.rpm
sudo yum -y localinstall grafana-4.2.0-1.x86_64.rpm
配置文件：
sudo vim /etc/grafana/grafana.ini
我们保持默认，启动即可：
sudo systemctl start grafana-server sudo systemctl status grafana-server sudo systemctl enable grafana-server.service #设置开机启动
登录Grafana：
访问 http://node02:3000/login
默认的用户名密码是admin/admin，登录即可。
生成GrafanaToken
Dbus使用Grafana展示数据线监控信息。需要提供Grafana Token进行监控模板的初始化。
点击打开API Keys管理页面：
添加Key
在跳出来的页面拷贝Key并并保存好:
eyJrIjoieFhwSHcwMTd4NE94bkVGa0taTFVyWVNsZHdnUlZhRWUiLCJuIjoiZ3JhZmFfYWRtaW4iLCJpZCI6MX0=
curl -H "Authorization: Bearer eyJrIjoieFhwSHcwMTd4NE94bkVGa0taTFVyWVNsZHdnUlZhRWUiLCJuIjoiZ3JhZmFfYWRtaW4iLCJpZCI6MX0=" http://node02:3000/api/dashboards/home
创建MySQL dbusmgr库
DBus的Web管理模块就是一个web程序，它需要用到Mysql数据库，我们复用Ambari所用的node01
上安装的MySQL即可，但是需要创建库、用户和表。
在node01上登录MySQL(密码是root)
mysql -u root -p
执行如下命令：
set global validate_password_policy=0; set global validate_password_mixed_case_count=0; set global validate_password_number_count=3; set global validate_password_special_char_count=0; set global validate_password_length=3; create database dbusmgr DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create user 'dbusmgr'@'%' identified by 'dbusmgr'; flush privileges; grant all privileges on dbusmgr.* to 'dbusmgr'@'%' identified by 'dbusmgr'; flush privileges; exit
安装Nginx
我们在node03上安装Nginx
安装依赖环境，安装命令：
sudo yum -y install gcc pcre-devel zlib-devel openssl openssl-devel
添加Nginx官方Yum源：
由于yum源中没有我们想要的nginx，那么我们就需要创建一个“/etc/yum.repos.d/nginx.repo”的文件，其实就是新增一个yum源。
sudo vim /etc/yum.repos.d/nginx.repo
然后将下面的内容复制进去：
[nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/$releasever/$basearch/ gpgcheck=0 enabled=1
然后保存“/etc/yum.repos.d/nginx.repo”文件后，我们就使用yum命令查询一下我们的nginx的yum源配置好了没有。
sudo yum list |grep nginx
然后要安装我们的nginx就直接执行：
sudo yum -y install nginx
也可以查看一下是否安装完成：
rpm -q nginx
启动Nginx:
sudo systemctl start nginx
sudo systemctl status nginx
sudo systemctl enable nginx #设置开机启动
访问Nginx:
http://node03/
Nginx配置信息说明
yum方式安装Nginx相关配置信息如下：
nginx 全局配置文件
/etc/nginx/nginx.conf
网站默认站点配置
/etc/nginx/conf.d/default.conf
自定义 nginx 站点配置文件存放目录
/etc/nginx/conf.d/
网站文件存放默认位置（Welcome to nginx 页面）
/usr/share/nginx/html
3、DBus安装配置
修改Storm目录权限(我安装在node02)
sudo chmod o+w /usr/hdp/3.1.4.0-315/storm/
DBus安装过程中会通过hadoop用户远程把Storm的拓扑程序拷贝到该目录下，所以得有写权限。
下载DBus-Keeper
上传压缩包，并解压
unzip deployer-0.6.1.zip
Nginx配置
sudo cp nginx.conf /etc/nginx/
上传build到Nginx的安装目录下
来源自这里
重启Nginx:
sudo systemctl restart nginx
修改Dbus-Keeper启动配置
####################################################################################################### # 是否使用dbus提供的配置中心,默认开启,目前仅支持spring cloud配置中心 config.server.enabled=true # 如果config.server.enabled=false,请配置以下地址 #spring.cloud.config.profile=环境名必须修改 release #spring.cloud.config.label=分支名必须修改 master #spring.cloud.config.uri=必须修改 http://localhost:19090 # 配置中心端口,端口号可用则需修改 config.server.port=19090 ####################################################################################################### # 是否使用dbus提供的注册中心,默认开启 register.server.enabled=true # 如果register.server.enabled=false,请配置以下地址 #register.server.url=必须修改 http://localhost:9090/eureka/ # 注册中心端口,端口号可用则需修改 register.server.port=9090 ####################################################################################################### # 暂不支持使用自己的网关 # 网关端口,端口号可用则需修改 gateway.server.port=5 # dbus控制台端口,端口号可用则需修改 mgr.server.port=8901 # dbus数据库服务端口,端口号可用则需修改 service.server.port=18901 # mysql管理库相关配置 spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://node01:3306/dbusmgr?characterEncoding=utf-8 spring.datasource.username=dbusmgr spring.datasource.password=dbusmgr ####################################################################################################### # dbus集群列表,dbus web所在机器必须能免密访问该列表所有机器 dbus.cluster.server.list=node01,node02,node03 # dbus集群统一免密用户 dbus.cluster.server.ssh.user=hadoop # dbus集群统一免密端口号 dbus.cluster.server.ssh.port=22 # ZK地址 zk.str= node01:2181 # kafka地址 bootstrap.servers=node02:6667 bootstrap.servers.version=2.0.0 # influxdb外网地址(域名) influxdb.web.url=http://node03:8086 # influxdb内网地址,不区分内外网influxdb_url_web和influxdb_url_dbus配置一样即可 influxdb.dbus.url=http://node03:8086 # grafana外网地址(域名) grafana.web.url=http://node02:3000 # grafana内网地址,不区分内外网igrafana_url_web和grafana_url_dbus配置一样即可 grafana.dbus.url=http://node02:3000 # grafana管理员token grafana.token=eyJrIjoiZTQ3Zk9lUnR3Q3N4OThvQlA2bTZoWWlOMlJtN0dMQm4iLCJuIjoiZ3JhZmFfYWRtaW4iLCJpZCI6MX0= # storm nimbus leader所在机器,这里只需配置leader机器,仅一台 storm.nimbus.host=node02 # storm nimbus根目录 storm.nimbus.home.path=/usr/hdp/current/storm-client/ # storm worker日志根目录,默认storm.nimbus.home.path下的logs目录 storm.nimbus.log.path=/usr/hdp/current/storm-client/logs/ # stormUI url storm.rest.url= http://node03:8744/api/v1 # storm在zookeeper的根节点 storm.zookeeper.root=/storm # 心跳程序自动部署目标机器,多个机器逗号隔开(半角逗号) heartbeat.host=node02,node03 # 心跳程序自动部署根目录 heartbeat.path=/home/hadoop/app/dbus/heartbeat ####################################################################################################### # nginx所在机器ip nginx.ip=172.16.25.13 # nginx.config配置的listen端口号 nginx.port=8080
初始化jar包，此操作为替换jar包里面的配置文件 
可以看到报错了！
错误原因：
这个文件在Windows 下编辑过，在Windows下每一行结尾是\n\r，而Linux下则是\n，所以才会有 多出来的\r。
我们这样解决，在.sh脚本的目录下执行
sed -i 's/\r$//' *.sh
启动web
./start.sh
可以看到不能正常启动，我们需要手动创建logs目录
再次启动成功
修改nginx配置文件
#user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; client_max_body_size 2000M; keepalive_timeout 65; server { listen 8080; server_name localhost; #charset utf-8; #access_log logs/host.access.log main; location / { root /usr/share/nginx/html/build; index index.html index.htm; try_files $uri /index.html; add_header Cache-Control "private, no-store, no-cache, must-revalidate, proxy-revalidate"; } location /keeper/ { proxy_pass http://172.16.25.13:5090/v1/keeper/; } location /keeper-webSocket/ { proxy_pass http://172.16.25.13:8901/; proxy_read_timeout 60s; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; } } }
重启nginx
sudo systemctl restart nginx
访问地址：http://node03:8080/login
当然啦，这个时候是无法登录的，我们还需要全局初始化
看到这个就表示初始化成功了
车的
这个时候就可以登录dbus了，超级管理员账号/密码 : admin/12345678
检查heartbeat
根据DBus-Keeper的初始化配置，它已经在node02和node03的/home/hadoop/app/dbus/下安装了
heartbeat，去检查下heartbeat进程在不在，如果不在的话用如下命令手工启动
nohup ./heartbeat.sh >/dev/null 2>&1 &
通过DBus-Keeper界面可以检查系统状态
检查表是否创建成功
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | ambari | | dbusmgr | | hive | | mysql | | performance_schema | | sys | +--------------------+ 7 rows in set (0.00 sec) mysql> use dbusmgr; Reading table information for completion of table and column names You can turn off this feature to get a quicker startup with -A Database changed mysql> show tables; +--------------------------------------------+ | Tables_in_dbusmgr | +--------------------------------------------+ | t_avro_schema | | t_data_schema | | t_data_tables | | t_dbus_datasource | | t_ddl_event | | t_encode_columns | | t_encode_plugins | | t_fullpull_history | | t_meta_version | | t_name_alias_mapping | | t_plain_log_rule_group | | t_plain_log_rule_group_version | | t_plain_log_rule_type | | t_plain_log_rules | | t_plain_log_rules_version | | t_project | | t_project_encode_hint | | t_project_resource | | t_project_sink | | t_project_topo | | t_project_topo_table | | t_project_topo_table_encode_output_columns | | t_project_topo_table_meta_version | | t_project_user | | t_query_rule_group | | t_sink | | t_sinker_topo | | t_sinker_topo_schema | | t_sinker_topo_table | | t_storm_topology | | t_table_action | | t_table_meta | | t_topology_jar | | t_user | +--------------------------------------------+ 34 rows in set (0.00 sec)
停止web运行
./stop.sh
4、DBus采集MySQL数据原理
千万不要把我们DBus用的MySQL数据库和我们要采集数据的MySQL数据库混为一谈，在生产上一般是
这样的：
为了更贴近真是环境，部署规划如下：
部件说明：
Canal ：版本 v1.0.22 DBus用于实时抽取binlog日志。DBus修改一个1文件, 具体配置可参考
canal相关支持说明，支持mysql5.6，5.7
Mysql ：版本 v5.6，v5.7
限制：
被同步的Mysql blog需要是row模式
考虑到kafka的message大小不宜太大，目前设置的是最大10MB，因此不支持同步mysql
MEDIUUMTEXT/MediumBlob和LongTEXT/LongBlob, 即如果表中有这样类型的数据会直接被替
换为空
业务MySQL(主)复用Ambari的MySQL，这个我们早就部署了，因此只需要在ndoe02上安装MySQL。
Ambari的MySQL才用的5.7，我们也用5.7避免MySQL主从出现问题
安装MySQL
下载安装包
sudo wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm
安装mysql源
sudo yum -y install mysql57-community-release-el7-11.noarch.rpm
安装mysql服务器
sudo yum -y install mysql-community-server
设置为开机启动
sudo systemctl enable mysqld
启动Mysql
sudo systemctl start mysqld
查看mysql状态
sudo systemctl status mysqld
如果安装mysql的过程中遇到这个问题
这样解决：
sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
查看临时root临时密码
sudo grep 'temporary password' /var/log/mysqld.log
利用临时密码登录
现在我们修改root用户密码：
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
exit
MySQL主从
接下来我们把node01和node02上的MySQL配置主从(node01上的MySQL早就上线了，node02上的
MySQL是新装的)。
首先我们分析下主从关系，如下图：
如上图所示，中间的MySQL(node02)即是主又是从，一定要及得加上log_slave_updates配置，否则在
MySQL主节点(node01)上插入数据，MySQL从虽然可以同步数据，但是它不会级联生成binlog日志，
canal就采集不到数据了
主库配置
登陆node01，编辑MySQL配置文件：
sudo vi /etc/my.cnf
增加以下配置：
server-id=1 log-bin=mysql-bin binlog-format=Row binlog-ignore-db=information_schema binlog-ignore-db=ambari binlog-ignore-db=dbusmgr binlog-ignore-db=hive binlog-ignore-db=mysql binlog-ignore-db=performance_schema binlog-ignore-db=sys #binlog-do-db=test
log-bin用于指定binlog日志文件名前缀，默认存储在/var/lib/mysql 目录下。
server-id用于标识唯一的数据库，不能和别的服务器重复，建议使用ip的最后一段，默认值也不可以。
binlog-ignore-db：表示同步的时候忽略的数据库。
binlog-do-db：指定需要同步的数据库（如果没有此项，表示同步所有的库）。
配置完后重启mysql
sudo systemctl restart mysqld
重启之后再次登录MySQL终端，并执行以下命令：
set global validate_password_policy=0; set global validate_password_mixed_case_count=0; set global validate_password_number_count=3; set global validate_password_special_char_count=0; set global validate_password_length=3; #创建一个用户，MySQL slave服务器使用这个用户连接Master同步binlog(有多个从库可以分别创建多个 用户) CREATE USER 'repl'@'%' IDENTIFIED BY 'repl%123'; #授予该用户SLAVE权限 GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' identified by 'repl%123'; show master status;
从库配置
登node02，编辑MySQL配置文件：
sudo vim /etc/my.cnf
增加如下配置：
#跟主库的server-id一定要不一样 server-id=2 log-bin=mysql-bin #下面这个必须加上，因为node02上的MySQL既是slave又是master，加上该选项才会生成级联binlog log_slave_updates binlog-format=Row binlog-ignore-db=information_schema binlog-ignore-db=ambari binlog-ignore-db=dbusmgr binlog-ignore-db=hive binlog-ignore-db=mysql binlog-ignore-db=performance_schema binlog-ignore-db=sys #binlog-do-db=test
保存退出，并重启mysql
sudo systemctl restart mysqld
重启之后再次登录Mysql，执行以下命令：
CHANGE MASTER TO MASTER_HOST='node01', MASTER_USER='repl', MASTER_PASSWORD='repl%123', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=682; START SLAVE;
MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=682;并不是乱填的，这个要跟show
master status获取的主库状态保持一致
查看slave状态（作为主库node01的从库）
show slave status;
查看master状态(作为Canal的主库)
show master status;
检查用户是否创建好了:
SELECT DISTINCT CONCAT('User: ''',user,'''@''',host,''';') AS query FROM mysql.user;
数据库源端创建心跳库
此步骤中需要在MySQL业务库上创建一个名字为dbus的库，并在此库下创建表db_heartbeat_monitor
和db_full_pull_requests两张表，用于心跳检测和全量拉取。
在数据源端新建的dbus库，可以实现无侵入方式接入多种数据源，业务系统无需任何修改，以无侵入
性读取数据库系统的日志获得增量数据实时变化。
登录node01上的mysql
执行如下操作：
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
--- 1 创建库，库大小由dba制定(可以很小，就2张表）
create database dbus;
--- 2 创建用户，密码由dba制定
CREATE USER 'dbus'@'%' IDENTIFIED BY 'dbus%123';
--- 3 授权dbus用户访问dbus自己的库
GRANT ALL ON dbus.* TO dbus@'%' IDENTIFIED BY 'dbus%123';
flush privileges;
在dbus库下创建2个表：
use dbus;
DROP TABLE IF EXISTS `db_full_pull_requests`;
CREATE TABLE `db_full_pull_requests` (
`seqno` bigint(19) NOT NULL AUTO_INCREMENT,
`schema_name` varchar(64) DEFAULT NULL,
`table_name` varchar(64) NOT NULL,
`physical_tables` varchar(10240) DEFAULT NULL,
`scn_no` int(11) DEFAULT NULL,
`split_col` varchar(50) DEFAULT NULL,
`split_bounding_query` varchar(512) DEFAULT NULL,
`pull_target_cols` varchar(512) DEFAULT NULL,
`pull_req_create_time` timestamp(6) NOT NULL,
`pull_start_time` timestamp(6) NULL DEFAULT NULL,
`pull_end_time` timestamp(6) NULL DEFAULT NULL,
`pull_status` varchar(16) DEFAULT NULL,
`pull_remark` varchar(1024) DEFAULT NULL,
PRIMARY KEY (`seqno`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
SET FOREIGN_KEY_CHECKS=0;
DROP TABLE IF EXISTS `db_heartbeat_monitor`;
CREATE TABLE `db_heartbeat_monitor` (
`ID` bigint(19) NOT NULL AUTO_INCREMENT COMMENT '心跳表主键',
`DS_NAME` varchar(64) NOT NULL COMMENT '数据源名称',
`SCHEMA_NAME` varchar(64) NOT NULL COMMENT '用户名',
`TABLE_NAME` varchar(64) NOT NULL COMMENT '表名',
`PACKET` varchar(256) NOT NULL COMMENT '数据包',
`CREATE_TIME` datetime NOT NULL COMMENT '创建时间',
`UPDATE_TIME` datetime NOT NULL COMMENT '修改时间',
PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
SET FOREIGN_KEY_CHECKS=0;
注意：从库node02不用执行上述操作，之前作了主动复制，他会自动复制的，你可以自行登录从库查看。
创建业务库表
我们这里要创建一个业务库和表，后面要插入数据，观察DBus是否能实时采集到数据。
我能依旧登录node01上的mysql(主库)
执行以下操作：
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
-- 1 创建测试库 测试表， 用于测试的.（已有的库不需要此步骤，仅作为示例）
create database test_schema1;
use test_schema1;
create table t1(a int, b varchar(50));
--- 2 创建测试用户，密码由dba制定。（已有的用户不需要此步骤，仅作为示例）
CREATE USER 'test_user'@'%' IDENTIFIED BY 'test_user%123';
GRANT ALL ON test_schema1.* TO test_user@'%' IDENTIFIED BY 'test_user%123';
flush privileges;
--- 3 授权dbus用户 可以访问 t1 的备库只读权限
GRANT select on test_schema1.* TO dbus;
flush privileges;
开启dbus用户拉备库权限
dbus在拉取数据时可以先全量拉取历史数据，在增量获取增量数据，全量拉取只是初始化加载操作，
只做一次。
全量拉取是在备库上进行的(拉主库会影响主业务)，因此需要授予dbus用户获取拟拉取的目标表备库的
读权限，用于初始化加载。以test_schema1.t1为例，在node01上操作（会自动同步到备库的）
部署canal
创建专用用户，Canal专门负责从备库拉取binlog实现增量获取数据，需要为他指定一个用户专门复制binlog日志
登录备库node02上的MySQL(从库)：
执行如下操作：
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
--- 创建Canal用户，密码由dba指定, 此处为canal
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal%123';
--- 授权给Canal用户
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
下载安装包：https://pan.baidu.com/s/1b1aKueXLvO2GigB5fa4kNw
别的版本也可以参考地址：https://github.com/BriData/DBus/releases
我们只需要下载这个就够了
先把dbus-canal-auto-0.5.0.tar.gz上传至node02、node03的/home/hadoop/app/dbus下并解压缩，node02、node03都要部署
cd /home/hadoop/app/dbus tar -zxvf dbus-canal-auto-0.5.0.tar.gz
解压后的目录结构
1. canal目录是自带的canal，该文件夹不能重命名，否则脚本会运行失败。
2. 是需要用户配置的
3. lib 目录不用关心
4. deploy.sh 自动化脚本
修改conf 目录下的canal-auto.properties
将conf目录下的canal-auto.properties文件中内容，修改成自己的信息。例如：
#数据源名称，需要与dbus keeper中添加的一致
dsname=gong_db
#zk地址,替换成自己的信息
zk.path=node01:2181
#canal 用户连接地址。即：要canal去同步的源端库的备库的地址
canal.address=node02:3306
#canal用户名
canal.user=canal
#canal密码，替换成自己配置的
canal.pwd=canal%123
执行deploy.sh脚本
sh deploy.sh
执行如下命令检查部署有没有问题：
sh deploy.sh check
我们采用deploy.sh脚本部署了Canal，它自动就已经启动了，自动部署之后目录结构是
这样的：
多个几个目录：
canal-gong_db：这个就是他自动部署的canal，实际上是从它上面的canal目录拷贝了一份，并自动生成了配置
canal.log、gong_db.log就是两个软连接，方便我们查看日志，省得进到很深的目录里
reports：这里存放自动部署和deploy.sh check时生成的报告，如果发现canal异常可以去这里面检查部署时的报错信息
我们的启停脚本就在canal-gong_db这个目录下，大家进入目录就能看到。
自动部署之后就不要再执行deploy.sh
DBus一键加线
所谓数据线是一种形象的说法，DBus要想采集某个数据库( 数据源 )的数据，就得拉一根线连接数据库
和DBus，加数据线就是在DBus-Keeper页面配置一条数据线，即指定从哪个数据源的哪个库采集哪些表的数据。
Keeper加线
Dbus对每个DataSource数据源配置一条数据线，当要添加新的datasource时，需要添加一条数据线。
删除自动部署Canal的配置
我们采用手工方式部署Canal，所以把相关配置删掉，避免加数据线时出现问题
管理员身份进入dbus keeper页面，数据源管理-新建数据线 
填写数据源基本信息（master和slave jdbc连接串信息）
主库url:
jdbc:MySQL://node01:3306/dbus?useUnicode=true&characterEncoding=utf8&autoReconnect=true&failOverReadOnly=false&noAccessToProcedureBodies=true&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false
从库url:
jdbc:MySQL://node02:3306/dbus?useUnicode=true&characterEncoding=utf8&autoReconnect=true&failOverReadOnly=false&noAccessToProcedureBodies=true&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false
下一步添加的schema，勾选要添加的表。Keeper支持一次添加多个schema下的多个table 
启动Topology
在启动的同时，可以去Storm UI上看看：
http://node03:8744/index.html
再次回到“数据源管理”，我们看到数据线加载好了：
DBus0.5.0添加数据线就会自动启动表数据同步
验证增量数据：
去业务表 test_schema1.t1添加数据:
use test_schema1; INSERT INTO t1(a, b) VALUES (101, "zhangsan"); INSERT INTO t1(a, b) VALUES (102, "lisi"); INSERT INTO t1(a, b) VALUES (103, "wangwu"); INSERT INTO t1(a, b) VALUES (104, "zhaoliu"); INSERT INTO t1(a, b) VALUES (105, "maqi"); INSERT INTO t1(a, b) VALUES (106, "zhouba"); INSERT INTO t1(a, b) VALUES (107, "zhouba"); INSERT INTO t1(a, b) VALUES (108, "zhouba");
