备份及恢复之Mydumper的使用
介绍
https://launchpad.net/mydumper -----》mydumper官网
MySQL在备份方面包含了自身的mysqldump工具，但其只支持单线程工作，这就使得它无法迅速的备份数据。而mydumper作为一个实用工具，能够良好支持多线程工作，这使得它在处理速度方面十倍于传统的mysqldump。其特征之一是在处理过程中需要对列表加以锁定，因此如果我们需要在工作时段执行备份工作，那么会引起DML阻塞。但一般现在的MySQL都有主从，备份也大部分在从上进行，所以锁的问题可以不用考虑。这样，mydumper能更好的完成备份任务。
mydumper和mysqldump区别
mysqldump是最简单的逻辑备份方式。在备份myisam表的时候，如果要得到一致的数据，就需要锁表，简单而粗暴。而在备份innodb表的时候，加上–master-data=1 –single-transaction 选项，在事务开始时刻，记录下binlog 位置点，然后利用mvcc来获取一致的数据，由于是一个长事务，在写入和更新量很大的数据库上，将产生非常多的undo，显著影响性能。
1) 优点：简单，可针对单表备份，在全量导出表结构的时候尤其有用。
2) 缺点：简单粗暴，单线程，备份慢而且恢复慢，跨IDC有可能遇到时区问题。
mydumper是mysqldump的加强版。相比mysqldump：
3) 内置支持压缩，可以节省2-4倍的存储空间。
4) 支持并行备份和恢复，因此速度比mysqldump快很多，但是由于是逻辑备份，仍不是很快。
mydumper特性
Mydumper主要特性：是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具，开发人员主要来自MySQL,Facebook,SkySQL公司。
-
轻量级C语言写的
-
执行速度比mysqldump快10倍
-
事务性和非事务性表一致的快照(适用于0.2.2以上版本)
-
快速的文件压缩
-
支持导出binlog
-
多线程恢复(适用于0.2.1以上版本)
-
以守护进程的工作方式，定时快照和连续二进制日志(适用于0.5.0以上版本)
-
开源 (GNU GPLv3)
Mydumper 的优势
-
并行能力 (因此有高速度) 和性能 (高效的代码避免了耗费 CPU 处理能力的字符集转换过程)
-
更容易管理输出 (每个表都对应独立的文件，转储元数据等，便于查看/解析数据)
-
一致性 ：跨线程维护快照, 提供精确的主从日志定位等。
-
可管理性 ： 支持用 PCRE 来包含/排除指定的数据库和表(LCTT译注：PCRE，Perl Compatible Regular Expression，Perl兼容正则表达式)
mydumper安装
yum install glib2-devel mysql-devel zlib-devel pcre-devel
wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
tar xf mydumper-0.9.1.tar.gz
cd mydumper-0.9.1
cmake .
make
make install
mydumper备份机制
主线程 FLUSH TABLES WITH READ LOCK , 施加全局只读锁，以阻止 DML 语句写入，保证数据的一致性
读取当前时间点的二进制日志文件名和日志写入的位置并记录在 metadata 文件中，以供即使点恢复使用
N 个（线程数可以指定，默认是 4 ） dump 线程 START TRANSACTION WITH CONSISTENT SNAPSHOT ; 开启读一致的事物
dump non-InnoDB tables , 首先导出非事物引擎的表
主线程 UNLOCK TABLES 非事物引擎备份完后，释放全局只读锁
dump InnoDB tables , 基于事物导出 InnoDB 表
事物结束
mydumper参数介绍
-B, --database 要备份的数据库，不指定则备份所有库
-T, --tables-list 需要备份的表，名字用逗号隔开
-o, --outputdir 备份文件输出的目录
-s, --statement-size 生成的insert语句的字节数，默认1000000
-r, --rows 将表按行分块时，指定的块行数，指定这个选项会关闭 --chunk-filesize
-F, --chunk-filesize 将表按大小分块时，指定的块大小，单位是 MB
-c, --compress 压缩输出文件
-e, --build-empty-files 如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
-x, --regex 是同正则表达式匹配 'db.table'
-i, --ignore-engines 忽略的存储引擎，用都厚分割
-m, --no-schemas 不备份表结构
-k, --no-locks 不使用临时共享只读锁，使用这个选项会造成数据不一致
--less-locking 减少对InnoDB表的锁施加时间（这种模式的机制下文详解）
-l, --long-query-guard 设定阻塞备份的长查询超时时间，单位是秒，默认是60秒（超时后默认mydumper将会退出）
--kill-long-queries 杀掉长查询 (不退出)
-b, --binlogs 导出binlog
-D, --daemon 启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
-I, --snapshot-interval dump快照间隔时间，默认60s，需要在daemon模式下
-L, --logfile 使用的日志文件名(mydumper所产生的日志), 默认使用标准输出
--tz-utc 跨时区是使用的选项，不解释了
--skip-tz-utc 同上
--use-savepoints 使用savepoints来减少采集metadata所造成的锁时间，需要 SUPER 权限
--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist
-h, --host 连接的主机名
-u, --user 备份所使用的用户
-p, --password 密码
-P, --port 端口
-S, --socket 使用socket通信时的socket文件
-t, --threads 开启的备份线程数，默认是4
-C, --compress-protocol 压缩与mysql通信的数据
-V, --version 显示版本号
-v, --verbose 输出信息模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为 2
mydumper示例
导出yh库的数据
mydumper -h 127.0.0.1 -u root -p 123456 -B yh
会在当前目录下出现如下内容
[root@yh ~]# ll
total 4
drwx------ 2 root root 4096 Aug 26 21:08 export-20170826-210835
[root@yh ~]# cd export-20170826-210835/
[root@yh export-20170826-210835]# ll
total 16
-rw-r--r-- 1 root root 75 Aug 26 21:08 metadata -》记录备份开始和结束时间，以及binlog日志文件位置
-rw-r--r-- 1 root root 61 Aug 26 21:08 yh-schema-create.sql ---》存放建库的sql语句
-rw-r--r-- 1 root root 178 Aug 26 21:08 yh.test-schema.sql ---》存放对表的操作sql语句
-rw-r--r-- 1 root root 183 Aug 26 21:08 yh.test.sql ----》存放数据的文件
指定某一个目录
[root@yh ~]# mydumper -h 127.0.0.1 -u root -p 123456 -B yh -o my_sql
[root@yh ~]# ll
total 4
drwx------ 2 root root 4096 Aug 26 21:22 my_sql
[root@yh ~]# ll my_sql/
total 16
-rw-r--r-- 1 root root 75 Aug 26 21:22 metadata
-rw-r--r-- 1 root root 61 Aug 26 21:22 yh-schema-create.sql
-rw-r--r-- 1 root root 178 Aug 26 21:22 yh.test-schema.sql
-rw-r--r-- 1 root root 183 Aug 26 21:22 yh.test.sql
-o参数可以自动创建目录，所以想备到哪里就直接写路径就可以了
不导出表结构
[root@yh ~]# mydumper -h 127.0.0.1 -u root -p 123456 -B yh -m -o my_sql
[root@yh ~]# ll
total 4
drwx------ 2 root root 4096 Aug 26 21:29 my_sql
[root@yh ~]# ll my_sql/
total 8
-rw-r--r-- 1 root root 75 Aug 26 21:29 metadata
-rw-r--r-- 1 root root 183 Aug 26 21:29 yh.test.sql
-----》和上面对比，从这里便可以看出没有建表的sql语句文件《------
只备份单个表
[root@yh ~]# mydumper -h 127.0.0.1 -u root -p 123456 -B yh -T a -o my_backup
[root@yh ~]# ll my_backup/
total 16
-rw-r--r-- 1 root root 75 Aug 26 22:05 metadata
-rw-r--r-- 1 root root 175 Aug 26 22:05 yh.a-schema.sql
-rw-r--r-- 1 root root 169 Aug 26 22:05 yh.a.sql
-rw-r--r-- 1 root root 61 Aug 26 22:05 yh-schema-create.sql
也可以指定多个表中间用逗号分开
使用压缩参数进行压缩
[root@yh ~]# mydumper -h 127.0.0.1 -u root -p 123456 -B yh -T a -c -o my_backup
[root@yh ~]# ll my_backup/
total 16
-rw-r--r-- 1 root root 75 Aug 26 22:12 metadata
-rw-r--r-- 1 root root 170 Aug 26 22:12 yh.a-schema.sql.gz
-rw-r--r-- 1 root root 162 Aug 26 22:12 yh.a.sql.gz
-rw-r--r-- 1 root root 81 Aug 26 22:12 yh-schema-create.sql.gz
一些其他的用法
如果表数据是空，还是产生一个空文件（默认无数据则只有表结构文件）
mydumper -h 127.0.0.1 -u root -p 123456 -B yh --build-empty-files
设置长查询的上限，如果存在比这个还长的查询则退出mydumper，也可以设置杀掉这个长查询
mydumper -h 127.0.0.1 -u root -p 123456 --long-query-guard 200 --kill-long-queries
设置要dump的列表–tables-list，不需要设置db名字，逗号分割
mydumper -h 127.0.0.1 -u root -p 123456 --tables-list=ddd,zzz
通过regex也设置正则表达，需要设置db名字
mydumper -h 127.0.0.1 -u root -p 123456 --regex=test.z
把单表分成多个chunks，这个后面会讲分割的原理
mydumper -h 127.0.0.1 -u root -p 123456 --rows 10000
过滤某个引擎的表
mydumper -h 127.0.0.1 -u root -p 123456 -B test --ignore-engines=innodb
详细日志
mydumper -h 127.0.0.1 -u root -p 123456 -B test -v 3
进行数据恢复
myloader使用参数
-d, --directory 备份文件的文件夹
-q, --queries-per-transaction 每次事物执行的查询数量，默认是1000
-o, --overwrite-tables 如果要恢复的表存在，则先drop掉该表，使用该参数，需要备份时候要备份表结构
-B, --database 需要还原的数据库
-e, --enable-binlog 启用还原数据的二进制日志
-h, --host 主机
-u, --user 还原的用户
-p, --password 密码
-P, --port 端口
-S, --socket socket文件
-t, --threads 还原所使用的线程数，默认是4
-C, --compress-protocol 压缩协议
-V, --version 显示版本
-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2
myloader恢复示例
进入数据库drop掉yh库
mysql> drop database yh;
Query OK, 5 rows affected (0.03 sec)
[root@yh ~]# ll my_backup/
total 32
-rw-r--r-- 1 root root 75 Aug 26 22:32 metadata
-rw-r--r-- 1 root root 170 Aug 26 22:32 yh.a-schema.sql.gz
-rw-r--r-- 1 root root 162 Aug 26 22:32 yh.a.sql.gz
-rw-r--r-- 1 root root 171 Aug 26 22:32 yh.b-schema.sql.gz
-rw-r--r-- 1 root root 171 Aug 26 22:32 yh.c-schema.sql.gz
-rw-r--r-- 1 root root 171 Aug 26 22:32 yh.d-schema.sql.gz
-rw-r--r-- 1 root root 170 Aug 26 22:32 yh.e-schema.sql.gz
-rw-r--r-- 1 root root 81 Aug 26 22:32 yh-schema-create.sql.gz
[root@yh ~]# mydumper -h 127.0.0.1 -u root -p 123456 -B yh -d my_backup
进入数据库进行查看
mysql> show databases like 'yh';
+---------------+
| Database (yh) |
+---------------+
| yh |
+---------------+
1 row in set (0.00 sec)
mysql> show tables;
+--------------+
| Tables_in_yh |
+--------------+
| a |
| b |
| c |
| d |
| e |
+--------------+
5 rows in set (0.00 sec)
浙公网安备 33010602011771号