转载自：https://www.cnblogs.com/abclife/p/7755031.html
Mydumper是一个针对MySQL和Drizzle的高性能多线程备份和恢复工具。开发人员主要来自MySQL,Facebook,SkySQL公司。目前已经在一些线上使用了Mydumper。
一、Mydumper主要特性：
-执行并行(速度快)、性能提升
-易于管理
-一致性：在所有的threads之间维护快照，提供master和slave日志的准确位置等
-管理型：支持PCRE
默认是关闭了binlog的dump功能，要想开启，需要在cmke编译的时候添加-DWITH_BINLOG=ON
二、如何获取一致性快照的：
-server上正在运行的慢查询或中断dump，或者慢查询被kill掉
-需要施加全局写锁("flush tables with read lock")
-读取不同的元数据("show slave status","show master status")
-具有事务性和非事务性表一致的快照(0.2.2+)
-一旦所有的工作现成通知已经创建好快照，master会执行"unlock tables",开始运行队列中的job
三、mydumper的工作原理：
mydumper的主要工作步骤：
1 主线程 flush tables with read lock, 施加全局只读锁，以阻止dml语句写入，保证数据的一致性
2 读取当前时间点的二进制日志文件名和日志写入的位置并记录在metadata文件中，以供恢复使用
3 start transaction with consistent snapshot; 开启读一致事务
4 启用n个（线程数可以指定，默认是4）dump线程导出表和表结构
5 备份非事务类型的表
6 主线程 unlock tables，备份完成非事务类型的表之后，释放全局只读锁
7 基于事务dump innodb tables
8 事务结束
四、mydumper的安装：
# yum install glib2-devel mysql-devel zlib-devel pcre-devel openssl-devel
# wget http://launchpad.net/mydumper/0.9/0.9.1/+download/mydumper-0.9.1.tar.gz
# tar zxvf mydumper-0.9.1.tar.gz -C ../software/
# cmake .
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
|
# cmake .-- The C compiler identification is GNU 4.8.5-- The CXX compiler identification is GNU 4.8.5-- Check forworking C compiler: /bin/cc-- Check forworking C compiler: /bin/cc-- works-- Detecting C compiler ABI info-- Detecting C compiler ABI info - done-- Check forworking CXX compiler: /bin/c++-- Check forworking CXX compiler: /bin/c++ -- works-- Detecting CXX compiler ABI info-- Detecting CXX compiler ABI info - done-- Using mysql-config: /bin/mysql_config-- Found MySQL: /usr/include/mysql, /usr/lib64/mysql/libmysqlclient.so;/usr/lib64/libpthread.so;/usr/lib64/libz.so;/usr/lib64/libm.so;/usr/lib64/libssl.so;/usr/lib64/libcrypto.so;/usr/lib64/libdl.so-- Found ZLIB: /usr/lib64/libz.so (found version "1.2.7") -- Found PkgConfig: /bin/pkg-config(found version "0.27.1") -- checking forone of the modules 'glib-2.0'-- checking forone of the modules 'gthread-2.0'-- checking formodule 'libpcre'-- found libpcre, version 8.32-- Found PCRE: /usr/include CMake Warning at docs/CMakeLists.txt:9 (message): Unable to findSphinx documentation generator-- -------------------------------------------------- MYSQL_CONFIG = /bin/mysql_config-- CMAKE_INSTALL_PREFIX = /usr/local-- BUILD_DOCS = ON-- WITH_BINLOG = OFF-- RUN_CPPCHECK = OFF-- Change a values with: cmake -D<Variable>=<Value>-- -------------------------------------------------- -- Configuring done-- Generating done-- Build files have been written to: /root/mydumper-0.9.1 |
# make
|
1
2
3
4
5
6
7
8
9
10
11
|
# make Scanning dependencies of target mydumper[ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o[ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o[ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.oLinking C executable mydumper[ 75%] Built target mydumperScanning dependencies of target myloader[100%] Building C object CMakeFiles/myloader.dir/myloader.c.oLinking C executable myloader[100%] Built target myloader |
# make install
|
1
2
3
4
5
6
7
8
9
|
# make install[ 75%] Built target mydumper[100%] Built target myloaderInstall the project...-- Install configuration: ""-- Installing: /usr/local/bin/mydumper-- Removed runtime path from "/usr/local/bin/mydumper"-- Installing: /usr/local/bin/myloader-- Removed runtime path from "/usr/local/bin/myloader" |
安装好之后 ，会生成两个文件：
|
1
2
|
/usr/local/bin/mydumper /usr/local/bin/myloader |
五、参数说明：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
-B, --database 要导出的数据库名-T, --tables-list 要导出的表名，多个表用逗号分隔。不支持正则表达式-o, --outputdir 导出数据文件存放的目录，mydumper会自动创建-s, --statement-size 生成插入语句的字节数, 默认1000000字节-r, --rows Try to split tables into chunks of this many rows. This option turns off --chunk-filesize-F, --chunk-filesize Split tables into chunks of this output file size. This value is in MB-c, --compress 压缩导出的文件-e, --build-empty-files 即使是空表也为表创建文件-x, --regex 使用正则表达式匹配'db.table'-i, --ignore-engines 忽略的存储引擎，多个存储引擎使用逗号分隔-m, --no-schemas 只导出数据，不导出建库建表语句-d, --no-data 仅仅导出建表结构，创建db的语句，不导出表的数据-G, --triggers 导出触发器-E, --events 导出events-R, --routines 导出存储过程和函数-k, --no-locks 不施加临时的共享读锁，会导致备份不一致--less-locking 最小化在innodb表上的锁表时间-l, --long-query-guard 设置长查询定时器，单位是秒，默认是60-K, --kill-long-queries Kill掉运行时间长的查询-D, --daemon 以守护进程的方式执行-I, --snapshot-interval 创建导出快照的时间间隔，默认是 60s ，该参数只有在守护进程执行的时候有用-L, --logfile 指定mydumper输出的日志文件，默认使用控制台输出--tz-utc SET TIME_ZONE='+00:00' at top of dump to allow dumping of TIMESTAMP data when a server has data in different time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc to disable.--skip-tz-utc --use-savepoints 使用savepoints减少对元数据锁定的问题，需要SUPER权限--success-on-1146 Not increment error count and Warning instead of Critical in case of table doesn't exist--lock-all-tables Use LOCK TABLE for all, instead of FTWRL-U, --updated-since Use Update_time to dump only tables updated in the last U days--trx-consistency-only Transactional consistency only-h, --host 主机-u, --user 用户名-p, --password 密码-P, --port 端口-S, --socket 套接字文件-t, --threads 所使用的线程数，默认是4-C, --compress-protocol 压缩协议-V, --version 显示版本后退出-v, --verbose 输出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认为2 |
六、mydump导出的文件类型
|
1
2
3
4
|
metadata :包含导出开始和结束时间，如果开启binlog会记录日志位置信息；如果启用gtid ，则记录gtid信息。 db.table.sql :数据文件，insert语句db.table-schema.sql :包含建表语句db-schema.sql :包含建库语句 |
posted on
浙公网安备 33010602011771号