（4.12）mysql备份还原——mysql逻辑备份之mysqldump
关键词：mysql逻辑备份介绍，mysqldump,mysqldump最佳实践
我的相关文章：https://www.cnblogs.com/gered/p/9721696.html
正文
1、mysql逻辑备份介绍
【1.1】备份内容：数据库的结构定义语句+数据内容的插入语句，备份出来的文件可以编辑
【1.2】使用场景：数据量较少的库，比较适合100G数据量以内的
逻辑备份的特点
（1）sql语句组成的文件，可以编辑截取部分单独使用。
（2）备份文件比物理文件小
（3）可以细化到表/表的内容
（4）速度慢
（5）可以跨平台恢复/迁移
2、逻辑备份工具
【1.1】mysqldump（单线程）、mysqlpump（多线程，5.7以后才有）：官方mysql备份工具
【1.2】mydumper：开源的基于mysqldump的一个优化，多线程，速度介于两者之间：主要用于Mariadb、Percona、官方的mysql
3、mysqldump工具介绍使用
备份可以包含的内容：
create database; create tables; insert into;
store procedure; trigger; function; events;
4、mysqldump常用参数释义
【最佳常用】
2、mysqldump | mysqlpump常用选项
-A | --all-databases：备份所有的库，数据超过30G都不太建议这样备份
-B | --databases：指定需要备份的库，多个库用逗号分隔。如果没有指定该选项，备份的模式是备份某库中的某张或多张表。使用该选项备份多个库时会在备份文件中创建CREATE DATABASE和USE DB_NAME的语句，这样导入数据就不用手动创建库了，但是备份单个库的时候是没有USE DB_NAME的，恢复数据时需要自行指定
--master-data={0|1|2}：备份时是否记录binlog position信息（备份时会先FTWRL获取快照读，接着SHOW MASTER STATUS获取binlog信息，最后UNLOCK开始真正的备份）。该选项有三个值，0为不记录binlog；1为记录binlog position信息并直接执行change master语句；2为记录相关信息但是进行注释，可以通过该信息自行决定是否启用，建议为2
--single-transaction：建议必加选项。对于Innodb引擎的表在备份时会先START TRANSACTION开启一个事务，备份基于这个事务快照进行，保证了数据一致性的同时让数据能正常更新。该选项对非InnoDB引擎无效。
-F | --flush-logs：备份前会刷新binlog文件，这样备份操作之后产生的数据都记录在新的binlog中，方便以后使用备份文件+二进制日志进行数据恢复
--triggers：备份时包含触发器，该选项默认开启，--skip-triggers为关闭
--routines：备份时包含存储过程和函数
--set-gtid-purged=OFF：该选项默认为ON，代表如果数据库有开启GTID，则备份的时候会带上GTID信息。
但是这样的备份文件在进行数据恢复的时候需要注意，如果目标数据库没有开启GTID模式是可以直接导入的，如果目标数据库开启GTID模式且已经有一条或一条以上的GTID，需要执行RESET MASTER语句清空了GTID信息才可以恢复数据
--where：指定过滤条件进行备份，如只备份某一年的数据
--ignore-table：忽略指定的表，该选项值的格式为dbname.tablename
--add-drop-database：在备份文件中为每个数据库增加一个DROP DATABASE IF EXISTS语句
--max_allowed_packet=64M：备份时服务端往客户端传输数据时包的大小限制
--dump-slave：传统复制架构下在从库进行备份时需要加上该选项，记录主库的binlog位置，否则将是从库的位置
-d | --no-data：只备份表结构，不包含数据
--no-create-db：不生成create database语句
--no-create-info：不生成create table语句
–skip-extended-insert：备份文件中的INSERT语句一次只插入一行，而不会进行合并
-x | --lock-all-tables：备份前锁定所有库的所有表使其只读，避免备份过程中产生了新的写请求，通常用于MyISAM引擎，如果是对单个数据库锁定的话则是--lock-tables
--default-parallelism：mysqlpump专用，指定备份并行线程数，默认是2
--compress-output：mysqlpump专用，指定压缩方式，如zlib。压缩后的备份文件需要先解压才能还原。
--exclude-databases：mysqlpump专用，备份时排除指定的数据库
--exclude-tables：mysqlpump专用看，备份时排除指定的表
--users：mysqlpump专用，备份时可以附带备份数据库中的用户信息。可以使用该选项来备份数据库中的所有用户，只需要在备份的时候用exclude排除掉所有库即可
【4.1】服务器相关的常用参数
【4.1.1】mysqldump客户端读取 读取my.cnf下的 [client] 以及 [mysqldump]
【4.2.2】基本形式
mysqldump -uroot -p'123456' -h192.168.1.105 -P3306
-u --user
-p --password
-h --host
-P --port
--protocol=tcp,socket,momory
--max-allowed-packet
--net-buffer-length
【4.2】备份内容的常用参数
#可以备份 #所有的库、几个库、一个库、一个表、几个表、一个表的内容、存储过程、函数、触发器、调度事件 -A --all -databases -B --databases #-B test test1备份test库和test1库 -y --all-tablespaces #备份所有表空间 -n --no-create-db #不导出数据库创建语句 -t --no-create-info #不到处表结构创建语句 -d --no-data #不导出数据，只导出表结构 -R --routines #导出存储过程和函数，默认不导出 --triggers #导出触发器，默认导出 --skip-triggers #不导出触发器 -E --events #导出调度事件，默认不导出 --ignore-table #不导出某个库的某个表，或者不导出几个表test.test101 -w --where='' #导出满足条件的内容数据
【4.3】备份与实务和锁相关的选项
【4.3.1】--single-transaction （实际导出，就是给正在导出的锁+全局X锁，然后导完之后再解锁）
#--single-transaction参数的作用，设置事务的隔离级别为可重复读，即REPEATABLE READ
#可以得到一致性的导出结果。只针对Innodb，导出过程中不允许运行表的DDL。因为实务持有表的metadata lock的共享锁，而DDL会申请元数据库的排它锁（X锁），所以会阻塞。 #--single-transaction还会关掉你默认的--lock-tables选项（即不加锁），因为mysqldump默认会打开一个lock-table锁住所有的表。那么只能加--master-data才能加锁。
【4.3.2】--lock-tables #默认打开的，在这个锁表时导一个锁一个，导完解锁。 【4.3.3】--lock-all-tables #会把所有的表都给锁了，慢慢导，导完解锁。【1】【2】【3】互斥。 【4.3.4】--flush-logs #导出数据时，刷新二进制日志，达到一致性导出。 【4.3.5】--flush-privileges #导出权限语句到备份文件 【4.3.6】--master-data #有3个值（0,1,2） （0）：默认是0，不写入binlog日志记录 （1）：在dump出来的文件中有这么个语句。change master to ...pos 等记录binlog文件及终点。 （2）：#change master to ...pos 等记录binlog文件及终点。（注释掉）
【4.3.7】综合使用一下
mysqldump -uroot -p --single-transaction --master-data=2 --fulsh-privileges --routines
【4.4】与复制相关的参数
【4.4.1】--master-data
#有3个值（0,1,2）
（0）：默认是0，不写入binlog日志记录
（1）：在dump出来的文件中有这么个语句。change master to ...pos 等记录binlog文件及终点。
（2）：#change master to ...pos 等记录binlog文件及终点。（注释掉）
【4.4.2】--dump-slave #从库上使用的，和--master-data参数一样，是为了slave建立下一级的slave 【4.4.3】--apply-slave-statements #和master-data=1类似 【4.4.4】--include-master-host-port #结合--dump-slave=1/2在导出中加入host和port 【4.4.5】--delete-master-logs #在备份后，删除主库的二进制日志，默认打开--master-data=2 【4.4.6】--set-gtid-purged=OFF
#清理gtid，用于在gtid环境下使用，OFF为不记录 GTID信息，以原生语句形态生成； 为On 就会跳过许多gtid，避免该进程多次运行；
加了--set-gtid-purged=OFF时，在会记录binlog日志，如果不加，不记录binlog日志；
所以在我们做主从用了gtid时，用mysqldump备份时就要加--set-gtid-purged=OFF，否则你在主上导入恢复了数据，主没有了binlog日志，同步则不会被同步。
【4.5】与字符集相关的选项
【4.5.1】--set-charset #默认开启，--set-charset=1/0，是否开启字符集 【4.5.2】--default-character-set #指定是什么字符集，utf8,gbk,utf8mb4 【4.5.3】-N --no-set-names #关闭--set-charset
【4.6】控制是否生成DDL语句的选项
【4.6.1】--add-drop-database #如果存在则删除数据库，并且有创建数据库语句，不存在直接新建 【4.6.2】--add-drop-table #默认打开，可以使用--skip-add-drop-table 禁用 【4.6.3】--add-drop-trigger #如果存在则删除，然后就新建，不存在直接新建 【4.6.4】-n --no-create-db #不生成创建数据库语句 【4.6.5】-t --no-create-info #不生成创建表结构语句
【4.7】其他参数
【1】--default-character-set=utf8 #默认使用该字符集导出 【2】-B #指定数据库，会加上建库与库使用语句 【3】--compact #减少备份文件垃圾信息（但会丢数据，生产不可用） 【4】数据库名|gzip #压缩备份文件 【5】-d #只备份表结构 【6】-t #只备份表数据 【7】 -A #all-databases的意思，备份所有数据库（以及表、用户等等所有数据） 【8】-F #重新生成binlog日志 【9】-R #备份存储过程、触发器 【10】-f --force #强制执行，忽略单个错误
【11】--log-error=/tmp/bak_errlog.log #指定导出过程中的错误日志 【12】--compatible=(oracle/mssql/postgresql) #导出兼容其他数据库的备份
【4.8】让insert into values(),(),() 变成每个行一个 insert
我得到如下的INSERT语句：
INSERT INTO `table` VALUES (1,'something'),(2,'anything'),(3,'everything');
我想要这样的：
INSERT INTO `table` VALUES (1,'something'); INSERT INTO `table` VALUES (2,'anything'); INSERT INTO `table` VALUES (3,'everything');
解决：
#加这个参数 mysqldump --extended-insert=FALSE
【4.9】mysqldump出来的导入慢
5、mysqldump演示（基本用法）
#如果，不加--database 或者-B ，则不会有创建数据库相关语句
【5.1】导出所有的数据库（库+表结构+数据） mysqldump -uroot -proot -A >all_db_data.bak mysqldump -uroot -proot --all-databases >all_db_data.bak 【5.2】导出所有的数据库（库+表结构，不包含数据） mysqldump -uroot -proot -A --no-data >/backup/all_db.bak 【5.3】导出某一个表（结构+数据，库表：test.test1） mysqldump -uroot -proot test test1 > test_test1.bak 【5.4】导出某一个表（只有表结构，没有数据） mysqldump -uroot -proot --no-data test test1 > test_test1.bak 【5.5】导出多个表（结构+数据） mysqldump -uroot -proot test test1 test2 >test_2tab.bak 【5.6】不导出表结构（只有数据，没有结构） mysqldump -uroot -proot --no-create-info test test1>test1_data.bak 【5.7】导出单个数据库（结构+数据） mysqldump -uroot -proot --database test > test_db.bak 【5.8】导出多个数据库（结构数据） mysqldump -uroot -proot --database test testdb2 >test_2db.bak 【5.9】导出单个数据库（只有结构，没有数据） mysqldump -uroot -proot --no-data --database test >test_db.bak 【5.10】导出单个数据库（只有数据，没有结构） mysqldump -uroot -proot --no-create-db --no-create-info --database test >test_data.bak 【5.11】导出单个数据库（排除某个表） mysqldump -uroot -proot --database test --ignore-table=test.test1 >test_no_tab_test1.bak 【5.12】导出某个表的某一些数据（根据条件导出数据） mysqldump -uroot -proot test test1 --where="id>10" >test_where.bak
【5.13】导出所有的数据库（库+表结构+数据+函数+存储过程+调度事件）
mysqldump -uroot -proot -R -E --all-databases >all_object_db.bak
【5.14】导出所有数据库（数据一致+导出权限+刷新日志+函数及存储过程）
mysqldump -uroot -proot --single-transaction --master-data=2 --flush-logs --flush-privileges --routines --all-databases > all_data.bak
6、大致实现原理
【6.1】连接mysql
【6.2】初始化信息
【6.3】刷新表（加一个全局共享锁，很快，是一个短暂的全局共享锁）
【6.4】记录偏移量
【6.5】开启事务（一致性快照）
【6.6】记录偏移量
【6.7】解锁表
【6.8】查看要备份的表
【6.9】开始备份所有的数据
【6.10】分析mysqldump事务和锁的原理
【6.10.1】--lock-tables
#会在整个导出过程中加lock read local所有的表。innodb别人只能读，myisam可以读和插入，但不能update
【6.10.2】--lock-all-tables
#请求一个全局的读锁，别人只能读。保证数据的一致性，备份完后会话断开，自动解锁。
【6.10.3】--single-transaction
#单独使用，不会有任何锁，但是会对备份的表有元数据共享锁（即不能DDL）
【6.10.4】--single-transaction 和 --master-data一起用
#结合使用时，在开始的使用会短暂的请求一个全局的读锁，会组织所有表的写入操作。
7、mysqldump最佳实践
【7.1】备份
【7.1】全备（不锁表）
--skip-add-drop-table 生产中尽量使用这个选项，避免出现 DROP TABLE IF EXISTS `test`;导致生产事故
【innodb】mysqldump -uroot -proot --single-transaction --master-data=2 --flush-logs --flush-privileges --routines --all-databases > all_data.bak
【myisam】mysqldump -uroot -proot --lock-all-tables --master-data=2 --flush-logs --flush-privileges --routines --all-databases > all_data.bak
PS：上面的默认不会备份系统数据库
【备份系统数据库innodb】mysqldump -uroot -proot --skip-lock-tables --databases performance_schema information_schema sys mysql >system_db.bak
#加上--flush-privileges 其实就是备份了mysql库（权限库）
【7.2】部分数据库（innodb）
【innodb】mysqldump -uroot -proot --single-transaction --master-data=2 --flush-logs --routines --all-databases > some_db_data.bak
#这个时候就不太适合用--flush-privileges了，因为可能还原时，已经有mysql权限库了，可能会引起冲突
【innodb】mysqldump -uroot -proot --flush-privileges --databases mysql > mysql_db_data.bak
#可以单独备份mysql库的权限
PS:有必要的时候，加上default-character-set=utf8/utf8mb4
【7.3】关于增量（binlog）：将binlog日志保存起来，保存之前刷新日志。
fulsh logs;
or
mysqladmin -uroot -proot flush logs
【7.4】导出权限数据（该部分转载引用自：https://www.cnblogs.com/gaogao67/p/10372279.html）
【7.2】提取权限表
版本
相关参考：https://www.cndba.cn/kunjian/article/3371?tdsourcetag=s_pctim_aiomsg #（1）mysql5.7 以上 hostname='127.0.0.1' port=3306 username='root' password='123456' echo "select concat('show create user ''',user,'''@''',host, ''';','show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root'" | \ mysql --host=$hostname --user=$username --password=$password --port=$port -N | \ mysql --host=$hostname --user=$username --password=$password --port=$port -N | \ sed "s/$/;/" > /tmp/create-users.sql
简洁版
echo "select concat('show create user ''',user,'''@''',host, ''';','show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root' and host!='localhost';"| \
mysql -N| mysql -N|sed "s/$/;/" >/data/backup/mysql_userinfo.sql
#（2）mysql5.6 hostname='127.0.0.1' port=3358 username='root' password='abc@123.com' mysql_exe="/export/servers/mysql/bin/mysql" echo "select concat('show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root'" | \ ${mysql_exe} --host=$hostname --user=$username --password=$password --port=$port -N | \ ${mysql_exe} --host=$hostname --user=$username --password=$password --port=$port -N | \ sed "s/$/;/" > /tmp/create-users.sql
通用：解决跨版本问题
echo "select concat('create user ''',user,'''@''',host,''' identified with ''mysql_native_password'' as ''',password,''';') from mysql.user where user<>'root';"|mysql -N>users.sql echo "select concat('show grants for ''',user,'''@''',host, ''';') from mysql.user where user <>'root'" |mysql -N|mysql -N|sed 's#IDENTIFIED.*$##g'|sed 's#$#;#g' >>users.sql
【7.3】压缩备份与还原
导出 mysqldump -hhostname -uusername -ppassword databasename | gzip > databasename-`date +%Y-%m-%d`.sql.gz 导入 gunzip < databasename-2018-07-25.sql.gz | mysql -uroot -proot databasename
【7.4】从全库备份中提取某个库的、某个表的sql
注意，这样的话没有dump文件头部那些参数，根据情况自己斟酌，不过一般也不需要；
库：
sed -n '/^-- Current Database: `test`/,/^-- Current Database: `/p' fulldump.sql > test.sql
表：
sed -n '/^-- Table structure for table `t_a_payback`/, /^-- Table structure for table/p' full.sql > t_a_payback.sql
这种方法适合dump文件相对较小的情况，否则可能需要处理很长时间，而且一定不能用在线服务的机器处理，搞不好会因为内存不够用导致其他应用程序crash的，谨慎。
【7.5】提取非系统库，备份
db=`mysql -e "select replace(group_concat(schema_name),',',' ') from information_schema.schemata where schema_name not in ('mysql','performance_schema','information_schema','sys');" -N` mysqldump --set-gtid-purged=ON --single-transaction --flush-privileges --default-character-set=utf8mb4 --master-data=2 --flush-logs --triggers --routines --events --databases ${db} 1> all_`date +%Y%m%d`.sql 2>/tmp/mysqldump_error.log
【7.6】小技巧
##导出时设置 mysqldump --net-buffer-length=16M，这样保证导出的sql文件中单个 multiple-row INSERT 大小为 16M mysqldump -h127.0.0.1 -P13306 -uroot -proot --net-buffer-length=16M \ --set-gtid-purged=off sbtest sbtest1 > /data/backup/sbtest1.sql
【mysqldump生产环境自动化备份案例】
（1）完备
【8.1】线上数据库完整备份场景 （1）全备：每天业务最不繁忙的时候（比如凌晨2-4点）执行全备脚本 （2）增量：每天中午的周期flush logs一下，然后备份binlog日志 前提： （1）一定要打开binlog日志功能 （2）准备目录空间与存储（最好不要把备份与数据库文件放在同一磁盘上，这样更安全+磁盘IO性能更高） mkdir -p /mysql/backup/backup-db mkdir -p /mysql/backup/backup-binlog chown -R mysql:mysql /mysql/backup/ chomd -R 775 /mysql/backup/
自动完备
DataBakDir=/mysql/backup/backup-db/ LogOutFile=/mysql/backup/backup-db/bak-db.log mysql_host='127.0.0.1' mysql_port=3306 mysql_user='root' mysql_pass='123456' Date=`date +%Y%m%d` Begin=`date +%Y%m%d_%H%M%S` DumpFile="dbbackup_alldb_${Date}.sql" GzDumpFile="${DumpFile}.gz" DbName="--all-databases" SystemDb="dbbackup_SystemDb_${Date}.sql.gz" error_file="dbbackup.err" if [ ! -d ${DataBakDir} ];then mkdir -p ${DataBakDir}
chown -R mysql:mysql ${DataBakDir}
chown -R 775 ${DataBakDir} fi if [ ! -f ${LogOutFile} ];then touch ${LogOutFile} fi echo "${Begin} begin run!">${LogOutFile} /mysql/app/mysql/bin/mysqldump -u${mysql_user} -p${mysql_pass} -h${mysql_host} ${DbName} --default-character-set=utf8 --single-transaction --master-data=2 --routines --flush-logs --flush-privileges 1>${DataBakDir}${DumpFile} 2>${DataBakDir}${error_file} /mysql/app/mysql/bin/mysqldump -u${mysql_user} -p${mysql_pass} -h${mysql_host} --default-character-set=utf8 --skip-lock-tables --databases performance_schema information_schema sys mysql|gzip 1>${DataBakDir}${SystemDb} 2>${DataBakDir}${error_file} end=`date +%Y%m%d_%H%M%S` echo "${end} end script!">${LogOutFile}
find ${DataBakDir} -mtime +10 -name "*.gz" -exec rm -rf {}\
mysql全备+binlog备参考脚本：
## 注意 各种目录创建及相关参数设置 ## 设置 /root/dba/binlog_control.txt，记录binlog文件时间，获取时间命令：stat -c %y mysql_mmm_01-bin.000013 ## 设置 /root/dba/fullbak_file.txt，记录全备目录，第一次执行时，需设置一个目录来存放备份前产生的binlog，之后每次全备会自动更新该文件 ---------------------------full_backup：mysql_full_backup.sh---------------------------------------- #!/bin/bash #mysql param user="root" passwd="123456" socket="/data/mysql/run/mysql.sock" port=3306 bk_options="--single-transaction --flush-logs -u$user -p$passwd --master-data=2 --all-databases --socket=$socket --port=$port" #log file dtime=`date +%Y%m%d%H%M%S` log_base="/root/dba/logs" log_file="$log_base/full_backup_${dtime}.log" #control file contr_file="/root/dba/binlog_control.txt" fullbak_file="/root/dba/fullbak_file.txt" #full backup dir bk_dir_suffix=`date +%Y%m%d` full_dir="/backup/mysql_bak/mysql_$bk_dir_suffix" [ -d ${full_dir} ] || mkdir -p ${full_dir} echo "mkdir full backup dir : $full_dir" >> $log_file #full backup file full_bk_file="mysql_full_$bk_dir_suffix.sql" #mysqldump cd $full_dir mysqldump $bk_options > $full_bk_file echo "full backup file : $full_bk_file" >> $log_file #backup flush logs--binlog to previous full backup /root/dba/mysql_binlog_backup_new.sh #update fullbak_file control file echo $full_dir > $fullbak_file ---------------------------binlog_backup：mysql_binlog_backup_new.sh------------------------------------------------------- #!/bin/bash #mysql user="root" passwd="123456" socket="/data/mysql/run/mysql.sock" port=3306 #log file dtime=`date +%Y%m%d%H%M%S` log_base="/root/dba/logs" log_file="$log_base/binlog_backup_${dtime}.log" #control file contr_file="/root/dba/binlog_control.txt" fullbak_file="/root/dba/fullbak_file.txt" #binlog path binlog_path="/data/mysql/binlog/" #binlog file format binlog_format="mysql_mmm_01-bin.*[0-9]*" #binlog backup dir dest_dir=`cat $fullbak_file` #current binlog curr_binlog=`mysql -u$user -p$passwd --socket=$socket --port=$port -e 'show master status\G'|grep "File"|awk '{print $2}'` echo "Current binlog : $curr_binlog">>$log_file #current binglog file time currbinlog_time=`stat -c %y $binlog_path$curr_binlog` echo "Current binlog time : $currbinlog_time">>$log_file #lastest backup binlog file time previous_time=`cat $contr_file` echo "Previous time : $previous_time">>$log_file # ! -name "*$curr_binlog*" exclude current binglog bk_count=`find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|wc -l` echo "backup files count : $bk_count">>$log_file if [ $bk_count -gt 0 ];then find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|xargs ls -t>>$log_file #find the newest bakup file last_file=`find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time"|xargs ls -t|head -n 1` #newest backup file time last_file_time=`stat -c %y $last_file` echo $last_file_time > $contr_file #cp files find -L $binlog_path -name "$binlog_format" ! -name "*$curr_binlog*" -newermt "$previous_time" ! -newermt "$currbinlog_time" -exec cp {} $dest_dir \; fi find $log_base -mtime +15 -exec rm -f {} \; --------------------------------------------------------------------------------
（2）简便全备
#!/bin/bash source /etc/profile exec 1>>/data/backup/backup.log exec 2>&1 echo "------- Backup begin: `date +%F__%T` ---------------" db=`mysql -e "select replace(group_concat(schema_name),',',' ') from information_schema.schemata where schema_name not in ('mysql','performance_schema','information_schema','sys');" -N` # backup user's db mysqldump --set-gtid-purged=OFF --single-transaction --flush-privileges --default-character-set=utf8mb4 --master-data=2 --flush-logs --triggers --routines --events --databases ${db} 1> all_`date +%Y%m%d`.sql # backup mysql user info mysqldump --set-gtid-purged=OFF --single-transaction --flush-privileges --default-character-set=utf8mb4 --master-data=2 --flush-logs --triggers --routines --events --databases mysql 1> mysql_`date +%Y%m%d`.sql find /data/backup/*.sql -type f -mtime +6 -exec rm -r {} \; echo "------- Backup end: `date +%F__%T` ---------------"
（3）备份最近一天有修改的库
#!/bin/bash source /etc/profile exec 1>>/data2/backup/backup.log exec 2>&1 file_name=$(date +"%Y-%m-%d-%H-%M-%S").sql db=(`find /data/mysql -type f \( -name "*.ibd" -o -name "*.MYD" \) -mmin -1440|awk -F "/" '{print $4}'|uniq `) #db=`mysql -uroot -pbfgame20 -N -e"select SCHEMA_NAME from information_schema.schemata where schema_name not in ('performance_schema','information_schema','test','qqsg_log','sgscq_activity') and schema_name not like '%_log'" -Bs ` echo "start" date find /data2/backup/*.sql -type f -mtime +2 -exec rm -r {} \; time mysqldump -uroot -pbfgame20 -S /data/mysql/mysql.sock --set-gtid-purged=OFF --single-transaction --master-data=2 --triggers --routines --events --database ${db[@]}>/data2/backup/$file_name echo "end" date
（4）生产最佳实践
#!/bin/bash set -e # 配置mysql路径 # MYSQL='/usr/local/mysql/bin/mysql' MYSQL='mysql' # 配置mysqldump路径 # MYSQLDUMP='/usr/local/mysql/bin/mysqldump' MYSQLDUMP='mysqldump' # 配置mysqldump全备或部分备份时使用的选项 DUMP_OPTION=' --single-transaction --master-data=2 --set-gtid-purged=off --flush-privileges --lock-tables --flush-logs --triggers --routines --events --hex-blob ' # 配置备份保留的默认天数。这里只是一个默认值，如果命令行中提供了-r (retention)选项，将忽略该配置。 RETENTION=7 # show databases function get_db() { "${MYSQL}" ${mysql_dsn} -BNe 'show databases' } while getopts ':u:p:S:d:B:I:E:r:' opt do case $opt in u) user="$OPTARG" ;; p) password="$OPTARG" ;; S) usock="$OPTARG" ;; d) backup_dir="$OPTARG" ;; B) backup_dbnames="$OPTARG" ;; I) ignore_regex="$OPTARG" ;; E) extra_option="$OPTARG" ;; r) retention="$OPTARG" ;; ?) echo "[Error] unrecognized option '$OPTARG'." exit 1 ;; esac done # 处理参数 mysql_dsn="-u${user:-root} -p${password:-a123456} -S${usock:-/data/mysql/mysql.sock}" backup_dir="${backup_dir:-/data/backup}" if [ -n "${ignore_regex}" ] then backup_dbnames=( $(echo "${backup_dbnames:-$(get_db)}" | tr -- ' \t\r\n' '\n' | grep -Ev "${ignore_regex}" || true) ) backup_dbnames=$(echo "${backup_dbnames[@]}") fi retention=${retention:-${RETENTION}} # 开始备份 echo "`date` - [info] start backup ..." backup_serial=$(date +"%Y%m%d_%H%M%S") if [ -z "${backup_dbnames}" ] then # 全备 echo "${MYSQLDUMP} .... ${DUMP_OPTION} ${extra_option} --all-databases > ${backup_dir}/full_dump-${backup_serial}.sql" ${MYSQLDUMP} ${mysql_dsn} ${DUMP_OPTION} ${extra_option} --all-databases > "${backup_dir}/full_dump-${backup_serial}.sql" else # 备份部分库 echo "${MYSQLDUMP} .... ${DUMP_OPTION} ${extra_option} --databases ${backup_dbnames} > ${backup_dir}/part_dump-${backup_serial}.sql" ${MYSQLDUMP} ${mysql_dsn} ${DUMP_OPTION} ${extra_option} --databases ${backup_dbnames} > "${backup_dir}/part_dump-${backup_serial}.sql" fi echo "`date` - [succ] backup is complete." # 清理备份文件 # 指定备份保留天数，配置时请考虑边界问题。 # 另外因为先备后删，建议保留天数至多为：(磁盘空闲空间大小 / 单个备份文件大小) - 2 echo "`date` - [info] clean up backup files ..." find "${backup_dir}" -maxdepth 1 -type f -mtime +"${retention}" -name '*.sql' -ls -exec rm {} \; echo "`date` - [succ] cleaning is complete."
（5）迁移后表行数对比
echo 'create database test if not exists;'>>checktable.sql echo 'drop table if exists test.table_info;'>>checktable.sql echo 'create table test.table_info(table_schmea varchar(100),table_name varchar(100),rows int);'>>checktable.sql mysql -e "select concat('insert into test.table_info select ''',table_schema,''',''',table_name,''',count(*) as rows from ',table_schema,'.',table_name,';') from information_schema.tables \ where table_name in ('player','player_bag','player_attribute','player_hero','player_login_info','pay_order') ; " -N >> checktable.sql
mysql < checktable.sql
【8】增量备份最佳实践
（8.1）增量备份binlog
#!/bin/bash #在使用之前，请提前创建以下各个目录 backupDir=/usr/local/work/backup/daily #增量备份时复制mysql-bin.00000*的目标目录，提前手动创建这个目录 mysqlDir=/var/lib/mysql #mysql的数据目录 logFile=/usr/local/work/backup/bak.log BinFile=/var/lib/mysql/mysql-bin.index #mysql的index文件路径，放在数据目录下的 mysqladmin -uroot -p123456 flush-logs #这个是用于产生新的mysql-bin.00000*文件 # wc -l 统计行数 # awk 简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 Counter=`wc -l $BinFile |awk '{print $1}'` NextNum=0 #这个for循环用于比对$Counter,$NextNum这两个值来确定文件是不是存在或最新的 for file in `cat $BinFile` do base=`basename $file` echo $base #basename用于截取mysql-bin.00000*文件名，去掉./mysql-bin.000005前面的./ NextNum=`expr $NextNum + 1` if [ $NextNum -eq $Counter ] then echo $base skip! >> $logFile else dest=$backupDir/$base if(test -e $dest) #test -e用于检测目标文件是否存在，存在就写exist!到$logFile去 then echo $base exist! >> $logFile else cp $mysqlDir/$base $backupDir echo $base copying >> $logFile fi fi done echo `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup succ! >> $logFile
【9】mysqldump中的坑！
【9.1】set-gtid-pruged=on 中的 set session sql_log_bin=0
在加 set-gtid-pruged=on 时，dump文件中会自动出现 set session sql_log_bin=0；
这对于我们一些有从库主而言，就是灾难，从不会同步这部分因为没记录binlog；
【9.2】nohup mysqldump &引起的 warning 也会输出的dump 文件
这种情况，应用dump文件会报错，因为一些 Warnings 信息也会输出到 dump 文件中去；
最好就是 1 2 的输出分开，如下：
mysqldump --set-gtid-purged=OFF --single-transaction --lock-tables --flush-privileges --master-data=2 --flush-logs \
--triggers --routines --events --hex-blob --max_allowed_packet=67108864 --databases webshop > webshop_`date +%Y%m%d`.sql 2>/tmp/mysqldump_error.log
【9.3】MYISAM表引起的，从库找不到对应行对应Key问题
在mysqldump的时候，--single-transaction 只针对 Innodb 引起有效，而 myisam 获取并不是一致的时间点，所以可能会产生 dump期间有数据插入 或更新等等；
最终引起主库有数据，dump出来的从库，gtid 执行事务的时候，找不到对应的记录；
真是巨坑
解决：就是同时使用
--single-transaction --lock-tables -
【10】windows全量、增量备份最佳实践
全备
set mysql_home=C:\Program Files\MySQL\MySQL Server 5.7\bin
set date1=%date:~10,4%%date:~4,2%%date:~7,2%
forfiles /p "E:\backup" /s /m *.* /d -14 /c "cmd /c del @path"
cd %mysql_home%
mysqldump -uroot -pxxx@# --single-transaction --flush-logs --master-data=2 --delete-master-logs --databases apc_sfdc_db -R -q> E:\backup\full_apc_sfdc_db%date1%.sql
mysqldump -uroot -pxxx@# --single-transaction --flush-logs --master-data=2 --delete-master-logs --databases apc_sfdc_sandbox -R -q> E:\backup\full_apc_sfdc_sandbox%date1%.sql
增量
set PATH="C:\Program Files\WinRAR";%PATH% set MYSQLPATH="C:\Program Files\MySQL\MySQL Server 5.7" set BAKPATH=E:\backup set USERNAME=root set PASSWORD="xxx" mkdir %BAKPATH%\data %MYSQLPATH%\bin\mysqladmin -u%USERNAME% -p%PASSWORD% flush-logs xcopy /e /c /h /y E:\Data\mysql-bin.* %BAKPATH%\data rar a -ag %BAKPATH%\diff\ %BAKPATH%\data\mysql-bin.* rmdir /s /q %BAKPATH%\data\ @echo %date% %time% dIncremental bakup finish >> E:\backup\log\mysqlbakup.log
mysqldump参数大全
--all-databases , -A 导出全部数据库。 mysqldump -uroot -p --all-databases --all-tablespaces , -Y 导出全部表空间。 mysqldump -uroot -p --all-databases --all-tablespaces --no-tablespaces , -y 不导出任何表空间信息。 mysqldump -uroot -p --all-databases --no-tablespaces --add-drop-database 每个数据库创建之前添加drop数据库语句。 mysqldump -uroot -p --all-databases --add-drop-database --add-drop-table 每个数据表创建之前添加drop数据表语句。(默认为打开状态，使用--skip-add-drop-table取消选项) mysqldump -uroot -p --all-databases (默认添加drop语句) mysqldump -uroot -p --all-databases –skip-add-drop-table (取消drop语句) --add-locks 在每个表导出之前增加LOCK TABLES并且之后UNLOCK TABLE。(默认为打开状态，使用--skip-add-locks取消选项) mysqldump -uroot -p --all-databases (默认添加LOCK语句) mysqldump -uroot -p --all-databases –skip-add-locks (取消LOCK语句) --allow-keywords 允许创建是关键词的列名字。这由表名前缀于每个列名做到。 mysqldump -uroot -p --all-databases --allow-keywords --apply-slave-statements 在'CHANGE MASTER'前添加'STOP SLAVE'，并且在导出的最后添加'START SLAVE'。 mysqldump -uroot -p --all-databases --apply-slave-statements --character-sets-dir 字符集文件的目录 mysqldump -uroot -p --all-databases --character-sets-dir=/usr/local/mysql/share/mysql/charsets --comments 附加注释信息。默认为打开，可以用--skip-comments取消 mysqldump -uroot -p --all-databases (默认记录注释) mysqldump -uroot -p --all-databases --skip-comments (取消注释) --compatible 导出的数据将和其它数据库或旧版本的MySQL 相兼容。值可以为ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_tables_options、no_field_options等， 要使用几个值，用逗号将它们隔开。它并不保证能完全兼容，而是尽量兼容。 mysqldump -uroot -p --all-databases --compatible=ansi --compact 导出更少的输出信息(用于调试)。去掉注释和头尾等结构。可以使用选项：--skip-add-drop-table --skip-add-locks --skip-comments --skip-disable-keys mysqldump -uroot -p --all-databases --compact --complete-insert, -c 使用完整的insert语句(包含列名称)。这么做能提高插入效率，但是可能会受到max_allowed_packet参数的影响而导致插入失败。 mysqldump -uroot -p --all-databases --complete-insert --compress, -C 在客户端和服务器之间启用压缩传递所有信息 mysqldump -uroot -p --all-databases --compress --create-options, -a 在CREATE TABLE语句中包括所有MySQL特性选项。(默认为打开状态) mysqldump -uroot -p --all-databases --databases, -B 导出几个数据库。参数后面所有名字参量都被看作数据库名。 mysqldump -uroot -p --databases test mysql --debug 输出debug信息，用于调试。默认值为：d:t,/tmp/mysqldump.trace mysqldump -uroot -p --all-databases --debug mysqldump -uroot -p --all-databases --debug=” d:t,/tmp/debug.trace” --debug-check 检查内存和打开文件使用说明并退出。 mysqldump -uroot -p --all-databases --debug-check --debug-info 输出调试信息并退出 mysqldump -uroot -p --all-databases --debug-info --default-character-set 设置默认字符集，默认值为utf8 mysqldump -uroot -p --all-databases --default-character-set=utf8 --delayed-insert 采用延时插入方式（INSERT DELAYED）导出数据 mysqldump -uroot -p --all-databases --delayed-insert --delete-master-logs master备份后删除日志. 这个参数将自动激活--master-data。 mysqldump -uroot -p --all-databases --delete-master-logs --disable-keys 对于每个表，用/*!40000 ALTER TABLE tbl_name DISABLE KEYS */;和/*!40000 ALTER TABLE tbl_name ENABLE KEYS */;语句引用INSERT语句。这样可以更快地导入dump出来的文件，因为它是在插入所有行后创建索引的。该选项只适合MyISAM表，默认为打开状态。 mysqldump -uroot -p --all-databases --dump-slave 该选项将主的binlog位置和文件名追加到导出数据的文件中(show slave status)。设置为1时，将会以CHANGE MASTER命令输出到数据文件；设置为2时，会在change前加上注释。该选项将会打开--lock-all-tables，除非--single-transaction被指定。该选项会自动关闭--lock-tables选项。默认值为0。 mysqldump -uroot -p --all-databases --dump-slave=1 mysqldump -uroot -p --all-databases --dump-slave=2 --master-data 该选项将当前服务器的binlog的位置和文件名追加到输出文件中(show master status)。如果为1，将会输出CHANGE MASTER 命令；如果为2，输出的CHANGE MASTER命令前添加注释信息。该选项将打开--lock-all-tables 选项，除非--single-transaction也被指定（在这种情况下，全局读锁在开始导出时获得很短的时间；其他内容参考下面的--single-transaction选项）。该选项自动关闭--lock-tables选项。 mysqldump -uroot -p --host=localhost --all-databases --master-data=1; mysqldump -uroot -p --host=localhost --all-databases --master-data=2; --events, -E 导出事件。 mysqldump -uroot -p --all-databases --events --extended-insert, -e 使用具有多个VALUES列的INSERT语法。这样使导出文件更小，并加速导入时的速度。默认为打开状态，使用--skip-extended-insert取消选项。 mysqldump -uroot -p --all-databases mysqldump -uroot -p --all-databases--skip-extended-insert (取消选项) --fields-terminated-by 导出文件中忽略给定字段。与--tab选项一起使用，不能用于--databases和--all-databases选项 mysqldump -uroot -p test test --tab=”/home/mysql” --fields-terminated-by=”#” --fields-enclosed-by 输出文件中的各个字段用给定字符包裹。与--tab选项一起使用，不能用于--databases和--all-databases选项 mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#” --fields-optionally-enclosed-by 输出文件中的各个字段用给定字符选择性包裹。与--tab选项一起使用，不能用于--databases和--all-databases选项 mysqldump -uroot -p test test --tab=”/home/mysql” --fields-enclosed-by=”#” --fields-optionally-enclosed-by =”#” --fields-escaped-by 输出文件中的各个字段忽略给定字符。与--tab选项一起使用，不能用于--databases和--all-databases选项 mysqldump -uroot -p mysql user --tab=”/home/mysql” --fields-escaped-by=”#” --flush-logs 开始导出之前刷新日志。 请注意：假如一次导出多个数据库(使用选项--databases或者--all-databases)，将会逐个数据库刷新日志。除使用--lock-all-tables或者--master-data外。在这种情况下，日志将会被刷新一次，相应的所以表同时被锁定。因此，如果打算同时导出和刷新日志应该使用--lock-all-tables 或者--master-data 和--flush-logs。 mysqldump -uroot -p --all-databases --flush-logs --flush-privileges 在导出mysql数据库之后，发出一条FLUSH PRIVILEGES 语句。为了正确恢复，该选项应该用于导出mysql数据库和依赖mysql数据库数据的任何时候。 mysqldump -uroot -p --all-databases --flush-privileges --force 在导出过程中忽略出现的SQL错误。 mysqldump -uroot -p --all-databases --force --help 显示帮助信息并退出。 mysqldump --help --hex-blob 使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用该选项。影响到的字段类型有BINARY、VARBINARY、BLOB。 mysqldump -uroot -p --all-databases --hex-blob --host, -h 需要导出的主机信息 mysqldump -uroot -p --host=localhost --all-databases --ignore-table 不导出指定表。指定忽略多个表时，需要重复多次，每次一个表。每个表必须同时指定数据库和表名。例如：--ignore-table=database.table1 --ignore-table=database.table2 …… mysqldump -uroot -p --host=localhost --all-databases --ignore-table=mysql.user --include-master-host-port 在--dump-slave产生的'CHANGE MASTER TO..'语句中增加'MASTER_HOST=<host>，MASTER_PORT=<port>' mysqldump -uroot -p --host=localhost --all-databases --include-master-host-port --insert-ignore 在插入行时使用INSERT IGNORE语句. mysqldump -uroot -p --host=localhost --all-databases --insert-ignore --lines-terminated-by 输出文件的每行用给定字符串划分。与--tab选项一起使用，不能用于--databases和--all-databases选项。 mysqldump -uroot -p --host=localhost test test --tab=”/tmp/mysql” --lines-terminated-by=”##” --lock-all-tables, -x 提交请求锁定所有数据库中的所有表，以保证数据的一致性。这是一个全局读锁，并且自动关闭--single-transaction 和--lock-tables 选项。 mysqldump -uroot -p --host=localhost --all-databases --lock-all-tables --lock-tables, -l 开始导出前，锁定所有表。用READ LOCAL锁定表以允许MyISAM表并行插入。对于支持事务的表例如InnoDB和BDB，--single-transaction是一个更好的选择，因为它根本不需要锁定表。 请注意当导出多个数据库时，--lock-tables分别为每个数据库锁定表。因此，该选项不能保证导出文件中的表在数据库之间的逻辑一致性。不同数据库表的导出状态可以完全不同。 mysqldump -uroot -p --host=localhost --all-databases --lock-tables --log-error 附加警告和错误信息到给定文件 mysqldump -uroot -p --host=localhost --all-databases --log-error=/tmp/mysqldump_error_log.err --max_allowed_packet 服务器发送和接受的最大包长度。 mysqldump -uroot -p --host=localhost --all-databases --max_allowed_packet=10240 --net_buffer_length TCP/IP和socket连接的缓存大小。 mysqldump -uroot -p --host=localhost --all-databases --net_buffer_length=1024 --no-autocommit 使用autocommit/commit 语句包裹表。 mysqldump -uroot -p --host=localhost --all-databases --no-autocommit --no-create-db, -n 只导出数据，而不添加CREATE DATABASE 语句。 mysqldump -uroot -p --host=localhost --all-databases --no-create-db --no-create-info, -t 只导出数据，而不添加CREATE TABLE 语句。 mysqldump -uroot -p --host=localhost --all-databases --no-create-info --no-data, -d 不导出任何数据，只导出数据库表结构。 mysqldump -uroot -p --host=localhost --all-databases --no-data --no-set-names, -N 等同于--skip-set-charset mysqldump -uroot -p --host=localhost --all-databases --no-set-names --opt 等同于--add-drop-table, --add-locks, --create-options, --quick, --extended-insert, --lock-tables, --set-charset, --disable-keys 该选项默认开启, 可以用--skip-opt禁用. mysqldump -uroot -p --host=localhost --all-databases --opt --order-by-primary 如果存在主键，或者第一个唯一键，对每个表的记录进行排序。在导出MyISAM表到InnoDB表时有效，但会使得导出工作花费很长时间。 mysqldump -uroot -p --host=localhost --all-databases --order-by-primary --password, -p 连接数据库密码 --pipe(windows系统可用) 使用命名管道连接mysql mysqldump -uroot -p --host=localhost --all-databases --pipe --port, -P 连接数据库端口号 --protocol 使用的连接协议，包括：tcp, socket, pipe, memory. mysqldump -uroot -p --host=localhost --all-databases --protocol=tcp --quick, -q 不缓冲查询，直接导出到标准输出。默认为打开状态，使用--skip-quick取消该选项。 mysqldump -uroot -p --host=localhost --all-databases mysqldump -uroot -p --host=localhost --all-databases --skip-quick --quote-names,-Q 使用（`）引起表和列名。默认为打开状态，使用--skip-quote-names取消该选项。 mysqldump -uroot -p --host=localhost --all-databases mysqldump -uroot -p --host=localhost --all-databases --skip-quote-names --replace 使用REPLACE INTO 取代INSERT INTO. mysqldump -uroot -p --host=localhost --all-databases --replace --result-file, -r 直接输出到指定文件中。该选项应该用在使用回车换行对（\\r\\n）换行的系统上（例如：DOS，Windows）。该选项确保只有一行被使用。 mysqldump -uroot -p --host=localhost --all-databases --result-file=/tmp/mysqldump_result_file.txt --routines, -R 导出存储过程以及自定义函数。 mysqldump -uroot -p --host=localhost --all-databases --routines --set-charset 添加'SET NAMES default_character_set'到输出文件。默认为打开状态，使用--skip-set-charset关闭选项。 mysqldump -uroot -p --host=localhost --all-databases mysqldump -uroot -p --host=localhost --all-databases --skip-set-charset --single-transaction 该选项在导出数据之前提交一个BEGIN SQL语句，BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于多版本存储引擎，仅InnoDB。本选项和--lock-tables 选项是互斥的，因为LOCK TABLES 会使任何挂起的事务隐含提交。要想导出大表的话，应结合使用--quick 选项。 mysqldump -uroot -p --host=localhost --all-databases --single-transaction --dump-date 将导出时间添加到输出文件中。默认为打开状态，使用--skip-dump-date关闭选项。 mysqldump -uroot -p --host=localhost --all-databases mysqldump -uroot -p --host=localhost --all-databases --skip-dump-date --skip-opt 禁用–opt选项. mysqldump -uroot -p --host=localhost --all-databases --skip-opt --socket,-S 指定连接mysql的socket文件位置，默认路径/tmp/mysql.sock mysqldump -uroot -p --host=localhost --all-databases --socket=/tmp/mysqld.sock --tab,-T 为每个表在给定路径创建tab分割的文本文件。注意：仅仅用于mysqldump和mysqld服务器运行在相同机器上。注意使用--tab不能指定--databases参数 mysqldump -uroot -p --host=localhost test test --tab="/home/mysql" --tables 覆盖--databases (-B)参数，指定需要导出的表名，在后面的版本会使用table取代tables。 mysqldump -uroot -p --host=localhost --databases test --tables test --triggers 导出触发器。该选项默认启用，用--skip-triggers禁用它。 mysqldump -uroot -p --host=localhost --all-databases --triggers --tz-utc 在导出顶部设置时区TIME_ZONE='+00:00' ，以保证在不同时区导出的TIMESTAMP 数据或者数据被移动其他时区时的正确性。 mysqldump -uroot -p --host=localhost --all-databases --tz-utc --user, -u 指定连接的用户名。 --verbose, --v 输出多种平台信息。 --version, -V 输出mysqldump版本信息并退出 --where, -w 只转储给定的WHERE条件选择的记录。请注意如果条件包含命令解释符专用空格或字符，一定要将条件引用起来。 mysqldump -uroot -p --host=localhost --all-databases --where=” user=’root’” --xml, -X 导出XML格式. mysqldump -uroot -p --host=localhost --all-databases --xml --plugin_dir 客户端插件的目录，用于兼容不同的插件版本。 mysqldump -uroot -p --host=localhost --all-databases --plugin_dir=”/usr/local/lib/plugin” --default_auth 客户端插件默认使用权限。 mysqldump -uroot -p --host=localhost --all-databases --default-auth=”/usr/local/lib/plugin/<PLUGIN>”
sed -n '/^-- Table structure for table `t_a_payback`/, /^-- Table structure for table/p' hechi_20210518_040000.sql
