MySQL binlog日志占用过大

binlog介绍

mysql-binlog是MySQL数据库的二进制日志，用于记录用户对数据库操作的SQL语句（(除了数据查询语句）信息。可以使用mysqlbin命令查看二进制日志的内容。binlog的格式也有三种：STATEMENT、ROW、MIXED 。下面对这三种格式分别加以说明：

STATMENT模式

基于SQL语句的复制(statement-based replication, SBR)，每一条会修改数据的sql语句会记录到binlog中。

优点：不需要记录每一条SQL语句与每行的数据变化，这样子binlog的日志也会比较少，减少了磁盘IO，提高性能。

缺点：在某些情况下会导致master-slave中的数据不一致(如sleep()函数， last_insert_id()，以及user-defined functions(udf)等会出现问题)

ROW模式

不记录每一条SQL语句的上下文信息，仅需记录哪条数据被修改了，修改成了什么样子了。

优点：不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。

缺点：会产生大量的日志，尤其是alter table的时候会让日志暴涨。

MIXED模式

混合模式复制(mixed-based replication, MBR)：以上两种模式的混合使用，一般的复制使用STATEMENT模式保存binlog，对于STATEMENT模式无法复制的操作使用ROW模式保存binlog，MySQL会根据执行的SQL语句选择日志保存方式。

相关binlog配置

[mysqld]
binlog_format = mixed
#设置日志格式

log-bin = /data/mysql/logs/mysql-bin.log
#设置日志路径，注意路经需要mysql用户有权限写

expire_logs_days = 7
#设置binlog清理时间

max_binlog_size = 100m
#binlog每个日志文件大小

binlog_cache_size = 4m
#binlog缓存大小

max_binlog_cache_size = 512m
#最大binlog缓存大小

 

问题环境

　　公司现有的mysql数据库因为开启了binlog日志，但是没有做定期清理处置，下面对现在碰到的问题做一个思路的描述及处理步骤：

1、如果数据库已经崩溃，则不要立即启动（就算你想启动也启动不了）
2、如果数据非常重要先做数据备份，个人建议先将binlog日志转移到其他磁盘分区下
3、修改服务的主配置文件，设置binlog的存在周期
4、重启服务，并且重置/查看binlog日志信息

 

 

相关操作

# 处理binlog日志占用过大方式1----关闭binlog记录
binlog日志的关闭直接在配置文件中注释即可

# 处理binlog日志占用过大方式2----设置日志文件保存周期
expire_logs_days = x //二进制日志自动删除的天数。默认值为0,表示“没有自动删除”,官方推荐10天左右，具体时间根据业务来定

# 处理binlog日志占用过大方式3----手动清理，可以自己写脚本
PURGE MASTER LOGS BEFORE DATE_SUB(CURRENT_DATE, INTERVAL 10 DAY);   //删除10天前的MySQL binlog日志,附录2有关于PURGE MASTER LOGS手动删除用法及示例

# 下面是一些关于扩展操作
相关SQL语句如下：
show binary logs;                            
# 查看binlog现有详情

show variables like '%log%';            
# 查看log变量的相关配置

set global expire_logs_days = 10;    
# 设置binlog的保存时间

reset master;                                 
# 重置所有的binlog，相当于删除所有的binlog，这个操作对主从集群影响非常大，因为主从赋值是基于binlog日志来实现的

PURGE {MASTER | BINARY} LOGS TO 'log_name'
PURGE {MASTER | BINARY} LOGS BEFORE 'date'
# 删除指定的日志或日期之前的日志索引中的所有二进制日志。MASTER和BINARY是同义词

PURGE MASTER LOGS TO 'MySQL-bin.010'; 
#清除MySQL-bin.010日志

PURGE MASTER LOGS BEFORE '2008-06-22 13:00:00';  
#清除2008-06-22 13:00:00前binlog日志

PURGE MASTER LOGS BEFORE DATE_SUB( NOW( ), INTERVAL 3 DAY); 
# 清除3天前binlog日志BEFORE，变量的date自变量可以为'YYYY-MM-DD hh:mm:ss'格式。