MySQL关于日志配置安全整改及处理方法
【环境介绍】
系统环境：Linux + mysql 5.7.18 + 主从复制架构
【背景描述】
需求：MySQL数据库都有每年的集团安全整改，常常要求弱口令扫描，基线扫描，漏洞扫描等等。对于MySQL的基线配置检查中的日志方面也是有好几个要求，建议开启MySQL的各种日志配置，记录数据库的各种类型活动，便于处理数据库故障和性能优化都有很大的帮助。开启这配置提供了帮助的同时也同时产生一定的性能消耗和存储方面的消耗。
【MySQL日志配置大致介绍】
|
类型 |
介绍 |
作用 |
参数 |
|
错误日志 |
记录对数据库的启动、运行、关闭过程进行记录信息 |
记录告警或正确信息 |
log_error |
|
二进制日志 |
记录对数据库执行更改的所有操作，不包含select和show类型操作信息 |
用于恢复，复制，审计 |
log_bin |
|
慢查询日志 |
记录对数据库执行长的SQL操作信息 |
定位存在问题的SQL，从SQL语句层面上进行优化 |
slow_query_log
|
|
通用查询日志 |
记录对数据库请求的所有操作信息 |
用于恢复，审计 |
general_log |
|
更新日志 |
记录从主服务器接收的从服务器的更新是否应该记录到从设备自己的二进制日志 |
用于复制 |
log_slave_updates |
【MySQL日志配置配置】
错误日志：默认开启，初始化时指定错误日志路径。/etc/my.cnf 参数文件设置：log_error = /home/mysql/logs/mysql.err
二进制日志：可关闭，可开启，全局静态参数。log_bin = /home/mysql/logs/binlog
慢查询日志：可开启可关闭，全局动态参数。
set GLOBAL slow_query_log_file = '/home/mysql/logs/slow.log'; set GLOBAL slow_query_log = ON;
通用查询日志：可开启可关闭，全局动态参数。
set GLOBAL general_log_file = '/home/mysql/data/oracle.log'; set GLOBAL general_log =ON;
更新日志：可关闭，可开启，全局静态参数。/etc/my.cnf 参数文件设置：log_slave_updates = ON
安全检查建议开启全部的日志配置。在整改的过程中，开启这些日志消耗性能是一定的，其中，通用查询日志的消耗最明显，产生的日志量的问题也是很常见。咨询业务侧，该数据库的业务比较繁忙，那么通用查询日志的问题就比较显著，进行对通用日志处理。
【通用日志处理】
于是对通用日志产生的日志量的问题进行处理。
需求：开启通用日志，每周日定时清理日志，保存3份有效日志记录备份，记录清理日志。
测试最终效果如下：
主要实现功能的脚本如下：
cat > mysql_generlog_clean.sh
######################################################################
# mysql_generlog_clean.sh
# This script is clean mysql generlog
# Author CZT
######################################################################
#!/bin/sh
mysqladmin=`which mysqladmin` ---定义mysql命令环境变量
mysql=`which mysql`
user="root" ---注意进行操作的用户权限
passwd="xxx"
time=`date +%Y%m%d%H%M`
general_log=`mysql -u${user} -p${passwd} -Ne "show variables like 'general_log_file';" 2>/dev/null |grep general_log_file|awk '{print $2}'` ---取当前设置通用日志的日志路径
mv ${general_log} ${general_log}_bak.${time}
mysqladmin -u$user -p$passwd flush-logs general 2>/dev/null
gzip ${general_log}_bak.${time} ---对历史通用日志进行压缩
var_count=`ls -lrt ${general_log}_bak*|wc -l`
if [ $var_count -gt 3 ]
then
echo "gt 3"
var_del_count=`expr $var_count - 3` ---判断保留3份历史日志
ls -lrt ${general_log}_bak* |awk '{print $9}'|head -$var_del_count> del_bakfile_list.txt
while read LINE
do
echo $LINE
rm -f $LINE ---删除旧日志备份文件
done<del_bakfile_list.txt ---记录删除历史日志记录
else
echo "lt 3"
fi
【问题思考】
1， 对于产生的空间大小一定要经过测试，不同的业务产生的影响也有所不同，系统空间问题由于权限限制，不能限制空间，只能手动制定策略；
2， 因为备份中有切换日志操作，对日志备份清理的时间点避免业务高峰期间，防止期间造成告警报错，时间点的选择也是非常重要的环节；
3， 对于参数调整，必须了解该参数属性，是否可以实时开启关闭，对应急处理有非常大的帮助。
【总结】：
1， 对于安全整改配置时，一定要评估好风险，防止产生问题；
2， 对于日志量的问题，脚本可以举一反三处理；
3， 对于安全整改配置时，必须全面了解参数属性，便于应急的处理。
