Mysql8社区版日志审计插件 - PetterLiu

公告

过去从Mysql官方自带general.log日志的相比其他插件性能是最差的，我们考虑参考行业中较好的插件是MariaDB Audit Plugin, 可惜并不兼容mysql 5.7与mysql 8.0以上版本。

亚马逊RDS for MySQL的开发团队已经folk了MariaDB审计日志插件，并确保与MySQL 8 API兼容，以便在其RDS for MySQL数据库系列上使用。最近，他们已经在GitHub上公开了这个项目的代码库。该插件的源代码在Github上公开发布，作为对MySQL和MariaDB用户社区的一项服务。AWS不为该插件提供任何保证或支持。目标受众是具有C++技能的软件开发人员，他们能够独立编译和使用该插件。这个插件不是官方的，与MySQL没有关系。

国外一个同仁已基于AWS源码编译二进制版本，分为Mysql 8.0与5.7分支。

Mysql 8.0插件运行机制

来自Mysql 8.0官方

配置

1.为了能够使用审计插件，你需要在MySQL数据库服务器的plugin_dir中粘贴server_audit.so文件。

mysql> select @@plugin_dir;
+————————–-----------------+
| @@plugin_dir |
+————————–-----------------+
| /usr/lib64/mysql/plugin/ |
+————————–-----------------+

1 row in set (0.00 sec)

2.将server_audit.so粘贴在那里：

mysql>! ls -lh /usr/lib64/mysql/plugin/ total 8.5M -rw-r–r–. 1 root root 597K Jul 26 18:47 server_audit.so
...

启用插件

mysql>set global server_audit_logging = ON;
Query OK, 0 rows affected (0.00 sec)

启用查询事件

mysql> set global server_audit_events = ‘QUERY’;
Query OK, 0 rows affected (0.00 sec)

审计日志文件

mysql> ! ls -lh /var/lib/mysql
total 188M
-rw-r-----. 1 mysql mysql 1.7K Jul 26 18:50 server_audit.log

Server_audit.log

日志文件表示为 UTF-8 格式的逗号分隔变量 (CSV) 文件。日志文件条目不按先后顺序排列。要对条目进行排序，请使用时间戳值。要查看最新事件，您可能需要查看所有日志文件。

mysql> ! cat /var/lib/mysql/server_audit.log
20220726 18:48:35,localhost.localdomain,root,localhost,10,3,QUERY,,’set global server_audit_logging = ON’,0,,
20220726 18:48:56,localhost.localdomain,root,localhost,10,4,QUERY,,’set global server_audit_events = ’QUERY”,0,,
20220726 18:49:02,localhost.localdomain,root,localhost,10,5,QUERY,,’create database test’,0,,
20220726 18:49:04,localhost.localdomain,root,localhost,10,6,QUERY,,’SELECT DATABASE()’,0,,
20220726 18:49:04,localhost.localdomain,root,localhost,10,8,QUERY,,’show databases’,0,,
20220726 18:49:04,localhost.localdomain,root,localhost,10,9,QUERY,,’show tables’,0,,
20220726 18:49:32,localhost.localdomain,root,localhost,10,10,QUERY,,’create table example_table (id int unsigned primary key auto_increment)’,0,,
20220726 18:49:43,localhost.localdomain,root,localhost,10,11,QUERY,,’insert into example_table(null)’,1064,,
20220726 18:49:48,localhost.localdomain,root,localhost,10,12,QUERY,,’insert into sidnei values (null)’,0,,
20220726 18:49:57,localhost.localdomain,root,localhost,10,18,QUERY,,’select * from example_table’,0,,

日志格式说明：

要获得关于插件配置的更多细节，请阅读AWS RDS插件文档。

容器版Mysql

将提前准备的server_audit.so 文件放到服务器目录
并且将此文件放到容器内部
docker cp ./server_audit.so mysql:/tmp/

安装
MariaDB Audit Plugin 插件
进入mysql容器
docker exec -it mysql /bin/bash
mysql -u root -p
密码

查看插件安装目录
show variables like '%plugin%';
Plugin_dir 就是插件的目录一般为/usr/lib/mysql/plugin
将刚才tmp目录下的so文件放到对应插件目录

mv /tmp/server_audit.so /usr/lib/mysql/plugin/

执行安装命令
install plugin server_audit SONAME 'server_audit.so'

查看插件配置信息
show variables like '%audit%'

默认审计日志是关闭状态

开启日志记录
set global server_audit_logging=on
可以配置日志目录

默认是
data目录的server_audit.log文件
set global server_audit_file_path=’/var/log/mysql/server_audit.log’

设置日志文件大小和个数
set global server_audit_file_rotate_size = 100000000

示例

sysbench性能测试

cpu型号： Intel(R) Core(TM) i5-8300H CPU @ 2.30GHz
cpu数量：2核（4个）
内存：free -h 4g
硬盘：机械硬盘
MySQL版本 mysql> mysql version; 8.0.27

未启用插件

SQL statistics:
     queries performed:
         read:                            459116
         write:                           131176
         other:                           65588
         total:                           655880
    transactions:                        32794 (98.26 per sec.)
     queries:                             655880 (1965.26 per sec.)
     ignored errors:                      0      (0.00 per sec.)
     reconnects:                          0      (0.00 per sec.)

General statistics:
total time: 333.7351s
total number of events: 32794

Latency (ms):
          min:                                   28.21
          avg:                                 1998.06
          max:                                77351.35
          95th percentile:                     6960.17
          sum:                             65524533.03

Threads fairness:
events (avg/stddev): 163.9700/14.71
execution time (avg/stddev): 327.6227/11.91

开启插件

SQL statistics:
     queries performed:
         read:                            238182
         write:                           68052
         other:                           34026
         total:                           340260
    transactions:                        17013 (53.20 per sec.)
     queries:                             340260 (1064.04 per sec.)
     ignored errors:                      0      (0.00 per sec.)
     reconnects:                          0      (0.00 per sec.)

General statistics:
total time: 319.7790s
total number of events: 17013

Latency (ms):
          min:                                   40.41
          avg:                                 3755.89
          max:                               103907.93
          95th percentile:                    10917.50
          sum:                             63898979.23

Threads fairness:
events (avg/stddev): 85.0650/9.14
execution time (avg/stddev): 319.4949/0.02

结论

使用审计插件必然有MySQL SERVER性能损失，这是一个安全与性能的权衡点。如果你使用的是MySQL 8社区版，并且需要启用审计日志，来自AWS开发团队的插件可以是一个不错的选择。然而，你应该记住，这个插件没有AWS的支持--他们在README.md中说的很清楚。在数据库服务器不是那么关键的情况下，它可能是有用的。如果一个非常重要的数据库服务器在生产中发生了一些错误，修复错误可能需要时间。如果你需要使用这个功能，我建议迁移到MariaDB服务器，因为你可以在MariaDB社区的支持下使用一个非常成熟的插件。还有一些插件参考。

其他参考

MariaDB Audit Plugin in the MariaDB documentation
MariaDB Audit Plugin support in Amazon RDS documentation

今天先到这儿，希望对云原生，技术领导力，企业管理，系统架构设计与评估，团队管理, 项目管理, 产品管管，团队建设有参考作用 , 您可能感兴趣的文章:
领导人怎样带领好团队
构建创业公司突击小团队
国际化环境下系统架构演化
微服务架构设计
视频直播平台的系统架构演化
微服务与Docker介绍
Docker与CI持续集成/CD
互联网电商购物车架构演变案例
互联网业务场景下消息队列架构
互联网高效研发团队管理演进之一
消息系统架构设计演进
互联网电商搜索架构演化之一
企业信息化与软件工程的迷思
企业项目化管理介绍
软件项目成功之要素
人际沟通风格介绍一
精益IT组织与分享式领导
学习型组织与企业
企业创新文化与等级观念
组织目标与个人目标
初创公司人才招聘与管理
人才公司环境与企业文化
企业文化、团队文化与知识共享
高效能的团队建设
项目管理沟通计划
构建高效的研发与自动化运维
某大型电商云平台实践
互联网数据库架构设计思路
IT基础架构规划方案一(网络系统规划)
餐饮行业解决方案之客户分析流程
餐饮行业解决方案之采购战略制定与实施流程
餐饮行业解决方案之业务设计流程
供应链需求调研CheckList
企业应用之性能实时度量系统演变

如有想了解更多软件设计与架构, 系统IT,企业信息化, 团队管理资讯，请关注我的微信订阅号：

作者：Petter Liu
出处：http://www.cnblogs.com/wintersun/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。该文章也同时发布在我的独立博客中-Petter Liu Blog。

posted on 2023-06-18 21:48 PetterLiu 阅读(1030) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部