数据库干货铺

摘要： binlog2sql 是一款比较常用的数据恢复工具，可以通过它从MySQL binlog解析出你要的SQL，并根据不同选项，可以得到原始SQL、回滚SQL、去除主键的INSERT SQL等。主要用途如下： 数据快速回滚(闪回) 主从切换后新master丢数据的修复 从binlog生成标准SQL，带来 阅读全文

摘要： 测试环境有些机器SSH登录特别慢，每次需要等待好几秒钟的时间。由于近期经常使用这几台机器，对于这种登录慢的问题实在无法再忍受，因此决定还是优化一下。 优化方法： 修改vim /etc/ssh/sshd_config 文件，主要修改如下两个参数 GSSAPIAuthentication no UseD 阅读全文

摘要： 统计每天的数据量变化，数据量变动超过一定范围时，进行告警。告警通过把对应的参数传递至相应接口。 python程序如下 #!/usr/bin/python # coding=utf-8 import pymysql as mdb import os import sys import requests 阅读全文

摘要： 之前已经在微信公众号分享了数据库优化的方法，链接为https://mp.weixin.qq.com/s/6Atzk9UKPJRxxAs0nsKBXg 。 其中操作系统部分介绍了IO调度算法的优化，本文将通过压力测试的方式来对比不同的调度算法下磁盘IO的表现。 1 准备工作 1.1 安装sysbenc 阅读全文

摘要： 从 MySQL5.7.11开始，MySQL对InnoDB支持存储在单独表空间中的表的数据加密 。此功能为物理表空间数据文件提供静态加密。该加密是在引擎内部数据页级别的加密手段，在数据页写入文件系统时加密，加密用的是AES算法，而其解密是在从文件读到内存中时进行。 1 配置加密插件 1.1 修改配置文 阅读全文

摘要： 近期有同学问mongodb副本集难不难部署，我的回答是不难，很快，几分钟搞定，比mysql MHA简单的不止一点半点。 那么到底如何部署呢？请看下文。 1. 准备工作 1.1 下载软件 选择版本并下载mongodb的软件，注意操作系统版本等。本次我选用的是percona分支的mongodb 4.2. 阅读全文

摘要： 1. 现象 今天协助其他同学排查问题的时候，发现数据库错误日志文件已经有9G以上了，打开内容查看如下： 2020-07-08 13:47:43 0x7fe3723ff700 INNODB MONITOR OUTPUT Per second averages calculated from the l 阅读全文

摘要： 很多开发人员在使用MySQL时经常会在部分列上进行函数计算等，导致无法走索引，在数据量大的时候，查询效率低下。针对此种情况本文从MySQL5.7 及MySQL8.0中分别进行不同方式的优化。 1、 MySQL5.7 MySQL5.7版本中不支持函数索引，因此 遇到函数索引的时候需要进行修改，否则即使 阅读全文

摘要： 统计每个库每个表的大小是数据治理的其中最简单的一个要求，本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。 1、统计预估数据量 mysql数据字典库information_schema里记录了统计的预估数据量（innodb引擎表不准确，MyISAM引擎表准确）及数据 阅读全文

摘要： MySQL8.0之前，做数据排名统计等相当痛苦，因为没有像Oracle、SQL SERVER 、PostgreSQL等其他数据库那样的窗口函数。但随着MySQL8.0中新增了窗口函数之后，针对这类统计就再也不是事了，本文就以常用的排序实例介绍MySQL的窗口函数。 1、准备工作 创建表及测试数据 m 阅读全文