海东潮 - 博客园

2018年12月30日

摘要：在mysql5.1 之前称为Insert Buffer，优化2级非唯一索引上插入操作的读IO，在5.5之后改名为Change Buffer，功能也扩展为2级非唯一索引上的插入、删除、更新、purge的读IO优化。 change buffer的核心思想，当数据库需要对2级缓存进行修改时，先不从外阅读全文

posted @ 2018-12-30 22:24 海东潮阅读(535) 评论(0) 推荐(0)

MySQL5.7多实例自动化部署脚本

摘要：一、安装说明 mysql5.7.10_onekey_install.sh自动化部署脚本支持mysql5.7.10初始化安装，多实例创建，且使用经过优化后的my.cnf配置文件和mysql.server启动脚本，该SHELL脚本在CentOS6.5_x86_64操作系统测试通过。部署示意图如下： 1、阅读全文

posted @ 2018-12-30 22:14 海东潮阅读(488) 评论(0) 推荐(0)

mysql processlist 线程状态

摘要： Analyzing 线程是对MyISAM 表的统计信息做分析(例如, ANALYZE TABLE )。 checking permissions 线程是检查服务器是否具有所需的权限来执行该语句。 Checking table 线程正在执行表检查操作。 cleaning up 线程处理一个命令,并正准阅读全文

posted @ 2018-12-30 19:05 海东潮阅读(561) 评论(0) 推荐(0)

github精选awsome

摘要： https://www.githubs.cn/awesome 阅读全文

posted @ 2018-12-30 15:18 海东潮阅读(280) 评论(0) 推荐(0)

MySQL案例-mysqld got signal 11

摘要：背景:MySQL-5.7.12, debian 8核16G虚拟机, 业务方反馈在某一个时间点, 出现了大量的数据库报错, 之后恢复正常; 场景:开发查看日志后, 发现在某个时间点, 应用断开了所有与数据库的连接, 几秒钟以后就恢复了;同时监控系统的内存使用率出现了异常的骤降; 3min之后收到了报警阅读全文

posted @ 2018-12-30 11:07 海东潮阅读(7049) 评论(0) 推荐(0)

2018年12月27日

【阿里巴巴：高并发的背后】数据库规范

摘要： 2018.05.22 22:57 2117浏览 2018.05.22 22:57 2117浏览 2018.05.22 22:57 2117浏览 (一) 建表规约【强制】表达是与否概念的字段，必须使用is_xxx的方式命名，数据类型是unsigned tinyint（ 1表示是，0表示否）。说明：任阅读全文

posted @ 2018-12-27 12:32 海东潮阅读(500) 评论(0) 推荐(0)

MySQL 数据库规范--调优篇(终结篇)

摘要： MySQL 数据库规范--调优篇(终结篇) 2017.09.01 10:53 3367浏览 MySQL 数据库规范--调优篇(终结篇) 2017.09.01 10:53 3367浏览 2017.09.01 10:53 3367浏览前言这篇是MySQL 数据库规范的最后一篇--调优篇，旨在提供我们阅读全文

posted @ 2018-12-27 12:20 海东潮阅读(384) 评论(0) 推荐(0)

percona pt toolkit 总结

摘要： ## ##pt-osc之工作流程：1、检查更改表是否有主键或唯一索引，是否有触发器2、检查修改表的表结构，创建一个临时表，在新表上执行ALTER TABLE语句3、在源表上创建三个触发器分别对于INSERT UPDATE DELETE操作4、从源表拷贝数据到临时表，在拷贝过程中，对源表的更新操作会写阅读全文

posted @ 2018-12-27 11:43 海东潮阅读(435) 评论(0) 推荐(0)

使用Prometheus+Grafana监控MySQL实践

摘要： Grafana+Prometheus打造全方位立体监控系统 Grafana+Prometheus打造全方位立体监控系统一、介绍Prometheus Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud公司开发的。随着发展，越来越多公司和组织接阅读全文

posted @ 2018-12-27 11:35 海东潮阅读(1442) 评论(0) 推荐(0)

Grafana是一个可视化面板-安装配置介绍

摘要： Grafana是一个可视化面板（Dashboard），有着非常漂亮的图表和布局展示，功能齐全的度量仪表盘和图形编辑器，支持Graphite、zabbix、InfluxDB、Prometheus和OpenTSDB作为数据源最新版本：Version 5.4.2 December 13, 2018 ht 阅读全文

posted @ 2018-12-27 11:33 海东潮阅读(3051) 评论(0) 推荐(0)

深入浅出分析MySQL索引设计背后的数据结构

摘要：在我们公司的DB规范中，明确规定： 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊情况，主键必须单调递增 1 2 1、建表语句必须明确指定主键 2、无特殊阅读全文

posted @ 2018-12-27 11:28 海东潮阅读(269) 评论(0) 推荐(0)

MySQL索引设计不可忽视的知识点

摘要：本文主要讨论MySQL索引的部分知识。将会从MySQL索引基础、索引优化实战和数据库索引背后的数据结构三部分相关内容，下面一一展开。一、MySQL——索引基础首先，我们将从索引基础开始介绍一下什么是索引，分析索引的几种类型，并探讨一下如何创建索引以及索引设计的基本原则。此部分用于测试索引创建的阅读全文

posted @ 2018-12-27 11:13 海东潮阅读(315) 评论(0) 推荐(0)

关于MySQL的commit非规律性失败案例的深入分析

摘要：关于MySQL的commit非规律性失败案例的深入分析案例描述：一个普通的事务提交，在应用里面会提示commit超时，失败。一、理论知识 1、关于commit原理，事务提交过程 1、寻找修改的数据页： 1、如果该数据页在内存中，则直接是内存读； 2、如果该数据页内存中没有，物理读，就从磁盘调入阅读全文

posted @ 2018-12-27 10:53 海东潮阅读(531) 评论(0) 推荐(0)

SQL执行过程中的性能负载点

摘要：一、SQL执行过程 1、用户连接数据库，执行SQL语句； 2、先在内存进行内存读，找到了所需数据就直接交给用户工作空间； 3、内存读失败，也就说在内存中没找到支持SQL所需数据，就进行物理读，也就是到磁盘中查找； 4、找到的数据放到内存中，在内存进行数据过滤再放到会话工作空间。 5、假设会话工作空间阅读全文

posted @ 2018-12-27 10:51 海东潮阅读(265) 评论(0) 推荐(0)

MySQL存储写入速度慢分析

摘要：问题背景描述：在MySQL中执行SQL语句，比如insert，贼慢，明明可能也就只是一行数据的插入，数据量很小，但是耗费的时间却很多，为什么？一、存储结构分析 MySQL存储结构图：解析： 1、读操作：内存读-->cache缓存读-->磁盘物理读读取到的数据会按上述顺序往回送。 2、写操作：阅读全文

posted @ 2018-12-27 10:51 海东潮阅读(1932) 评论(0) 推荐(0)

MySQL查询计划 key_len计算方法

摘要：本文首先介绍了MySQL的查询计划中ken_len的含义；然后介绍了key_len的计算方法；最后通过一个伪造的例子,来说明如何通过key_len来查看联合索引有多少列被使用。 key_len的含义在MySQL中,可以通过explain查看SQL语句所走的路径,如下所示： mysql> creat 阅读全文

posted @ 2018-12-27 10:35 海东潮阅读(1424) 评论(0) 推荐(0)

Percona: How to Restore MySQL Logical Backup at Maximum Speed

摘要： https://www.percona.com/blog/2018/02/22/restore-mysql-logical-backup-maximum-speed/ 阅读全文

posted @ 2018-12-27 10:14 海东潮阅读(102) 评论(0) 推荐(0)

2018年12月26日

MySQL之UNDO及MVCC、崩溃恢复

摘要： UNDO特性：避免脏读、事务回滚、非阻塞读、MVCC、崩溃恢复事务工作流程（图2） MVCC原理机制崩溃恢复：redo前滚、undo回滚长事务、大事务：危害、判断、处理 UNDO优化：实现undo分离、收缩undo表空间 0、undo物理存储研究 1>ibdata第五个数据块（系统事务表）中存阅读全文

posted @ 2018-12-26 23:43 海东潮阅读(2685) 评论(0) 推荐(1)

MySQL checkpoint深入分析

摘要： 1、日常关注点的问题 2、日志点分析 3、checkpoint：脏页刷盘的检查点 4、模糊检查点发生条件 1、master thread checkpoint 2、flush_lru_list checkpoint 3、async/sync flush checkpoint 4、dirty page 阅读全文

posted @ 2018-12-26 23:39 海东潮阅读(370) 评论(0) 推荐(0)

关于MySQL latch争用深入分析与判断

摘要： 1、latch锁是什么锁？ 2、latch锁是如何保护list？ 3、latch争用的现象和过程？ 4、latch什么时候会产生严重的争用？ 5、如何监控latch争用情况？ 6、如何确认latch争用类型？ 7、如何降低latch争用？一、latch锁是什么锁 1、定义 latch锁是内存锁，是阅读全文

posted @ 2018-12-26 23:35 海东潮阅读(567) 评论(0) 推荐(0)

InnoDB关键特性之刷新邻接页-异步IO

摘要： Flush neighbor page 1、工作原理 2、参数控制 AIO 1、开启异步IO 一、刷新邻接页功能 1、工作原理当刷新一个脏页时，innodb存储引擎会检测该页所在区(extent)的所有页，如果是脏页，那么一起进行刷新。这样做的好处显而易见，通过AIO可以将多个IO写入操作合并为一阅读全文

posted @ 2018-12-26 23:34 海东潮阅读(386) 评论(0) 推荐(0)

InnoDB关键特性之自适应hash索引

摘要：一、索引的资源消耗分析 1、索引三大特点 1、小：只在一个到多个列建立索引 2、有序：可以快速定位终点 3、有棵树：可以定位起点，树高一般小于等于3 2、索引的资源消耗点 1、树的高度，顺序访问索引的数据页，索引就是在列上建立的，数据量非常小，在内存中； 2、数据之间跳着访问 1、索引往表上跳，可能阅读全文

posted @ 2018-12-26 23:30 海东潮阅读(386) 评论(0) 推荐(0)

MySQL后台线程的清理工作

摘要：后台清理工作：脏页刷盘、undo回收 1、page cleaner thread：刷新脏页 2、purge thread：清空undo页、清理“deleted”page 一、innodb_page_cleaners page cleaner线程从buffer pool中刷脏页的线程数量。 1、5.7 阅读全文

posted @ 2018-12-26 23:28 海东潮阅读(1571) 评论(0) 推荐(0)

MySQL IO线程及相关参数调优

摘要：一、关于一个SQL的简单的工作过程 1、工作前提描述 1、启动MySQL，在内存中分配一个大空间innodb_buffer_pool(还有log_buffer) 2、多用户线程连接MySQL，从内存分配用户工作空间(其中排序空间) 3、磁盘上有数据库文件、ib_logfile、tmp目录、undo 阅读全文

posted @ 2018-12-26 23:24 海东潮阅读(1049) 评论(0) 推荐(0)

MySQL存储写入性能严重抖动分析

摘要：案例描述：通过iostat发现存储的写性能长期维持在10MB左右，而且因为写性能差已经导致数据库性能变差；两个小时以后，iostat发现系统的写性能已经能够到100MB以上，数据库性能也恢复正常。也就是说，在对系统、数据库监控中，出现了性能波谷，存储写入性能严重抖动，为什么？一、原理过程由阅读全文

posted @ 2018-12-26 22:53 海东潮阅读(642) 评论(0) 推荐(0)

MySQL的SQL预处理(Prepared)

摘要： Prepared SQL Statement：SQL的执行、预编译处理语法、注意点一、SQL 语句的执行处理1、即时 SQL 一条 SQL 在 DB 接收到最终执行完毕返回，大致的过程如下： 1. 词法和语义解析； 2. 优化 SQL 语句，制定执行计划； 3. 执行并返回结果；如上，一条 SQ 阅读全文

posted @ 2018-12-26 20:01 海东潮阅读(1464) 评论(0) 推荐(1)

MySQL写压力性能监控与调优

摘要：写压力调优：数据库的写、写压力性能监控、写压力调优参数一、关于DB的写 1、数据库是一个写频繁的系统2、后台写、写缓存3、commit需要写入4、写缓存失效或者写满-->写压力陡增-->写占读的带宽 1、BBU失效 2、写入突然增加、cache满5、日志写入、脏缓冲区写入 1、数据库是一个写频繁的阅读全文

posted @ 2018-12-26 17:43 海东潮阅读(558) 评论(0) 推荐(0)

关于MySQL buffer pool的预读机制

摘要：预读机制两种预读算法 1、线性预读 2、随机预读对预读的监控一、预读机制 InnoDB在I/O的优化上有个比较重要的特性为预读，预读请求是一个i/o请求，它会异步地在缓冲池中预先回迁多个页面，预计很快就会需要这些页面，这些请求在一个范围内引入所有页面。InnoDB以64个page为一个exte 阅读全文

posted @ 2018-12-26 17:10 海东潮阅读(976) 评论(0) 推荐(0)

Yearning v1.3.0 发布，Web 端 SQL 审核平台

摘要： Website 官网 www.yearning.io Feature 功能数据库字典自动生成 SQL查询查询工单导出自动补全，智能提示查询语句审计 SQL可视化自动生成索引语句自动生成 DDL语句自动生成 SQL审核流程化工单 SQL语句检测与执行 SQL回滚历史审核记录推送 E- 阅读全文

posted @ 2018-12-26 14:53 海东潮阅读(665) 评论(0) 推荐(0)

MySQL binlog相关分析

摘要： MySQL binlog相关分析 1、redolog、binlog的简单分析图解：redolog和binlog机制 2、开启binlog及关注点 3、关注binlog的相关参数 4、binlog模式分析 5、关于binlog的使用补充：双一模式一、区别redolog和binlog 1、如下表格阅读全文

posted @ 2018-12-26 14:19 海东潮阅读(388) 评论(0) 推荐(0)

数据库技术和故事

从今以后，愿你无所畏惧。

公告