摘要：
背景： MySQL5.7在主从复制上面相对之前版本多了一些新特性，包括多源复制、基于组提交的并行复制、在线修改Replication Filter、GTID增强、半同步复制增强等。因为都是和复制相关，所以本文将针对这些新特性放一起进行说明，篇幅可能稍长，本文使用的MySQL版本是5.7.13。 1，
阅读全文
posted @ 2019-01-06 10:09
海东潮
阅读(482)
推荐(0)
摘要：
数据可视化是数据分析或机器学习项目中十分重要的一环。通常，你需要在项目初期进行探索性的数据分析（EDA），从而对数据有一定的了解，而且创建可视化确实可以使分析的任务更清晰、更容易理解，特别是对于大规模的高维数据集。在项目接近尾声时，以一种清晰、简洁而引人注目的方式展示最终结果也是非常重要的，让你的受
阅读全文
posted @ 2019-01-05 23:16
海东潮
阅读(1044)
推荐(0)
摘要：
一、原因分析一般而言，slave相对master延迟较大，其根本原因就是slave上的复制线程没办法真正做到并发。简单说，在master上是并发模式(以InnoDB引擎为主)完成事务提交的，而在slave上，复制线程只有一个sql thread用于binlog的apply，所以难怪slave在高并发
阅读全文
posted @ 2019-01-05 22:18
海东潮
阅读(1014)
推荐(0)
摘要：
不可见索引允许您将索引标记为查询优化器不可用。MySQL维护不可见索引，并在与索引关联的列中的数据发生更改时使其保持最新。 默认情况下，索引是可见的。要使它们不可见，您必须在创建时或使用ALTER TABLE命令显式声明其可见性。MySQL为我们提供了维护索引可见性的关键字VISIBLE和INVIS
阅读全文
posted @ 2019-01-05 20:47
海东潮
阅读(1194)
推荐(0)
摘要：
将运行中的大表修改为分区表 本文章代码仅限于以数据时间按月水平分区，其他需求可自行修改代码实现 1. 创建一张分区表 这张表的表字段和原表的字段一摸一样，附带分区 1 2 3 4 5 6 7 8 9 10 11 12 CREATE TABLE `metric_data_tmp` ( id bigin
阅读全文
posted @ 2019-01-05 10:41
海东潮
阅读(1501)
推荐(0)
摘要：
一、从常见的报错说起 故事的开头我们先来看一个常见的sql报错信息： 相信对于这类报错大家一定遇到过很多次了，特别对于OMG这种已内容生产为主要工作核心的BG，在内容线的存储中，数据大一定是个绕不开的话题。这里的数据“大”，远不止存储空间占用多，其中也包括了单个（表）字段存储多、大，数据留存时间长，
阅读全文
posted @ 2019-01-05 10:37
海东潮
阅读(4198)
推荐(0)
摘要：
If the server is a replication master and you want to avoid replicating the content to replication slaves, use this command: [root@localhost backup]#
阅读全文
posted @ 2019-01-04 21:23
海东潮
阅读(799)
推荐(0)
摘要：
一、前言 在MySQL中进行SQL优化的时候，经常会在一些情况下，对MySQL能否利用索引有一些迷惑。 譬如: 今天，我将会用一个模型，把这些问题都一一解答，让你对MySQL索引的使用不再畏惧 二、知识补充 key_len EXPLAIN执行计划中有一列 key_len 用于表示本次查询中，所选择的
阅读全文
posted @ 2019-01-04 21:08
海东潮
阅读(895)
推荐(1)
摘要：
本文由腾讯数据库技术 发表于云+社区专栏 问题现象 最近使用sysbench测试MySQL，由于测试时间较长，写了一个脚本按prepare->run->cleanup的顺序在后台跑着。跑完后察看日志发现一个问题，MySQL服务的错误日志中出现多条类似以下信息的报错： 看起来是I/O出现了错误，但My
阅读全文
posted @ 2019-01-04 21:06
海东潮
阅读(731)
推荐(0)
摘要：
01. 在MySQL与PostgreSQL的对比中，PG的JSON格式支持优势总是不断被拿来比较。其实早先MariaDB也有对非结构化的数据进行存储的方案，称为dynamic column，但是方案是通过BLOB类型的方式来存储。这样导致的问题是查询性能不高，不能有效建立索引，与一些文档数据库对比，
阅读全文
posted @ 2019-01-04 19:45
海东潮
阅读(3042)
推荐(0)
摘要：
两种升级方式 In-Place Upgrade: Involves shutting down the old MySQL version, replacing the old MySQL binaries or packages with the new ones, restarting MySQ
阅读全文
posted @ 2019-01-04 11:00
海东潮
阅读(357)
推荐(0)
摘要：
参数innodb_force_recovery影响了整个InnoDB存储引擎的恢复状况。该值默认为0，表示当需要恢复时执行所有的恢复操作。当不能进行有效恢复时，如数据页发生了corruption，MySQL数据库可能会宕机，并把错误写入错误日志中。 但是，在某些情况下，我们可能并不需要执行完整的恢复
阅读全文
posted @ 2019-01-04 10:56
海东潮
阅读(1454)
推荐(0)
摘要：
Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择：1. 0表示在innodb关闭的时候，需要purge all, merge insert buffer,flush dirty pages。这是最慢的一种关闭方式，但是restart的时候也是最快的
阅读全文
posted @ 2019-01-04 10:55
海东潮
阅读(788)
推荐(0)
摘要：
本文分析了mysqld进程关闭的过程，以及如何安全、缓和地关闭MySQL实例，对这个过程不甚清楚的同学可以参考下。 关闭过程： 1、发起shutdown，发出SIGTERM信号 2、有必要的话，新建一个关闭线程(shutdown thread) 如果是客户端发起的关闭，则会新建一个专用的关闭线程 如
阅读全文
posted @ 2019-01-04 10:51
海东潮
阅读(4963)
推荐(0)
摘要：
简述: explain为mysql提供语句的执行计划信息。可以应用在select、delete、insert、update和place语句上。explain的执行计划，只是作为语句执行过程的一个参考，实际执行的过程不一定和计划完全一致，但是执行计划中透露出的讯息却可以帮助选择更好的索引和写出更优化的
阅读全文
posted @ 2019-01-03 17:12
海东潮
阅读(2806)
推荐(0)
摘要：
本文写道最后的时候，我才发现ZRM for MySQL的一个致命问题，就我目前的理解和测试来看，它恢复数据的时候是采取覆盖的方式，举个例子，假定某台数据库服务器上有两个数据库test1,test2，你备份了这两个数据库，某一天，test2数据库里的某一个表坏了，那么它无法做到仅仅只是恢复损坏的表，甚
阅读全文
posted @ 2019-01-02 18:49
海东潮
阅读(668)
推荐(0)
摘要：
当为一个企业选择备份工具的时候，你都考虑什么呢？确定你正在部署的软件具有下面的特性 开源软件 – 你务必要选择那些源码可以免费获得，并且可以修改的软件。确信可以恢复你的数据，即使是软件供应商/项目停止继续维护这个软件，或者是拒绝继续为这个软件提供补丁。 跨平台支持 – 确定备份软件可以很好的运行各种
阅读全文
posted @ 2019-01-02 18:47
海东潮
阅读(2885)
推荐(1)
摘要：
对于一般进程，要让进程崩溃时能生成 core file 用于调试，只需要设置 rlimit 的 core file size > 0 即可。比如，用在 ulimit -c unlimited 时启动程序。 对 MySQL 来说，由于 core file 中会包含表空间的数据，所以默认情况下为了安全，
阅读全文
posted @ 2019-01-02 18:39
海东潮
阅读(733)
推荐(0)
摘要：
使用mysqldump备份时为什么要加上 -q 参数（5.7默认为on） 写在前面：我们在使用mysqldump备份数据时，请一定记住要加上 -q 参数，后果可能是很严重的，不要给自己挖坑哦。 先来看看 mysqldump -help 中，关于 -q 参数的解释： 简言之，就是说加上 -q 后，不会
阅读全文
posted @ 2019-01-02 17:59
海东潮
阅读(2278)
推荐(0)
摘要：
本文根据DBAplus社群〖2018年1月6日北京开源与架构技术沙龙〗现场演讲内容整理而成。 讲师介绍 李季鹏 新炬网络数据库专家 专注于MySQL数据库性能管理及相关解决方案，目前主要从事MySQL性能分析工具的设计与研发工作。 目前我从事的是MySQL的技术研究并让其实现产品化的工作，所以给大家
阅读全文
posted @ 2019-01-02 17:55
海东潮
阅读(303)
推荐(0)
摘要：
0、导读 MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全？ MySQL被运用于越来越多的业务中，在关键业务中对数据安全性的要求也更高，如何保证MySQL的数据安全。 数据安全如果只靠MySQL应用层面显然是不够的，是需要在多个层面来保护的，包括
阅读全文
posted @ 2019-01-02 17:35
海东潮
阅读(1269)
推荐(0)
摘要：
经常遇到很多朋友问到，他的MySQL中有很多Sleep进程，严重占用MySQL的资源，现在分析一下出现这种现象的原因和解决办法： 1，通常来说，MySQL出现大量Sleep进程是因为采用的PHP的MySQL长链接数据库方式，即使用了mysql_pconnect来打开链接数据库，解决办法就是使用“短”
阅读全文
posted @ 2019-01-02 17:10
海东潮
阅读(883)
推荐(0)
摘要：
innodb事务日志包括redo log和undo log。redo log是重做日志，提供前滚操作，undo log是回滚日志，提供回滚操作。 undo log不是redo log的逆向过程，其实它们都算是用来恢复的日志：1.redo log通常是物理日志，记录的是数据页的物理修改，而不是某一行或
阅读全文
posted @ 2019-01-02 17:07
海东潮
阅读(15778)
推荐(7)
摘要：
概述本文描述自动化运维工具 Ansible 的安装及基础使用方法，包含： Centos 下的安装主机配置Ad-Hoc command（命令行执行）Playbook （任务剧本）Ansible 和 Saltstack 是目前主流的两个自动化运维工具，都可以用于同时对大量主机进行系统配置，应用部署等工作
阅读全文
posted @ 2019-01-01 10:01
海东潮
阅读(594)
推荐(0)
摘要：
Devops基础设施自动化的工具 有许多工具用于基础设施自动化。使用哪个工具决定于体系结构和基础设施的需求。下面我们列出了一些伟大的工具，用于不同类别配置管理、编制、持续集成、监控等。 1.Chef Chef是一个基于ruby开发的配置管理工具。你可能会遇到“基础设施代码”这个词，这意味着配置管理。
阅读全文
posted @ 2019-01-01 09:49
海东潮
阅读(1216)
推荐(0)
摘要：
共享InnoDB / var / lib / mysql / ibdata1存储的问题InnoDB表当前将数据和索引存储到共享表空间（/ var / lib / mysql / ibdata1）。由于共享表空间，一个InnoDB表的数据损坏可能导致MySQL无法在整个计算机上启动。修复InnoDB损
阅读全文
posted @ 2018-12-31 21:47
海东潮
阅读(1662)
推荐(0)
摘要：
日常维护中，经常会碰到线程被阻塞，导致数据库响应非常慢，下面就看看如何获取是哪个线程导致了阻塞的。 blog地址：http://blog.csdn.net/hw_libo/article/details/39080809 1. 环境说明RHEL 6.4 x86_64 + MySQL 5.6.19事务
阅读全文
posted @ 2018-12-31 14:58
海东潮
阅读(902)
推荐(0)
摘要：
1.版本 1)操作系统 cat /etc/issueCentOS release 6.6 (Final)Kernel \r on an \m cat /proc/versionLinux version 2.6.32-504.el6.x86_64 (mockbuild@c6b9.bsys.dev.c
阅读全文
posted @ 2018-12-30 22:57
海东潮
阅读(1429)
推荐(0)
摘要：
一、简介 思考一下这个场景：如果重做日志可以无限地增大，同时缓冲池也足够大，那么是不需要将缓冲池中页的新版本刷新回磁盘。因为当发生宕机时，完全可以通过重做日志来恢复整个数据库系统中的数据到宕机发生的时刻。 但是这需要两个前提条件：1、缓冲池可以缓存数据库中所有的数据；2、重做日志可以无限增大 因此C
阅读全文
posted @ 2018-12-30 22:41
海东潮
阅读(521)
推荐(0)
摘要：
注：以下内容为根据《高性能mysql第三版》和《mysql技术内幕innodb存储引擎》的innodb status部分的个人理解，如果有错误，还望指正！！ innodb存储引擎在show engine innodb status（老版本对应的是show innodb status）输出中，显示除了
阅读全文
posted @ 2018-12-30 22:40
海东潮
阅读(374)
推荐(0)
浙公网安备 33010602011771号