摘要：
内容提纲MySQL的特点；硬件、系统优化；MySQL配置优化；SCHEMA设计优化；SQL 优化；其他优化。MySQL 的特点首先，需要明确的是。想要做好MySQL优化，需要先了解MySQL都有哪些特点：简言之，MySQL一般用于互联网业务的数据持久化存储，并且用于保证数据的一致性、可靠性，而不是用... 阅读全文
posted @ 2015-09-11 13:42 DBA日志小记 阅读(256) 评论(0) 推荐(0)
摘要：
背景：之前面试被问到这么一个问题，数据库两个transaction，当transaction1在update某一行的时候，transaction2在select的时候会不会block。我以前用MySQL做过测试，印象是可以，但是面试官提出质疑，今天我用MySQL验证这个问题的仔细研究了一下MySQL... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(1428) 评论(0) 推荐(1)
摘要：
BecauseInnoDBis a multi-versioned storage engine, it must keep information about old versions of rows in the tablespace. This information is stored in... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(280) 评论(0) 推荐(0)
摘要：
键类型：1.主键2.唯一键3.外键索引类型：1. Hash索引2. Ordered索引(BTREE/RTREE)索引的创建：1.主键会创建两个索引：Hash索引和Ordered索引2.唯一键会创建两个索引：Hash索引和Ordered索引3.一般定义的索引只创建Ordered索引主键和唯一键各个索引... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(123) 评论(0) 推荐(0)
摘要：
复制如何工作从高层来看，复制分成三步：(1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；(2) slave将master的binary log events拷贝到它的中继日志(relay log)；(3) slav... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(213) 评论(0) 推荐(0)
摘要：
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(147) 评论(0) 推荐(0)
摘要：
1、Heartbeat+LVS+mm2、Heartbeat+Haproxy+mm3、Keepalived+LVS+mm4、Keepalived+Haproxy+mm5、heartbeat +DRBD6、DNS轮询7、MHA8、MMM9、Cobar10、Percona XtraDB Cluster11... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(146) 评论(0) 推荐(0)
摘要：
2013年12月17日译者：吴炳锡 来源：http://www.mysqlsupport.cn/原文：http://www.mysqlperformanceblog.com/2013/12/07/linux-performance-tuning-tips-mysql/因为很多MySQL的生产环境都在... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(272) 评论(0) 推荐(0)
摘要：
I mentioned earlier that IO schedulerCFQcoming by default in RedHat / CentOS 5.x may be not so good for MySQL. And yesterday one customer reported tha... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(149) 评论(0) 推荐(0)
摘要：
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(452) 评论(0) 推荐(0)
摘要：
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢? MySQL团队最新推出的 MySQL Applier for Ha... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(274) 评论(0) 推荐(0)
摘要：
Impala架构分析Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(207) 评论(0) 推荐(0)
摘要：
#修改存储过程、函数、事件、触发器、视图的 DEFINERselect definer from mysql.proc;update mysql.proc set definer='billing@%';select DEFINER from mysql.EVENTS;update mysql.EV... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(745) 评论(0) 推荐(0)
摘要：
优化表的数据类型表需要使用何种数据类型，是需要根据应用来判断的。虽然应用设计的时候需要考虑字段的长度留有一定的冗余，但是不推荐让很多字段都留有大量的冗余，这样即浪费存储也浪费内存。我们可以使用PROCEDURE ANALYSE()对当前已有应用的表类型的判断，该函数可以对数据表中的列的数据类型提出优... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(125) 评论(0) 推荐(0)
摘要：
本文汇总了和MySQL运维开发相关的所有工具，并会持续更新慢日志分析工具：mysqldumpslow MySQL自带的mysqlslahttp://hackmysql.com/scripts/pt-query-digest percona-toolkit工具包里面的1. 工具套件集percona-t... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(176) 评论(0) 推荐(0)
摘要：
由于通过mysqldump导出的存储过程、函数、视图、触发器包含definer信息，导致很多时候无法正常导入。通过以下SQL可以自动生成创建语句。--导出存储过程和函数SELECT CONCAT("DROP ",TYPE," IF EXISTS `",db,"`.`", NAME,"`;\nDELI... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(4000) 评论(0) 推荐(0)
摘要：
推荐两个工具mk-table-checksum、pt-table-sync可以检查不同库下的两张表名相同的表，数据是否一致。mk-table-checksum效果截图，CHECKSUM效验值相同表示3370端口与3340端口下的test库rdc_proc_trans_his表数据一致。pt-tabl... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(352) 评论(0) 推荐(0)
摘要：
Linux内核有个机制叫OOMkiller（Out-Of-Memorykiller），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOM... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(517) 评论(0) 推荐(0)
摘要：
linux控制内存的内核参数，大多放在在/proc/sys/vm目录下，主要分为几类：控制内存cache1、dirty_background_bytes/dirty_background_ratio当dirty cache到了多少的时候，就启动pdflush进程，将dirty cache写回磁盘当有... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(808) 评论(0) 推荐(0)
摘要：
#!/usr/bin/python#-*- coding: utf-8 -*-import paramikoimport osimport commandsimport timeos.environ['PATH'] = '$PATH:$HOME/bin:/veris/usr/bin:/veris/u... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(120) 评论(0) 推荐(0)
摘要：
#!/usr/bin/python#-*- coding: utf-8 -*-import paramikoimport threadingdef ssh2(ip,username,passwd,cmd): try: ssh = paramiko.SSHClient() ssh.set... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(403) 评论(0) 推荐(0)
摘要：
2.2 InnoDB体系架构通过第1章我们了解了MySQL的体系结构，现在可能你想更深入地了解InnoDB的架构模型。图2-1简单显示了InnoDB的存储引擎的体系架构。InnoDB有多个内存块，你可以认为这些内存块组成了一个大的内存池，负责如下工作：q 维护所有进程/线程需要访问的多个内部数据结... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(665) 评论(0) 推荐(0)
摘要：
mysqlrplms（实现mysql一主多从）工具。 以下是我测试方法1、从官网下载http://dev.mysql.com/downloads/utilities/mysql-utilities-1.4.3-1.el6.noarch.rpmmysql-connector-python-1.2.2-... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(247) 评论(0) 推荐(0)
摘要：
#导出所有库mysqldump -h127.0.0.1 -uroot -proot@123 -P5320 -B -R -E --triggers --default-character-set=utf8 --opt --max-allowed-packet=64M --net_buffer_l... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(311) 评论(0) 推荐(0)
摘要：
#将以下语句修改一下后复制粘贴到linux命令行方法1：alias db_conn="mysql -h 127.0.0.1 -uroot -proot@123 -P 3320"db_conn -ss -e "select concat(\"kill \",b.ID,\";\") as kill... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(245) 评论(0) 推荐(0)
摘要：
前阵子一直在做与Mysql相关的项目，于是也一直在学习Mysql相关的知识，看了《Mysql:Innodb存储引擎》、《高性能Mysql》后，也算对Mysql有一定的了解了，特地在此总结一下(图片都是《Mysql:Innodb存储引擎》电子版的)。mysql体系结构：由：连接池组件、管理服务和... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(322) 评论(0) 推荐(0)
摘要：
表4.1、innodb存储引擎表类型innodb表类似oracle的IOT表(索引聚集表-indexorganizedtable)，在innodb表中每张表都会有一个主键，如果在创建表时没有显示的定义主键则innodb如按照如下方式选择或者创建主键。首先表中是否有唯一非空索引(unique n... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(473) 评论(0) 推荐(0)
摘要：
参数innodb_fast_shutdown提醒了我一直没研究过的innodb特性之一——insertbuffer。首先简述这个参数，然后谈谈insert buffer的实现。Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择：1. 0表示在i... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(1282) 评论(0) 推荐(0)
摘要：
1)如果你同时从同一客户插入很多行，使用多个值表的INSERT语句。这比使用分开INSERT语句快(在一些情况中几倍)。 Insert into testvalues(1,2),(1,3),(1,4)…2) 如果你从不同客户插入很多行，能通过使用INSERTDELAYED语句得到更高的速度。... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(123) 评论(0) 推荐(0)
摘要：
70、read_only|OFF当变量对复制从服务器设置为ON时，从服务器不允许更新，除非通过从服务器的线程或用户拥有SUPER权限。可以确保从服务器不接受客户端的更新命令。READ_ONLY不适用临时表，也防止服务器日志表插入行，这个变量并不妨碍分析TABLE或OPTIMIZETABLE命令... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(339) 评论(0) 推荐(0)
浙公网安备 33010602011771号