摘要：
内容提纲MySQL的特点；硬件、系统优化；MySQL配置优化；SCHEMA设计优化；SQL 优化；其他优化。MySQL 的特点首先，需要明确的是。想要做好MySQL优化，需要先了解MySQL都有哪些特点：简言之，MySQL一般用于互联网业务的数据持久化存储，并且用于保证数据的一致性、可靠性，而不是用... 阅读全文
posted @ 2015-09-11 13:42 DBA日志小记 阅读(253) 评论(0) 推荐(0) 编辑
摘要：
linux控制内存的内核参数，大多放在在/proc/sys/vm目录下，主要分为几类：控制内存cache1、dirty_background_bytes/dirty_background_ratio当dirty cache到了多少的时候，就启动pdflush进程，将dirty cache写回磁盘当有... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(737) 评论(0) 推荐(0) 编辑
摘要：
#!/usr/bin/python#-*- coding: utf-8 -*-import paramikoimport osimport commandsimport timeos.environ['PATH'] = '$PATH:$HOME/bin:/veris/usr/bin:/veris/u... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(113) 评论(0) 推荐(0) 编辑
摘要：
#!/usr/bin/python#-*- coding: utf-8 -*-import paramikoimport threadingdef ssh2(ip,username,passwd,cmd): try: ssh = paramiko.SSHClient() ssh.set... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(389) 评论(0) 推荐(0) 编辑
摘要：
背景：之前面试被问到这么一个问题，数据库两个transaction，当transaction1在update某一行的时候，transaction2在select的时候会不会block。我以前用MySQL做过测试，印象是可以，但是面试官提出质疑，今天我用MySQL验证这个问题的仔细研究了一下MySQL... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(1422) 评论(0) 推荐(1) 编辑
摘要：
BecauseInnoDBis a multi-versioned storage engine, it must keep information about old versions of rows in the tablespace. This information is stored in... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(274) 评论(0) 推荐(0) 编辑
摘要：
键类型：1.主键2.唯一键3.外键索引类型：1. Hash索引2. Ordered索引(BTREE/RTREE)索引的创建：1.主键会创建两个索引：Hash索引和Ordered索引2.唯一键会创建两个索引：Hash索引和Ordered索引3.一般定义的索引只创建Ordered索引主键和唯一键各个索引... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(117) 评论(0) 推荐(0) 编辑
摘要：
复制如何工作从高层来看，复制分成三步：(1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）；(2) slave将master的binary log events拷贝到它的中继日志(relay log)；(3) slav... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(208) 评论(0) 推荐(0) 编辑
摘要：
MySQL复制操作可以将数据从一个MySQL服务器(主)复制到其他的一个或多个MySQL服务器(从)。试想一下，如果从服务器不再局限为一个MySQL服务器，而是其他任何数据库服务器或平台，并且复制事件要求实时进行，是否可以实现呢? MySQL团队最新推出的 MySQL Applier for Ha... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(259) 评论(0) 推荐(0) 编辑
摘要：
Impala架构分析Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(181) 评论(0) 推荐(0) 编辑
摘要：
#修改存储过程、函数、事件、触发器、视图的 DEFINERselect definer from mysql.proc;update mysql.proc set definer='billing@%';select DEFINER from mysql.EVENTS;update mysql.EV... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(698) 评论(0) 推荐(0) 编辑
摘要：
优化表的数据类型表需要使用何种数据类型，是需要根据应用来判断的。虽然应用设计的时候需要考虑字段的长度留有一定的冗余，但是不推荐让很多字段都留有大量的冗余，这样即浪费存储也浪费内存。我们可以使用PROCEDURE ANALYSE()对当前已有应用的表类型的判断，该函数可以对数据表中的列的数据类型提出优... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(122) 评论(0) 推荐(0) 编辑
摘要：
本文汇总了和MySQL运维开发相关的所有工具，并会持续更新慢日志分析工具：mysqldumpslow MySQL自带的mysqlslahttp://hackmysql.com/scripts/pt-query-digest percona-toolkit工具包里面的1. 工具套件集percona-t... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(172) 评论(0) 推荐(0) 编辑
摘要：
由于通过mysqldump导出的存储过程、函数、视图、触发器包含definer信息，导致很多时候无法正常导入。通过以下SQL可以自动生成创建语句。--导出存储过程和函数SELECT CONCAT("DROP ",TYPE," IF EXISTS `",db,"`.`", NAME,"`;\nDELI... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(3809) 评论(0) 推荐(0) 编辑
摘要：
推荐两个工具mk-table-checksum、pt-table-sync可以检查不同库下的两张表名相同的表，数据是否一致。mk-table-checksum效果截图，CHECKSUM效验值相同表示3370端口与3340端口下的test库rdc_proc_trans_his表数据一致。pt-tabl... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(323) 评论(0) 推荐(0) 编辑
摘要：
Linux内核有个机制叫OOMkiller（Out-Of-Memorykiller），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOM... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(467) 评论(0) 推荐(0) 编辑
摘要：
第1章 引言随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(141) 评论(0) 推荐(0) 编辑
摘要：
1、Heartbeat+LVS+mm2、Heartbeat+Haproxy+mm3、Keepalived+LVS+mm4、Keepalived+Haproxy+mm5、heartbeat +DRBD6、DNS轮询7、MHA8、MMM9、Cobar10、Percona XtraDB Cluster11... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(141) 评论(0) 推荐(0) 编辑
摘要：
2013年12月17日译者：吴炳锡 来源：http://www.mysqlsupport.cn/原文：http://www.mysqlperformanceblog.com/2013/12/07/linux-performance-tuning-tips-mysql/因为很多MySQL的生产环境都在... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(257) 评论(0) 推荐(0) 编辑
摘要：
I mentioned earlier that IO schedulerCFQcoming by default in RedHat / CentOS 5.x may be not so good for MySQL. And yesterday one customer reported tha... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(145) 评论(0) 推荐(0) 编辑
摘要：
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数据。1.安装我们使用的版本是sqoop-1.4.3.bin__hadoop-1.0.0.tar.gz，打算安装在/usr/local目录下。首先就是解压缩，... 阅读全文
posted @ 2015-09-11 09:26 DBA日志小记 阅读(444) 评论(0) 推荐(0) 编辑
摘要：
表4.1、innodb存储引擎表类型innodb表类似oracle的IOT表(索引聚集表-indexorganizedtable)，在innodb表中每张表都会有一个主键，如果在创建表时没有显示的定义主键则innodb如按照如下方式选择或者创建主键。首先表中是否有唯一非空索引(unique n... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(462) 评论(0) 推荐(0) 编辑
摘要：
参数innodb_fast_shutdown提醒了我一直没研究过的innodb特性之一——insertbuffer。首先简述这个参数，然后谈谈insert buffer的实现。Innodb_fast_shutdown告诉innodb在它关闭的时候该做什么工作。有三个值可以选择：1. 0表示在i... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(1136) 评论(0) 推荐(0) 编辑
摘要：
1)如果你同时从同一客户插入很多行，使用多个值表的INSERT语句。这比使用分开INSERT语句快(在一些情况中几倍)。 Insert into testvalues(1,2),(1,3),(1,4)…2) 如果你从不同客户插入很多行，能通过使用INSERTDELAYED语句得到更高的速度。... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(115) 评论(0) 推荐(0) 编辑
摘要：
70、read_only|OFF当变量对复制从服务器设置为ON时，从服务器不允许更新，除非通过从服务器的线程或用户拥有SUPER权限。可以确保从服务器不接受客户端的更新命令。READ_ONLY不适用临时表，也防止服务器日志表插入行，这个变量并不妨碍分析TABLE或OPTIMIZETABLE命令... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(286) 评论(0) 推荐(0) 编辑
摘要：
1、log_slow_queries| OFF/ON慢查询记录日志，慢查询是指查询时间超过设定时间（如下面设为2秒）的查询，（还有个指标是第29点的min_examined_row_limit）这个可以记录那些查询语句比较慢，然后通过分析语句而优化数据库或查询语句。具体配置在my.ini加入：... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(160) 评论(0) 推荐(0) 编辑
摘要：
发现 thread_cache_size原来设置好小，这个默认值实质上也偏小，建议大的web项目，要调大这个值。一、多大算合适 :说实话我也不是很清楚，但是查阅了N多中文，英文资料，大部分:1. SHOW STATUS LIKE'threads%';看以下几个值:Variable_name V... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(2247) 评论(0) 推荐(0) 编辑
摘要：
有同事问了几个MySQL参数设置，这里简单记录一下：innodb_thread_concurrency ，用于限制能够进入innodb层的线程数当进入innodb层调用read_row/write_row/update_row/delete_row时，会检查已经进入innodb的线程数：inn... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(485) 评论(0) 推荐(0) 编辑
摘要：
mysqlbackup备份和还原A.1全库备份.命令:mysqlbackup --host=127.0.0.1 --user=root--password=root@123 --port=3330 --with-timestamp--backup-dir=/verislog/mysqlback... 阅读全文
posted @ 2015-09-11 09:25 DBA日志小记 阅读(503) 评论(0) 推荐(0) 编辑