05 2019 档案

摘要:一、译文 翻译来自官方文档:Locking Reads If you query data and then insert or update related data within the same transaction, the regular SELECT statement does no 阅读全文
posted @ 2019-05-31 16:04 zping 阅读(739) 评论(0) 推荐(0)
摘要:主要内容: 存储结构 索引 锁 事务 存储结构 表 索引组织表:表是根据主键顺序组织存放的。如果表中没有非空惟一索引,引擎会自动创建一个6字节大小的指针。 主键的索引是定义索引的顺序,而不是建表时列的顺序。 表空间:逻辑结构的最高层,所有的数据都存放在表空间中。 段:表空间由各个段组成,常见的段有数 阅读全文
posted @ 2019-05-30 18:14 zping 阅读(199) 评论(0) 推荐(0)
摘要:一。服务器端1.yum -y install rsync xinetd 2.vi /etc/xinetd.d/rsync 将yes 修改为no IPV6修改为IPV4 3.vi /etc/rsyncd.conf 新建文件 uid = rootgid = rootuse chroot = nomax 阅读全文
posted @ 2019-05-29 14:17 zping 阅读(8950) 评论(0) 推荐(0)
摘要:数据库是所有架构中不可缺少的一环,一旦数据库出现性能问题,那对整个系统都回来带灾难性的后果。并且数据库一旦出现问题,由于数据库天生有状态(分主从)带数据(一般还不小),所以出问题之后的恢复时间一般不太可控,所以,对数据库的优化是需要我们花费很多精力去做的。接下来就给大家介绍一下微博数据库这些年的一点 阅读全文
posted @ 2019-05-27 10:35 zping 阅读(292) 评论(0) 推荐(0)
摘要:一. varchar存储规则: 4.0版本以下,varchar(20),指的是20字节,如果存放UTF8汉字时,只能存6个(每个汉字3字节) 5.0版本以上,varchar(20),指的是20字符,无论存放的是数字、字母还是UTF8汉字(每个汉字3字节),都可以存放20个,最大大小是65532字节 阅读全文
posted @ 2019-05-24 11:00 zping 阅读(888) 评论(0) 推荐(2)
摘要:前不久去面试,被问到Innodb引擎的表如何改数据库名,当时我也只回答了MyISAM改如何操作,被一些细节问题打败,真是操蛋。 如果表示MyISAM那么可以直接去到数据库目录mv就可以。 Innodb完全不行,自己测试过,会提示相关表不存在。 第一种方法: RENAME database olddb 阅读全文
posted @ 2019-05-23 18:30 zping 阅读(983) 评论(0) 推荐(0)
摘要:在编译安装新的python3.7的时候报错 ModuleNotFoundError: No module named '_ctypes',其实是缺少了一个新需要的开发包libffi-devel,安装后即可 yum install libffi-devel -y (包在base) 最终显示Instal 阅读全文
posted @ 2019-05-23 16:35 zping 阅读(626) 评论(0) 推荐(0)
摘要:3、pip安装 3.1 首先安装setuptools软件包: (1)下载setuptools包 wget https://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz (2)解压setuptools包 tar z 阅读全文
posted @ 2019-05-22 18:46 zping 阅读(457) 评论(0) 推荐(0)
摘要:处理方法如下: 一:跳过错误 这个GTID_NEXT的4,是在master 上正常执行的最大id + 1,即Executed_Gtid_Set里面master uuid执行过的最大值 3+ 1 二,重置master跳过错误 手工调整SLAVE已清除的GTID列表GTID_PURGED,人为通知SLA 阅读全文
posted @ 2019-05-22 16:12 zping 阅读(737) 评论(0) 推荐(0)
摘要:[MySQL]prompt = [\\u@\\h][\\d]>\\_ #自定义登录提示信息[mysqld]#基本设置#user = mysql #用户名sql_mode =“STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO 阅读全文
posted @ 2019-05-22 10:32 zping 阅读(187) 评论(0) 推荐(0)
摘要:今天在公司的工程环境中做了个案例,手动切换关闭主库的mysql服务,从库上升为主库之后,发现主库处于read_only状态,通过高可用的组件观察了剩余主从库的alive以及delay的状态发现均正常。由于处于公司的内网环境中,所以就没有保存图片,就通过文字的方式记录下今天这个案例。环境:mysql5 阅读全文
posted @ 2019-05-22 10:22 zping 阅读(1031) 评论(0) 推荐(0)
摘要:mysql对cpu的利用特点:5.1之前,多核支持较弱;5.1可利用4个核;5.5可利用24核;5.6可利用64个核;每个连接对应一个线程,每个并发query只能使用一个核mysql对内存的利用特点:有全局内存和会话内存,建议将会话内存设置较小;内存管理简单、有效(如在高并发环境下,可以增加物理内存 阅读全文
posted @ 2019-05-22 09:56 zping 阅读(281) 评论(0) 推荐(0)
摘要:1. Innodb存储引擎 2. Innodb文件 3. Innodb表 4. Innodb事务 5. innodb索引与算法 6. Innodb锁1. Innodb存储引擎2. Innodb文件 3. Innodb表 4. Innodb事务 5. innodb索引与算法 6. Innodb锁 作者 阅读全文
posted @ 2019-05-21 16:56 zping 阅读(398) 评论(0) 推荐(0)
摘要:一台Centos 7.2虚拟机 操作步骤: 方法一: 1. 更改网卡配置文件的名字 ~]# cd /etc/sysconfig/network-scripts/ network-scripts]# mv ifcfg-eno33559296 ifcfg-eth0 2. 编辑网卡ifcfg-eth0信息 阅读全文
posted @ 2019-05-21 16:17 zping 阅读(236) 评论(0) 推荐(0)
摘要:前言 ​ 关于数据库我们知道是通过内存对磁盘进行操作的,也知道数据会落实到磁盘上,但是数据在磁盘上的存储结构可能大家还不是很清楚。 ​ MySQL服务器上负责对表中的数据的读取和写入的工作的部分是存储引擎,而关于服务器会支持不同类型的服务器,如:InnoDB、MyISAM、Memory...... 阅读全文
posted @ 2019-05-21 11:09 zping 阅读(356) 评论(0) 推荐(0)
摘要:delimiter $create event my_long_running_trx_monitoron schedule every 1 minutestarts '2015-09-15 11:00:00'on completion preserve enable dobegin declare 阅读全文
posted @ 2019-05-20 18:17 zping 阅读(1366) 评论(0) 推荐(0)
摘要:最近一段时间一边在线上抓取SQL来优化,一边在整理这个开发规范,尽量减少新的问题SQL进入生产库。今天也是对公司的开发做了一次培训,PPT就不放上来了,里面有十来个生产SQL的案例。因为规范大部分还是具有通用性,所以也借鉴了像去哪儿和赶集的规范,但实际在撰写本文的过程中,每一条规范的背后无不是在工作 阅读全文
posted @ 2019-05-20 17:14 zping 阅读(317) 评论(0) 推荐(0)
摘要:作者简介:许子文 曾任达梦高级数据库工程师,现任去哪儿网高级DBA,负责MySQL 、Hbase运维和自动化运维工具的开发。在RDBMS拥有多年数据库架构设计、性能优化和运维经验,对海量数据有丰富的运维经验和个人见解。 备份恢复是DBA日常运维工作中的重中之重􏰀怎么快速高效完成备份和恢复􏰀怎么有 阅读全文
posted @ 2019-05-20 16:50 zping 阅读(302) 评论(0) 推荐(0)
摘要:当然, 从总的结果来看, 似乎两者都表现为两次读取的结果不一致. 但如果你从控制的角度来看, 两者的区别就比较大 对于前者, 只需要锁住满足条件的记录 对于后者, 要锁住满足条件及其相近的记录 我这么理解是否可以? 避免不可重复读需要锁行就行 避免幻影读则需要锁表 ####不可重复读和幻读的区别## 阅读全文
posted @ 2019-05-17 18:21 zping 阅读(425) 评论(0) 推荐(0)
摘要:搭建MMM: 1,安装 agent 节点执行 yum install -y mysql-mmm-agent 2, monitor 节点执行 yum install -y mysql-mmm-monitor 配置文件 1, /etc/init.d/mysql-mmm-agent start perl: 阅读全文
posted @ 2019-05-16 17:11 zping 阅读(509) 评论(0) 推荐(0)
摘要:先看一下实验的两张表: 表comments,总行数28856 表comments_for,总行数57,comments_id是有索引的,ID列为主键。 以上两张表是我们测试的基础,然后看一下索引,comments_for这个表comments_id是有索引的,ID为主键。 最近被公司某一开发问道JO 阅读全文
posted @ 2019-05-16 15:40 zping 阅读(257) 评论(0) 推荐(0)
摘要:把底层所有技术打通,这些技术就像ATM数据,柜台有的数据是柜台的数据,所有数据打通,第一我可以节省很多的现钞,这些现钞可以拿出去放贷款,现在流动性这么紧张。 第二,你可以节省很多的成本,大家想一想,如果说这样做的话,我每天不需要那么多押运车押运。我举这个例子,这是数据,过去为什么没做到?底层数据没有 阅读全文
posted @ 2019-05-16 15:06 zping 阅读(483) 评论(0) 推荐(0)
摘要:DBA操作规范 1、涉及业务上的修改/删除数据,在得到业务方、CTO的邮件批准后方可执行,执行前提前做好备份,必要时可逆。 2、所有上线需求必须走工单系统,口头通知视为无效。 3、在对大表做表结构变更时,如修改字段属性会造成锁表,并会造成从库延迟,从而影响线上业务,必须在凌晨0:00 后业务低峰期执 阅读全文
posted @ 2019-05-15 18:02 zping 阅读(334) 评论(0) 推荐(0)
摘要:一、服务器分布 二、MySQL-MMM 配置 (1)、公共配置【所有DB节点:Master1、Master2、Slave1、Slave2 Monitor节点】 # vim /etc/mysql-mmm/mmm_common.conf (2)、Agent节点【所有DB节点:Master1、Master 阅读全文
posted @ 2019-05-15 17:17 zping 阅读(313) 评论(0) 推荐(0)
摘要:INNODB_LOCKS, INNODB_LOCK_WAITS, INNODB_TRX是MYSQL中事务和锁相关的表。通常我们遇到事务超时或锁相关问题时,直接运行下面SQL语句即可进行简单检查:--查看事务select * from information_schema.INNODB_TRX;--查 阅读全文
posted @ 2019-05-14 17:11 zping 阅读(2758) 评论(1) 推荐(0)
摘要:问题描述; 研发同事反应MySQL数据库有锁,检查innodb_trx时,发现有很多长时间未结束的空事务。 这些事务的trx_mysql_thread_id都为0,因此不能通过kill id 的方式强制关闭这些长时间未结束的僵尸事务。 SELECT trx_mysql_thread_id, trx_ 阅读全文
posted @ 2019-05-14 17:08 zping 阅读(1112) 评论(0) 推荐(0)
摘要:数据库版本Server version: 5.6.24-log Source distribution问题描述数据采集平台业务数据库由于批量灌数据导致主从延迟上万秒。复制线程长期处于Queueing master event to the relay log状态。监控数据显示1.Seconds_Be 阅读全文
posted @ 2019-05-14 14:15 zping 阅读(594) 评论(0) 推荐(0)
摘要:一、MySQL+MMM集群中服务的启动顺序 小弟最近心血来潮,在实验环境值部署MySQL+MMM集群,刚开始顺风顺水,一路到底,没出现任何问题。此时,个人也觉得,MySQL+MMM集群部署起来也没什么难度啊,但是随后出现的问题,却彻底打脸了。 其实,原因是这样的: MySQL+MMM部署很顺利,运行 阅读全文
posted @ 2019-05-13 18:13 zping 阅读(362) 评论(0) 推荐(0)
摘要:作为一名DBA,在工作中会经常遇到一些MySQL主从同步延迟的问题,这些同步慢的问题,其实原因非常多,可能是因为主从的网络问题导致,可能是因为网络带宽问题导致,可能是因为大事务导致,也可能是因为单线程复制导致的延迟。最近遇到一个很典型的同步延迟问题,将分析过程写出来,希望对广大DBA在排查同步延迟问 阅读全文
posted @ 2019-05-05 16:56 zping 阅读(5702) 评论(0) 推荐(0)