摘要: 现在主库的MySQL的QPS一直在3K/s左右,想知道其到底执行了那些SQL,或者是那些SQL执行的次数比较多: 腾讯云的后台监控: 开启腾讯云的SQL审计后,下载几分钟SQL日志文件, 下列语句在MySQL建表,如我们下载了6分钟的单实例审计日志: CREATE TABLE `ex` ( `Aff 阅读全文
posted @ 2021-11-24 16:15 zping 阅读(394) 评论(0) 推荐(1) 编辑
摘要: 最近10多年一直在从事DBA方面的工作,5年多前经常心跳突然很快,期间也看过中医,中医说是:心悸。 但是没怎么专门治疗,特别是在2015年左右,心悸比较厉害,时长快,也查了一下网上的小技巧,但是效果不好。 一直到2020年才真正治疗好我的心悸。 以前我们经常听到一句话: 我为人人,人人为我。 特别是 阅读全文
posted @ 2021-11-24 15:34 zping 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 把自己看到的,对IT等系统的领悟,也就是通常说的道,备忘,通常听到一句话:守正出奇, 但要能做到这一点,先短时间看清事物本质: 数据库运维核心 可控 运维的核心 提质增效降本 监控核心 可观测 程序核心 开源增效降本 系统架构核心 抽象和前瞻 云计算核心 统一管理控制和调度 社交的核心 找到同类 大 阅读全文
posted @ 2021-09-10 11:34 zping 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 最近加字段,突然想起几年前一次大表加字段的事情。 缘起: 公司的订单表和配送单表,以前金额字段是:decimal(19,3)类型,正常肯定够用,但是财务有个需求,需要把字段类型从 decimal(19,3) 改成decimal(38,10)类型,支持10位小数点。 当BI部门给我提这个需求时,也没觉 阅读全文
posted @ 2021-09-02 17:06 zping 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 最近事情比较少,闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化,和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下: 2011年2月--2011年7月数据库性能优化过程 时间有点久,但最深刻的是,出现CPU持续100%的时候,找不到具体原因? 什么原因? 可能 阅读全文
posted @ 2021-09-01 10:53 zping 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 缘起: 若干年前,刚到一家3C类的电商公司做DBA,到公司没几天,公司的CEO和研发总监,说现在要做个事情: 把IDC的数据库的数据,要同步一份到仓库,因单量大,仓库经常爆仓,仓库网络不好时,可以直接用同步的数据 记得当时CEO还特意,弄个讲座讲了公司如何处理单量爆仓 第一次做DBA,第一个月只是有 阅读全文
posted @ 2021-08-17 15:48 zping 阅读(96) 评论(0) 推荐(0) 编辑
摘要: 《道德经》:万物之始,大道至简,衍化至繁 稻盛和夫:真正的聪明人,善于把复杂事情简单化,至简也至难 稻盛和夫:马云,任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作:1,审核SQL 2,执行SQL 3,优化SQL 4,升级服务器 5,配置各种高可用 …… ? 在DBA行业做了比 阅读全文
posted @ 2021-08-13 16:36 zping 阅读(1080) 评论(0) 推荐(0) 编辑
摘要: 公司核心主库,在我来公司时是1主5从库(腾讯云RDS),外加7个自建级联从库。 优化至今: 1, 7个自建多级从库,从以前的中转同步改成从一级从库同步,废弃了5个从库实例,还有1个给大数据用,另外一个做备用 2,数据库容量控制, 期间清理出400多G空间的表数据 3,1主5从发展到了1主13从库 4 阅读全文
posted @ 2021-08-12 16:52 zping 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 当初分析日志,麻烦的是腾讯云的SQL审计日志下载,有下列限制: 1,单次最多1000万条下载 2,单个实例最多生成5条日志文件,多的要先删除以前文件才能生成 腾讯云日志文件生成界面: 一开始用手工下载,想想也不多,可以忍受,弄了一段时间后,研发的要求越来越高,不能一直这样手工,刚好旁边的运维小伙用G 阅读全文
posted @ 2021-08-12 14:41 zping 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 上一篇介绍了用ELK分析4亿多条审计日志过程,现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据: 1,950多张表,几十个账号, 2,5种操作类型(select,update,insert,delete,replace),14个实例(1主13从库) 分析说明: select汇总: 阅读全文
posted @ 2021-08-12 11:23 zping 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 说明: 最近优化慢SQL,执行计划错误和OR条件查询优化实战经验,提供优化SQL思路和方法: 1,利用exists来优化SQL(利用exists减少回表查询次数和确定驱动表) 2,OR语句优化(OR条件,字段有索引,无法使用索引的) 案例1: SELECT sum( CASE WHEN ols.ch 阅读全文
posted @ 2021-06-08 10:39 zping 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 前言: 该文章将会介绍以下: 1,快速分析SQL日志的几种方法 2,使用mysql的全文索引快速分析少量SQL审计 3,准确快速分析4亿多条审计SQL日志(过程和最终解决方案) 公司核心库拆库拆表,对表和账号分析,大量系统连接,1主13个从库,几十个账号,后来都开通了全SQL审计,14个实例的审计日 阅读全文
posted @ 2021-03-04 16:45 zping 阅读(200) 评论(0) 推荐(0) 编辑
摘要: 1,每次查询的数据要有限制 2013年1月 产品独立数据库,由于多条SQL每次查询数据超过几千条,有些超过10万条数据未分页,造成应用服务器CPU有时持续100%。 2,禁止循环调用SQL 2011年5月 程序调用Sys_User查询,每分钟执行超过3千次,造成服务器CPU持续100% 3,禁止使用 阅读全文
posted @ 2019-09-17 13:33 zping 阅读(472) 评论(2) 推荐(0) 编辑
摘要: 今天介绍一下从业数据库dba这么多年,前段时间碰到的奇葩事情,说之前,提2个问题: 1,见到单个数据库最多有多少张业务表 2,一个表有30多个字段,表里就有一条数据,写一个查询就这一个表的sql,不关联其他表,不要用WAITFOR DELAY 等关键字,写一个执行查询要20秒以上的sql 以前我也从 阅读全文
posted @ 2019-08-01 19:44 zping 阅读(323) 评论(0) 推荐(1) 编辑
摘要: 目前公司有一套核心交易数据库配置了AlWaysON,SQL 2012版本, 1主4从, 其从库(8,14, 8.15) 这2台只读的从数据库服务器, 后台程序和wms等很多程序,都是直接配置IP连接这个2个机器,而且这2台机器已经过保,如果其中一天机器出现故障,不能使用,怎么处理? 怎么解决? 先谈 阅读全文
posted @ 2019-07-31 20:05 zping 阅读(653) 评论(2) 推荐(3) 编辑
摘要: 从某个时间开始,Cat监控到的数据发现,正式环境的Insert 表很慢,数据库用了AlwasON高可用(1个备库做了实时同步),特别是每天早上9:00--11:00,做活动的时候,下单的insert需要1秒,有些有3秒的,而且是大量出现 很多简单的insert也有。从8月份就一直就有问题,严重影响业 阅读全文
posted @ 2018-12-12 20:03 zping 阅读(1055) 评论(0) 推荐(1) 编辑
摘要: 前段时间,我们去回访客户,看了今年上半年优化的一个系统,看看性能怎么样。去了以后,客户反映感觉还可以,不慢,就是说这段时间数据库服务器的CPU有时超过了90%,会持续一段比较长的时间,可能有几十分钟。 下午,就发现这时候数据库服务器的CPU一直在90%以上。通过sql server profile也没查出什么问题。觉得操作很正常,后来通过DMVs发现,执行我以前改写的几个存储过程,执行次数比较多,... 阅读全文
posted @ 2008-11-18 21:54 zping 阅读(2591) 评论(9) 推荐(2) 编辑
摘要: 上周五,公司的同事,从客户那边回来,说一个人员选择页面很慢,页面打开需要15s左右,后来自己也试了一下,也的确需要比较长的时间,客户反应比较强烈。 通过DMV查出缓慢的两个语句如下:语句一:[代码] 语句二:[代码] 查询的两个表的数据量: 表humres: 1920 行 ,191次IO 表orgunitlink:256 行, 11 次IO 最大表才不到2000行数据,查询为何如此慢。看看执... 阅读全文
posted @ 2008-11-17 15:24 zping 阅读(3588) 评论(3) 推荐(0) 编辑
摘要: 今天下午,我们搭建了测试服务器,客户的两个管理人员,正在不停的添加数据,突然说页面打开错误,同时添加数据很慢,这时通过监控数据库服务器发现sql语句发现执行正常,但是客户的页面打不开。这时由于JBOSS服务器和数据库服务器都是放在一个服务器上,这时我看看内存和CPU,发现CPU占用100%,一般都在98%以上。这时很奇怪了,sql语句执行都比较快,为何内存占用98%居高不下,而且服务器还是中午重新... 阅读全文
posted @ 2008-09-24 20:47 zping 阅读(4135) 评论(10) 推荐(1) 编辑
摘要: 从上海来到温州,看了前几天监控的sql语句和数据变化,发现有一条语句的io次数很大,达到了150万次IO,而两个表的数据也就不到20万,为何有如此多的IO次数,下面是执行语句:[代码] 执行IO统计结果如下:[代码] 执行计划如下: 这里发现:主要是嵌套循环算法占的开销最大。个人感觉是“Or”引起的性能问题,后来根据业务逻辑改写。如下: 语句修改如下: [代码] 查询IO... 阅读全文
posted @ 2008-09-23 16:53 zping 阅读(15565) 评论(28) 推荐(3) 编辑
摘要: 放生 【童生曰】:那全真堂每月之放生,上天嘉许否? 【济佛曰】:哈哈!你说呢?从上天降驾圣神仙佛之多,岂不明证?何用为师再费唇舌。全真堂近几年来推广放生善举,所放生之蛤蜊已有一百三十多 万颗,可谓功德不赀,上天已对有功诸子予以叙录功果矣! 【童生曰】:恩师可否借着书之机披露一番,以嘉勉师兄师姊之辛劳 阅读全文
posted @ 2021-12-16 09:59 zping 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 01 神话密码解译 :女娲造人 在这里给大家讲讲神话,讲你从小就听祖辈们讲过,但是又从没听过的神话。 为你揭开掩盖着人类世界的面纱,给你惊艳的真容;我想为你开启一个前所未知的,从未触及过的全新宇宙世界。 在这个特殊的时刻,请放下观念或偏见,跟上我的思维,跟随我进入这个神奇的世界…… 女娲造人 文章开 阅读全文
posted @ 2021-11-26 10:52 zping 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 现在主库的MySQL的QPS一直在3K/s左右,想知道其到底执行了那些SQL,或者是那些SQL执行的次数比较多: 腾讯云的后台监控: 开启腾讯云的SQL审计后,下载几分钟SQL日志文件, 下列语句在MySQL建表,如我们下载了6分钟的单实例审计日志: CREATE TABLE `ex` ( `Aff 阅读全文
posted @ 2021-11-24 16:15 zping 阅读(394) 评论(0) 推荐(1) 编辑
摘要: 最近10多年一直在从事DBA方面的工作,5年多前经常心跳突然很快,期间也看过中医,中医说是:心悸。 但是没怎么专门治疗,特别是在2015年左右,心悸比较厉害,时长快,也查了一下网上的小技巧,但是效果不好。 一直到2020年才真正治疗好我的心悸。 以前我们经常听到一句话: 我为人人,人人为我。 特别是 阅读全文
posted @ 2021-11-24 15:34 zping 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 从事算命三十余年,一路走来,生活中一幕幕的悲喜剧,在身边不断登场与落幕、上妆与卸妆。人生的无常,总令人慨叹不己。细细思量,每一个故事中,都有一根若隐若现的牵引命运的线,在缠缠绕绕。人间悲欢,红尘漫卷。在一个个的小故事中,听那心上的莲花缓缓盛开。 有人认为,世间哪来的因果? 好人命不长,坏人乐逍遥的事 阅读全文
posted @ 2021-11-08 11:14 zping 阅读(137) 评论(0) 推荐(0) 编辑
摘要: 不少人在遇到运程阻滞、生意失败、事业不利,或婚姻受到挫折,或病魔缠身,甚至多灾多难时,都会来找我这个命相学者占卜,问问今后的前程如何?何时会行好运?如果占出的卦象是吉利,当然满心欢喜而去。若是占出的卦象仍然是不利的,则会愁容满面,灰心丧志。 为人占卜十余年,阅历了不少人事,也见过不少寒士上青云,但是 阅读全文
posted @ 2021-10-21 09:55 zping 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 世界迄今为止,能代表人类智慧巅峰的,有三本书:这三本书的创作人分别是孔子、老子、佛祖。也是儒家、道家、佛家的代表作。 有趣的是,这三个人出生于同一个时代,佛祖生于公元前623年,老子生于公元前571年,孔子生于公元前551年,也就是说:佛祖比老子大52岁,老子比孔子大20岁。我不知道当时地球上究竟发 阅读全文
posted @ 2021-09-17 17:37 zping 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 把自己看到的,对IT等系统的领悟,也就是通常说的道,备忘,通常听到一句话:守正出奇, 但要能做到这一点,先短时间看清事物本质: 数据库运维核心 可控 运维的核心 提质增效降本 监控核心 可观测 程序核心 开源增效降本 系统架构核心 抽象和前瞻 云计算核心 统一管理控制和调度 社交的核心 找到同类 大 阅读全文
posted @ 2021-09-10 11:34 zping 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 最近加字段,突然想起几年前一次大表加字段的事情。 缘起: 公司的订单表和配送单表,以前金额字段是:decimal(19,3)类型,正常肯定够用,但是财务有个需求,需要把字段类型从 decimal(19,3) 改成decimal(38,10)类型,支持10位小数点。 当BI部门给我提这个需求时,也没觉 阅读全文
posted @ 2021-09-02 17:06 zping 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 最近事情比较少,闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化,和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下: 2011年2月--2011年7月数据库性能优化过程 时间有点久,但最深刻的是,出现CPU持续100%的时候,找不到具体原因? 什么原因? 可能 阅读全文
posted @ 2021-09-01 10:53 zping 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 前言: 该文章将会介绍以下: 1,MySQL全文索引的使用 2,全文索引停止词STOPWORD 3,使用全文索引的高效和准确 最近事情比较少,刚好可以梳理一下以前的工作,做一下总结! 在以前的解决方案中有介绍百万级如何使用MySQL全文索引方法,在没使用ELK前,线上13个实例的SQL日志都是手工导 阅读全文
posted @ 2021-08-31 11:23 zping 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 从MySQL 8.0.23开始,复制结构中,增加了从节点自动故障转移功能。测试一下起功能: 用dbdeployer快速安装测试环境,我这边安装的是:dbdeployer1.8.5 -- 安装脚本 dbdeployer deploy replication 8.0.25 --bind-address= 阅读全文
posted @ 2021-08-27 11:19 zping 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 知识改变命运 作者:易简 季秋一天,子孔老先生遇一位开培训部事业成功女士。 成功女士溃然而叹:“我虽然事业有成,也赚到了钱,但工作非常幸苦,时常感觉疲惫,但又停不下来。老公吧,能力差,帮不上忙,夫妻感情也不好。员工吧,又要提防着她们翅膀硬了,把学生带走,整日操心经营。不知道活着为了什么,觉得生活没有 阅读全文
posted @ 2021-08-25 15:57 zping 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 最近1台云Redis的内存曝高,24G的内存占用19G,而且一直增长,想看那些key比较大,腾讯云Redis有大key分析的结果,但是这台没有,估计要找腾讯云的技术刷新一下数据: 分析大key工具,有个很好的开源工具:redis-rdb-tools 基于python2,比较好用。 安装python2 阅读全文
posted @ 2021-08-25 14:58 zping 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 01 养不动心 人生在世间时时刻刻像处于荆棘丛林之中一样,处处暗藏危险或者诱惑。只有不动妄心,不存妄想,才能使自己的行动无偏颇,抵制诱惑。王阳明说:“身之主宰便是心,心之所发便是意,意之本体便是知,意之所在便是物”。心是身体和万物的主宰,当心灵安定下来不为外物所动时,本身所具备的巨大智慧便会显露出来 阅读全文
posted @ 2021-08-25 11:48 zping 阅读(252) 评论(0) 推荐(0) 编辑