摘要: 记录一下工作上疑难问题解决: 一,方便的页面监控 前几天早上,负责的kettle抽取数据表的任务又报错了,早上看手机有4个未接报警电话,一看是人员表,原来昨天报表系统有个大的查询一直未查询完成,导致truncate这个人员表,无法获取meta元数据锁,后续执行kettle抽取和SQL计算的都报错。为 阅读全文
posted @ 2024-05-11 14:41 zping 阅读(318) 评论(0) 推荐(2) 编辑
摘要: 这几天,突然想写写这些年的工作总结,毕业至今快20年的回顾。 想到20年前,在做毕业设计的时候,当时是学的机械工程类专业,因为带毕业设计的老师兼职企业有个门户网站的需求,而我又会用DreamWeaver做点网站设计,带的老师破天荒给个企业做门户网站的毕业设计。 珍惜心:该网站可能此生自己能做唯一一个 阅读全文
posted @ 2024-03-06 13:58 zping 阅读(2559) 评论(5) 推荐(25) 编辑
摘要: 数据抽取平台pydatax实现过程中,有2个关键点: 1、是否能在python3中调用执行datax任务,自己测试了一下可以,代码如下: 这个str1就是配置的shell文件 try: result = os.popen(str1).read() except Exception as e: pri 阅读全文
posted @ 2024-02-27 10:05 zping 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 最近突然想起要写下自己在2018年发生的一系列事情,给自己警示和提醒。 2018年上半年的一天晚上,自己突然做了一个梦,梦中有人跟我说:"你今年会有灾难,如果度过去就会活到多少多少岁",梦里听到灾难,我警觉的说,我已经在一个风水师父里请了护身符了,记得我还把护身符给她看。 因为2018年我犯太岁,特 阅读全文
posted @ 2023-07-07 17:41 zping 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 个人网上搜集经典修行,鸾书和善书等(pdf或doc) 对待鸾文态度: 1,《理天游记》 第廿二回 师徒论扶鸾 方便度众莫执着 济佛曰:由此可知扶鸾之法可用,但是用得必须恰当,因为用之恰当即是度人的法宝,用之不恰当即是恼人的法器,所以看扶鸾的鸾文,也必须以平实的眼光来看它,不能以凡是圣贤仙佛所降的鸾文 阅读全文
posted @ 2023-06-22 20:52 zping 阅读(1005) 评论(2) 推荐(0) 编辑
摘要: 今天介绍一下另一起入侵事件,这次入侵事件的黑客技术水平明显要高于上次,作为这次入侵事件的发现者,感触颇多,由于已经离开该公司,避免对公司有什么影响,公司名用代号替代。 详细追查过程和相关敏感信息忽略。 B互联网公司,在出现该入侵事件几个月前,公司出现部分客户手机号被盗情况,后续将客户手机号做加密,但 阅读全文
posted @ 2022-10-20 11:00 zping 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 总结这些年数据库运维,除了数据库优化,审核,高可用,故障处理等这些日常事情外,给我留下感触最深的就是有二起数据库入侵事件,自己亲身经历的黑客攻击拖库事件,一起是事件的追查者,一起是事件的发现者,两个事件已经距离有点长时间,而且已经离开,不会对公司有什么影响,公司名用代号替代。 今天介绍一下其中一起入 阅读全文
posted @ 2022-09-30 15:10 zping 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 现在主库的MySQL的QPS一直在3K/s左右,想知道其到底执行了那些SQL,或者是那些SQL执行的次数比较多: 腾讯云的后台监控: 开启腾讯云的SQL审计后,下载几分钟SQL日志文件, 下列语句在MySQL建表,如我们下载了6分钟的单实例审计日志: CREATE TABLE `ex` ( `Aff 阅读全文
posted @ 2021-11-24 16:15 zping 阅读(791) 评论(0) 推荐(2) 编辑
摘要: 最近10多年一直在从事DBA方面的工作,5年多前经常心跳突然很快,一会后心跳就正常,期间也看过中医,中医说是:心悸。 但是没怎么专门治疗,特别是在2015年后,心悸比较厉害,有时突然心跳很快,人就有点受不了,感觉人都不行了,最多时一天有好几次,也查了一下网上的治疗小技巧,试了但是效果不好。 一直到2 阅读全文
posted @ 2021-11-24 15:34 zping 阅读(232) 评论(0) 推荐(0) 编辑
摘要: 把自己看到的,对IT等系统的领悟,也就是通常说的道,备忘,经常听到一句话:守正出奇 但要能做到这一点,先短时间看清事物本质: 数据库运维核心 可控 运维的核心 提质增效降本 监控核心 可观测 程序核心 开源增效降本 系统架构核心 抽象和前瞻 云计算核心 统一管理控制和调度 社交的核心 找到同类 大数 阅读全文
posted @ 2021-09-10 11:34 zping 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 最近加字段,突然想起几年前一次大表加字段的事情。 缘起: 公司的订单表和配送单表,以前金额字段是:decimal(19,3)类型,正常肯定够用,但是财务有个需求,需要把字段类型从 decimal(19,3) 改成decimal(38,10)类型,支持10位小数点。 当BI部门给我提这个需求时,也没觉 阅读全文
posted @ 2021-09-02 17:06 zping 阅读(757) 评论(0) 推荐(0) 编辑
摘要: 最近事情比较少,闲下来刚好可以对以前的事情做个总结。 这次总结是10年前的一次数据库优化,和5年前的一次右下腹通持续疼痛的治疗过程。 数据库优化的过程如下: 1、2011年2月--2011年7月数据库性能优化过程 时间有点久,但最深刻的是,出现CPU持续100%的时候,找不到具体原因? 什么原因? 阅读全文
posted @ 2021-09-01 10:53 zping 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 缘起: 若干年前,刚到一家3C类的电商公司做DBA,到公司没几天,公司的CEO和研发总监,说现在要做个事情: 把IDC的数据库的数据,要同步一份到仓库,因单量大,仓库经常爆仓,仓库网络不好时,可以直接用同步的数据 记得当时CEO还特意,弄个讲座讲了公司如何处理单量爆仓 第一次做DBA,第一个月只是有 阅读全文
posted @ 2021-08-17 15:48 zping 阅读(727) 评论(0) 推荐(0) 编辑
摘要: 《道德经》:万物之始,大道至简,衍化至繁 稻盛和夫:真正的聪明人,善于把复杂事情简单化,至简也至难 稻盛和夫:马云,任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作:1,审核SQL 2,执行SQL 3,优化SQL 4,升级服务器 5,配置各种高可用 …… ? 在DBA行业做了比 阅读全文
posted @ 2021-08-13 16:36 zping 阅读(1520) 评论(0) 推荐(0) 编辑
摘要: 公司核心主库,在我来公司时是1主5从库(腾讯云RDS),外加7个自建级联从库。 从2020年2月到2021年8月优化总结: 1, 7个自建多级从库,从以前的中转同步改成从一级从库同步,废弃了5个从库实例,还有1个给大数据用,另外一个做备用 2,数据库容量控制, 期间清理出400多G空间的表数据 3, 阅读全文
posted @ 2021-08-12 16:52 zping 阅读(108) 评论(0) 推荐(0) 编辑
摘要: 下列优化的SQL案例,区别于平常加SQL索引的方法优化,大部分都是通过改写SQL语句方法优化,都是日常优化线上慢SQL的实际案例,有比较好的代表性(思路和方法),也是对自己这些年来做SQL优化的总结,对后面优化SQL有很好的提示和借鉴,案例会持续更新中。 说明: 最近优化慢SQL,执行计划错误和OR 阅读全文
posted @ 2021-06-08 10:39 zping 阅读(1299) 评论(0) 推荐(0) 编辑
摘要: 前言: 该文章将会介绍以下: 1,快速分析SQL日志的几种方法 2,使用mysql的全文索引快速分析少量SQL审计 3,准确快速分析4亿多条审计SQL日志(过程和最终解决方案) 公司核心库拆库拆表,对表和账号分析,大量系统连接,1主13个从库,几十个账号,后来都开通了全SQL审计,14个实例的审计日 阅读全文
posted @ 2021-03-04 16:45 zping 阅读(547) 评论(0) 推荐(0) 编辑
摘要: 1,每次查询的数据要有限制 2013年1月 产品独立数据库,由于多条SQL每次查询数据超过几千条,有些超过10万条数据未分页,造成应用服务器CPU有时持续100%。 2,禁止循环调用SQL 2011年5月 程序调用Sys_User查询,每分钟执行超过3千次,造成服务器CPU持续100% 3,禁止使用 阅读全文
posted @ 2019-09-17 13:33 zping 阅读(578) 评论(2) 推荐(0) 编辑
摘要: 今天介绍一下从业数据库dba这么多年,前段时间碰到的奇葩事情,说之前,提2个问题: 1,见到单个数据库最多有多少张业务表 2,一个表有30多个字段,表里就有一条数据,写一个查询就这一个表的sql,不关联其他表,不要用WAITFOR DELAY 等关键字,写一个执行查询要20秒以上的sql 以前我也从 阅读全文
posted @ 2019-08-01 19:44 zping 阅读(376) 评论(0) 推荐(1) 编辑
摘要: 目前公司有一套核心交易数据库配置了AlWaysON,SQL 2012版本, 1主4从, 其从库(8,14, 8.15) 这2台只读的从数据库服务器, 后台程序和wms等很多程序,都是直接配置IP连接这个2个机器,而且这2台机器已经过保,如果其中一天机器出现故障,不能使用,怎么处理? 怎么解决? 先谈 阅读全文
posted @ 2019-07-31 20:05 zping 阅读(776) 评论(2) 推荐(3) 编辑
摘要: 01、开篇序 孔子说过:“执其两端,用其中。”在实际生活中要能变通地把矛盾转化,“比中而亓”,采用“中庸”的态度与人相处,因势利导,换一种方式去解决矛盾,绝不能“一条道走到黑”,学会灵活地用“中庸”的思想,从而达到的境界。 一切事物都是对立而互补的,阴阳相生相克,变化相辅相成,事件相激相随。固阴阳之 阅读全文
posted @ 2024-06-20 15:19 zping 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 南怀瑾对准提法的评论 准提法究竟有什么好呢?不论在家、出家一样的有效果,不管何时何地是净是垢,最脏之时,地也都可以修。密宗其他咒子,其他法门就不一定行,有些咒子,如吃了一口大蒜、犯了什么忌讳,这些咒子就不灵了。只有准提法,一切不避讳。另有一法也一切不避讳,即金则密迹的法门。那是降魔法,非常历害。我在 阅读全文
posted @ 2024-06-11 15:28 zping 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 缘起 今天早上一到公司,技术支持的小伙就说一个后台报表,计算的任务完成率超过100%,有异常,客户要用,比较急,要解决这个问题。 解决过程 自从接了上任的报表计算,这个就头疼,没办法硬着头皮查什么原因,报表的SQL比较简单,一个查:接受任务数表a, 一个查:完成任务数表b a和b表,都是直接计算的结 阅读全文
posted @ 2024-04-29 15:32 zping 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 1508年,明武宗正德三年。 由于开罪炙手可热的大宦官刘瑾,挨了四十大板、并被“流放”的王阳明,历经艰难险阻,终于风尘仆仆地抵达“蛮荒之地”——贵州龙场驿。 受尽折磨的王阳明,却无暇顾及自身遭遇,而是始终在思考一个哲学问题“人如何才能做圣贤”。 久久上下求索而不得,终于在某个夜半时分,他激动地大喊大 阅读全文
posted @ 2024-03-27 15:12 zping 阅读(65) 评论(0) 推荐(0) 编辑
摘要: 中医的最高境界是养生,养生的最高境界是养心。所以,就养生而言,下士养身,中士养气,上士养心。看一个人也一样,观相不如观气,观气不如观心。 1,一切药物对治病来说都是治标,不是治本,不管是中医还是西医。因为一切的病都是错误的因产生错误的果。错误的因不除,错误的果就不会绝根。健康的根本在心。一切法从心生 阅读全文
posted @ 2024-03-25 18:04 zping 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 未开悟前,我怀揣着一颗炽热的心,以为自己在度化众生,肩负着拯救世界的重任。 那时的我,如同一位骄傲的船长,驾驶着自己的信念之船,在波涛汹涌的人生海洋中破浪前行。 我渴望通过行善积德,去帮助那些需要帮助的人,去改变那些不公的命运,去照亮那些黑暗的角落。 随着岁月的流转,我渐渐发现,我所认为的度化众生, 阅读全文
posted @ 2024-03-20 10:45 zping 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 缘起一: 公司现有数据仓库,是通过kettle从mysql抽取到目标库,运行多年,主要有以下问题, 1,效率低:kettle抽取行数少 2,容错性差:一个表抽取出错就导致后续计算会出问题, 3,扩展性差: 对多库多表等支持不好 近300张表抽取,再加上计算,每天都算到7点,还有2个巨大的计算要等到1 阅读全文
posted @ 2024-02-21 15:58 zping 阅读(336) 评论(0) 推荐(2) 编辑
摘要: 早上发现执行的PostgreSQL 存储过程报错,错误如下: 300-value too long for type character varying(100),一看就是表字段的长度太小,从提示看是,字段是varchar(100)的字段长度不够。看了具体表: 看了表字段,有好多个字段是varcah 阅读全文
posted @ 2023-12-31 17:44 zping 阅读(157) 评论(0) 推荐(0) 编辑
摘要: 鸾书下载地址:https://www.cnblogs.com/zping/p/17498332.html 对待鸾文态度: 1,《理天游记》 摘自第廿二回 师徒论扶鸾 方便度众莫执着 济佛曰:由此可知扶鸾之法可用,但是用得必须恰当,因为用之恰当即是度人的法宝,用之不恰当即是恼人的法器,所以看扶鸾的鸾文 阅读全文
posted @ 2023-11-07 22:43 zping 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 多年前我认识一位老法师,在江苏的一个偏僻地方山上的寺院里,他老人家那会已经八十多了,虽然是住持,可是他也是一位画僧,天天在寺庙禅房里画画,很多社会上的人都去找他画画结缘。他画的画很有禅意。 老和尚按照他的宗派脉络,好像是和弘一法师有关我记得。可是这位老和尚,生性不爱交际,不喜欢讲法布道,庙子也小,自 阅读全文
posted @ 2023-10-08 18:31 zping 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 我多年前曾经去峨眉山拜佛,当时我正在学习修行,对背诵经咒等事情非常着迷。自己想逼着自己背诵各类长咒和经文。 于是也想在峨眉山上寻访一下高僧大德咨询。 上去金顶后就是拜仏,拜完了,却遇上各寺庙里在举办法会,也没有什么门路可以找到大德。只好自己往后山走。 因为我以前曾经在茅山昆嵛山等山的后山遇到过老道长 阅读全文
posted @ 2023-10-08 10:37 zping 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 《道德经》由道家创始人老子所著,虽然只有短短几千字,但是千百年来研究它的人数不胜数,其中的哲理到今天仍旧闪耀着光芒。要说真正能把它的智慧参透,那么从古至今恐怕还没有人可以做到,足见它的智慧有多么强大。 如果说把《道德经》完全参透是难如上青天的问题,那么参悟其中的一些道理还是没有那么难的。《道德经》中 阅读全文
posted @ 2023-09-08 17:32 zping 阅读(130) 评论(0) 推荐(0) 编辑