摘要： 研发要在一个ol_poster_sign表加字段，表比较大有400多万条，用gh-ost加字段时，在切换过程中一直报错： 无法完成最后的切换： INFO Magic cut-over table created INFO Locking `test`.`ol_poster_sign`, `test` 阅读全文

摘要： SRE的职责划分却不尽相同，那么SRE究竟在做什么？ SRE的职责 SRE主要负责Google所有核心业务系统的可用性、性能、容量相关的事情，根据《Site Reliability Engineering 》一书提及的内容，笔者做简单汇总，Google SRE的工作主要包括但不限于如下： 基础设施容 阅读全文

摘要： B+Tree相对于B-Tree有几点不同： 非叶子节点只存储键值信息。 所有叶子节点之间都有一个链指针。 数据记录都存放在叶子节点中 实际情况中每个节点可能不能填充满，因此在数据库中，B+Tree的高度一般都在2~4层。mysql的InnoDB存储引擎在设计时是将根节点常驻内存的，也就是说查找某一键 阅读全文

摘要： 缘起： 若干年前，刚到一家3C类的电商公司做DBA，到公司没几天，公司的CEO和研发总监，说现在要做个事情： 把IDC的数据库的数据，要同步一份到仓库，因单量大，仓库经常爆仓，仓库网络不好时，可以直接用同步的数据 记得当时CEO还特意，弄个讲座讲了公司如何处理单量爆仓 第一次做DBA，第一个月只是有 阅读全文

摘要： 《道德经》：万物之始，大道至简，衍化至繁 稻盛和夫：真正的聪明人，善于把复杂事情简单化，至简也至难 稻盛和夫：马云，任正非等的偶像, 甚至软银的孙正义是稻盛和夫的学生 这就是DBA的工作：1，审核SQL 2，执行SQL 3，优化SQL 4，升级服务器 5，配置各种高可用 …… ？ 在DBA行业做了比 阅读全文

摘要： 公司核心主库，在我来公司时是1主5从库（腾讯云RDS），外加7个自建级联从库。 从2020年2月到2021年8月优化总结： 1, 7个自建多级从库，从以前的中转同步改成从一级从库同步，废弃了5个从库实例，还有1个给大数据用，另外一个做备用 2，数据库容量控制， 期间清理出400多G空间的表数据 3， 阅读全文

摘要： 当初分析日志，麻烦的是腾讯云的SQL审计日志下载，有下列限制： 1，单次最多1000万条下载 2，单个实例最多生成5条日志文件，多的要先删除以前文件才能生成 腾讯云日志文件生成界面： 一开始用手工下载，想想也不多，可以忍受，弄了一段时间后，研发的要求越来越高，不能一直这样手工，刚好旁边的运维小伙用G 阅读全文

摘要： 上一篇介绍了用ELK分析4亿多条审计日志过程，现在介绍如何用Python3分析ES的程序 需要分析的核心库审计数据： 1，950多张表，几十个账号， 2，5种操作类型（select,update,insert,delete,replace），14个实例（1主13从库） 分析说明： select汇总： 阅读全文

摘要： 1.1、工作原理 pt-table-checksum会对校验的表数据进行数据块(数据块大小根据服务负载情况调整)划分，并对数据块数据进行checksun处理；存储在建立的表中。在主库中执行基于statemnet的sql语句，生成数据块的checksum;在从库执行相同的sql语句，获取到数据块的ch 阅读全文

摘要： 在这个世界，我们每往前走一步都会有困惑相伴随，原因既可能是我们的心境破碎了，看什么都没有感觉；也可能是我们的高度不够，看什么都觉得有问题。如果看不懂、看不透世间所发生的事情，就是在用过时的思维来解释当下的现实。社会越往前发展，冲击我们内心和思想的事情就会越多。人心中若有解不开的困惑，整个思维都可能是 阅读全文

摘要： KQL： {'query': {'bool': {'must': [{'match': {'Sql': 'insert'}}, {'match': {'PolicyName.keyword': 'd8t'}}, {'match': {'Sql': 'into'}}], 'should': [{'te 阅读全文

摘要： elasticsearch实现传统数据库中的or功能，需要使用bool下面的should关键字，对于A or B的情况，应该至少返回A和B中的一个，但是如下语句，不仅返回A和B中的至少一个，也返回了没有A也没有B的情况： { "query": { "bool": { "fileter":[ {"ra 阅读全文

摘要： 孟子： 人生总是有所求，求有两种： 1.求则得之，舍则失之，是求有益于得也，求在我者也。 2.求之有道，得之有命，是求无益于得也，求在外者也。 改革开放三十年来中国民族形成的民风： 各施其能，各谋其利纷争付诸于法律，前途交给了偶然 民风本身无可厚非，但可能出现的问题： 如果这个民风伴随着重功利轻道义 阅读全文

摘要： 前言： 该文章将会介绍以下： 1，快速分析SQL日志的几种方法 2，使用mysql的全文索引快速分析少量SQL审计 3，准确快速分析4亿多条审计SQL日志（过程和最终解决方案） 公司核心库拆库拆表，对表和账号分析，大量系统连接，1主13个从库，几十个账号，后来都开通了全SQL审计，14个实例的审计日 阅读全文

摘要： 查询表明细： ELK的KQL样例，显示时间请选择最近15天： 样例1：查询ol_lc 表增删改查，不是jy2_rw的账号明细 KQL：（ol_lc or oc.ol_lc) and (select or update or delete or insert or replace) and not U 阅读全文