摘要: 一.背景及概要设计 当公司管理维护的服务器到达一定规模后,就必然借助远程自动化运维工具,而ansible是其中备选之一。Ansible基于Python开发,集合了众多运维工具(puppet、chef、func、fabric)的优点,实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible 阅读全文
posted @ 2023-11-26 21:59 东山絮柳仔 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 一 历史版本发布回顾 从上图可以看出,基本遵循 5+3+3 模式 5 GA发布后,5年 就停止通用常规的更新了(功能不再更新了); 3 企业版的,+3年功能不再更新了; 3 完全停止更新了。 总之,一句话, 已经到了升级的时候了。 二 InnoDB增强 2.1自增列 官方定义 当前最大自动递增计数器 阅读全文
posted @ 2022-06-21 23:17 东山絮柳仔 阅读(5889) 评论(0) 推荐(2) 编辑
摘要: 一. 背景介绍 当集团的MySQL数据库实例数达到2000+、MHA集群规模数百个时,对MHA的及时、高效管理是DBA必须面对的一个挑战。MHA 集群 节点信息 和 运行状态 是管理的基础。本篇幅主要介绍如何通过Python实现收集MHA 集群 节点信息 和 运行状态的功能。这些信息将是CMDB信息 阅读全文
posted @ 2021-10-01 00:36 东山絮柳仔 阅读(325) 评论(0) 推荐(1) 编辑
摘要: 一.背景 1.1 问题描述 近期发现一台SQL Server的CPU利用率很不稳定,发现不定时的飙升到100%,更可怕的是在业务繁忙时,影响了业务调用,失败率明显增加,所以,减低CPU的利用率,是迫切需要解决的问题。 CPU升高的原因直观上来说,就是CPU(中央处理器)的负载过高, 中央处理器忙不过 阅读全文
posted @ 2021-08-05 02:28 东山絮柳仔 阅读(1428) 评论(4) 推荐(20) 编辑
摘要: 前言 身边一直都有小伙伴在问:MongoDB到底是什么?它有到底什么特性?有什么与众不同?在什么情况下使用MongoDB最合适?以什么样的姿势是最好的?难道就一定要用吗?....说实话,这些问题都问到精髓了,也看得出来你们的急切和真切。有时候大家都比较忙,很难抽出一天的时间,坐而论道,把这些问题掰扯 阅读全文
posted @ 2021-04-01 22:45 东山絮柳仔 阅读(849) 评论(0) 推荐(3) 编辑
摘要: I 文档定义 1.1 编写目的 为了在软件生命周期内规范数据库相关的需求分析、设计、开发、测试、运维工作,便于不同团队之间的沟通协调,以及在相关规范上达成共识,提升相关环节的工作效率和系统的可维护性。同时好的规范,在执行的时候可以培养出好的习惯,好的习惯是软件质量的保证。 1.2 适用范围 本文档适 阅读全文
posted @ 2020-10-17 00:33 东山絮柳仔 阅读(3804) 评论(0) 推荐(3) 编辑
摘要: 我们知道,之前的运维告警多通过mail 等方式通知到相应的人员,难以实现随时随地的查看。随着手机APP的发展,很多告警开始发送到IM软件上去。目前比较常用的是发送到微信和钉钉上,今天我们将重点放在钉钉上。群机器人是钉钉群的高级扩展功能,群机器人可以将第三方服务的信息聚合到群聊中,实现自动化的信息同步 阅读全文
posted @ 2019-09-06 00:00 东山絮柳仔 阅读(11242) 评论(0) 推荐(0) 编辑
摘要: 1.问题描述 最近有一个需求,更新Mongo数据库中 原料 集合的某字段价格,更新后,程序报错了,说长度过长了,需要Truncation。 主要错误信息如下: 调试发现,价格这个数据来自于SQL Server数据库,是decimal(18,4),数据落到Mongodb中也是Decimal类型。DBA 阅读全文
posted @ 2019-08-20 16:12 东山絮柳仔 阅读(14257) 评论(1) 推荐(2) 编辑
摘要: 当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我 阅读全文
posted @ 2019-07-31 17:06 东山絮柳仔 阅读(911) 评论(2) 推荐(1) 编辑
摘要: 1.需求概括 我们知道,在SQL Server Alwayson 架构中,有多种虚拟IP,例如 WindowsCluster IP,ListenIP,角色高可用性IP(类似于侦听IP)。在某些条件下,例如系统故障,会触发虚拟IP的漂移,如何高效率、低延迟、更好地监控IP漂移情况,是我们DB的一个重要 阅读全文
posted @ 2019-06-27 19:08 东山絮柳仔 阅读(1426) 评论(0) 推荐(1) 编辑
摘要: 第一部分 Telegraf 部署和配置 Telegraf 是实现 数据采集 的工具。Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。 在平台监控系统中,可以使用 Telegraf 采集多种组件的运行信息,而不需要自己手写脚本定时采集,大大降低数据获取的难度; 阅读全文
posted @ 2019-06-21 11:13 东山絮柳仔 阅读(7253) 评论(0) 推荐(0) 编辑
摘要: MySQL语句的审核,在业界都已经基本被认同了,实际上也是对MySQL语句写法的统一化,标准化,而之前的人工审核,针对标准这个问题其实是很吃力的,标准越多,DBA越累,开发也越累。 那么在这个都追求自动化运维的时代,审核也必须要跟上步伐,因此Inception诞生了。而Inception可以做的工作 阅读全文
posted @ 2019-04-29 17:02 东山絮柳仔 阅读(2257) 评论(0) 推荐(0) 编辑
摘要: 关键字: MongoDB,Replace,forEach 近日接到一个开发需求,因业务调整,需要DBA协助,将MongoDB数据库中某集合的进行替换。例如我们需要将集合A中B字段中,有关《美好》的字符替换为 《非常美好》。个人感觉这个需求如果是在SQL Server 或MySQL 数据库上处理是小菜 阅读全文
posted @ 2019-03-01 10:47 东山絮柳仔 阅读(14586) 评论(3) 推荐(2) 编辑
摘要: 很多同学因为对MongoDB不熟悉,加之应用的不是很多,有时候会认为MongoDB数据库对一些功能不支持,或者认为支持不好。今天我们 演示一下 MongoDB对“加减乘除”的使用。 在MongoDB数据库中“加减乘除”运算,又称为 数学表达式(mathematical expression;或算术表 阅读全文
posted @ 2019-01-25 21:29 东山絮柳仔 阅读(16358) 评论(0) 推荐(0) 编辑
摘要: 索引小知识 篇幅有限,索引的基本知识我们就不赘述了,在此,我们尝试说明其中的一个小点 B+树与B树的区别到底是什么。 InnoDB是使用B+树来实现其索引功能的。在B+树中,内节点(非叶子节点)存储了行数据的键,而叶子节点存储了所有的行数据,而B树的每个节点都存储了真实的数据。这种数据结构,决定了两 阅读全文
posted @ 2018-12-28 22:51 东山絮柳仔 阅读(3260) 评论(0) 推荐(0) 编辑
摘要: 一.需求背景 SQL Server开源的归档工具不多,DBA一般都是通过计划任务来触发执行,执行的脚本多是SP或者是SSIS包。SSIS包的性能稍好一些,但是维护更新成本高些。所以更常见的是通过SP脚本来实现归档操作。 当数据库规模较小时,可以方便的直接在数据库上进行脚本的编写部署。但是随着数据库越 阅读全文
posted @ 2018-12-24 22:44 东山絮柳仔 阅读(2392) 评论(4) 推荐(0) 编辑
摘要: 一. 聚合框架 聚合框架是MongoDB的高级查询语言,它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。 聚合管道操作主要包含下面几个部分: 命令 功能描述 $project 指定输出文档里的字段. $match 选择要处理的文档,与fine()类似。 $limit 限制传 阅读全文
posted @ 2018-12-03 01:42 东山絮柳仔 阅读(172744) 评论(12) 推荐(24) 编辑
摘要: 一. TiDB的核心特性 高度兼容 MySQL 大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景 阅读全文
posted @ 2018-11-26 20:55 东山絮柳仔 阅读(9077) 评论(1) 推荐(0) 编辑
摘要: 一 需求描述 我们知道数据是公司的重要资产,业务的系统化、信息化就是数字化。数据高效的存储与查询是系统完善和优化的方向,而数据库的稳定性、可靠性是实现的基础。高可用和RPO(RecoveryPointObjective,复原点目标,指能容忍的最大数据丢失量)是衡量一个数据库优劣的重要指标。作为一个D 阅读全文
posted @ 2018-11-08 01:43 东山絮柳仔 阅读(11865) 评论(24) 推荐(10) 编辑
摘要: MongoDB是非关系型数据库的典型代表,DB-Engines Ranking 数据显示,近年来,MongoDB在NoSQL领域一直独占鳌头。MongoDB是为快速开发互联网应用 而设计的数据库系统,其数据模型和持久化策略就是为了构建高读/写的性能,并且可以方面的弹性拓展。目前公司使用到的Mongo 阅读全文
posted @ 2018-10-31 17:11 东山絮柳仔 阅读(8940) 评论(1) 推荐(3) 编辑
摘要: 1. 什么是正则表达式? 正则表达式(regular expression,有时简写为RegEx 或 regex)就是用一组由字母和符号组成的“表达式”来描述一个特征,然后去验证另一个“字符串”是否符合/匹配这个特征。 2.应用场景? (1)验证字符串是否符合指定特征,比如验证邮件地址是否符合特定要 阅读全文
posted @ 2023-12-02 09:28 东山絮柳仔 阅读(114) 评论(0) 推荐(1) 编辑
摘要: 1. mysql_user 模块 mysql_user模块用来添加,删除用户以及设置用户权限 创建MySQL数据库的用户与口令(非root@localhost用户),直接通过playbooks中的案例来说明吧。 - name: 创建MySQL数据库用户--user_test mysql_user: 阅读全文
posted @ 2023-11-02 22:50 东山絮柳仔 阅读(565) 评论(0) 推荐(0) 编辑
摘要: 一.项目背景 随着集团MHA集群的日渐增长,MHA管理平台话越来越迫切。而MHA平台的建设第一步就是将这些成百上千套的MHA集群信息收集起来,便于查询和管理。 MHA主要信息如下: (1)基础配置信息; (2)运行状态信息; (3)启动及FailOver的log信息。 集团目前数据库的管理平台是在A 阅读全文
posted @ 2023-04-15 23:33 东山絮柳仔 阅读(267) 评论(0) 推荐(0) 编辑
摘要: 1.Django中的相应对象 构造函数格式: HttpResponse(content=响应体,content_type=响应体数据类型,status=状态码) 作用: 向客户端浏览器返回相应,同时携带响应体内容。 参数: --content:表示返回的内容。 --status_code:返回的HT 阅读全文
posted @ 2022-09-12 00:33 东山絮柳仔 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 1. Django rest framework 之序列化 https://www.cnblogs.com/midworld/p/11380194.html 2.写API的三个重点 (1)路由;(2)视图类(提供给用户访问,相当于原来的视图函数);(3)序列化类(提供给视图类使用,把对象序列化成Js 阅读全文
posted @ 2022-08-28 22:27 东山絮柳仔 阅读(208) 评论(0) 推荐(0) 编辑
摘要: 1.字段加密--django-mirage-field 一个django模型字段,在保存到数据库时对数据进行加密,在从数据库获取数据时进行解密。它使数据库中的数据始终加密。 A Django model fields collection that encrypt your data when sa 阅读全文
posted @ 2022-07-11 00:15 东山絮柳仔 阅读(536) 评论(0) 推荐(0) 编辑
摘要: 转载 【即拿即用:MySQL 中如何定位 DDL 被阻塞的问题?】 https://dbaplus.cn/news-11-4579-1.html 作者介绍 陈臣,甲骨文MySQL首席解决方案工程师,公众号《MySQL实战》作者,有大规模的MySQL,Redis,MongoDB,ES的管理和维护经验, 阅读全文
posted @ 2022-06-25 15:15 东山絮柳仔 阅读(429) 评论(0) 推荐(0) 编辑
摘要: 当我们在调试Archery的时候,连接SQL Server 会报错,而MySQL部分没有问题。报错信息如下: Error: ('01000', "[01000] [unixODBC][Driver Manager]Can't open lib 'ODBC Driver 17 for SQL Serv 阅读全文
posted @ 2022-06-15 10:24 东山絮柳仔 阅读(380) 评论(0) 推荐(0) 编辑
摘要: 1.一个人对世界最大的贡献就是让自己快乐起来。 爱默生 2.两处相思同淋雪,此生也算共白头。 3.富贵如龙,游进五湖四海;贫穷如虎,惊散九族六亲。 南怀瑾 4.人生最好的三个词 久别重逢、失而复得、虚惊一场却没有,和好如初 ,只因和好容易,如初太难。很多东西,一旦打破,就很难圆满。有些故事,除了回忆 阅读全文
posted @ 2022-03-05 14:48 东山絮柳仔 阅读(621) 评论(0) 推荐(0) 编辑
摘要: Archery介绍 Archery是archer的分支项目,定位于SQL审核查询平台,旨在提升DBA的工作效率,支持多数据库的SQL上线和查询,同时支持丰富的MySQL运维功能,所有功能都兼容手机端操作。 功能清单 数据库类型查询审核执行备份数据字典慢日志会话管理账号管理参数管理 数据归档 MySQ 阅读全文
posted @ 2022-03-05 10:09 东山絮柳仔 阅读(1099) 评论(0) 推荐(0) 编辑
摘要: 1.什么是框架? 框架就是程序的骨架,主体结构,也是个半成品。 2.框架的优缺点 可重用、成熟,稳健、易扩展、易维护。 3.Python中常见的框架 (1)大包大揽Django被官方称之为完美主义者的web框架。它鼓励快速开发和清洁,务实的设计。它是免费和开源的。Django 2.0 可谓是 Dja 阅读全文
posted @ 2022-01-23 21:41 东山絮柳仔 阅读(943) 评论(0) 推荐(0) 编辑
摘要: 什么是Index Merge 1.Index Merge The Index Merge access method retrieves rows with multiple range scans and merges their results into one. This access met 阅读全文
posted @ 2021-11-11 23:12 东山絮柳仔 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 1.character 与 collation A character set is a set of symbols and encodings. A collation is a set of rules for comparing characters in a character set. 阅读全文
posted @ 2021-11-09 22:13 东山絮柳仔 阅读(486) 评论(0) 推荐(0) 编辑