摘要:前言 身边一直都有小伙伴在问:MongoDB到底是什么?它有到底什么特性?有什么与众不同?在什么情况下使用MongoDB最合适?以什么样的姿势是最好的?难道就一定要用吗?....说实话,这些问题都问到精髓了,也看得出来你们的急切和真切。有时候大家都比较忙,很难抽出一天的时间,坐而论道,把这些问题掰扯 阅读全文
posted @ 2021-04-01 22:45 东山絮柳仔 阅读(513) 评论(0) 推荐(2) 编辑
摘要:I 文档定义 1.1 编写目的 为了在软件生命周期内规范数据库相关的需求分析、设计、开发、测试、运维工作,便于不同团队之间的沟通协调,以及在相关规范上达成共识,提升相关环节的工作效率和系统的可维护性。同时好的规范,在执行的时候可以培养出好的习惯,好的习惯是软件质量的保证。 1.2 适用范围 本文档适 阅读全文
posted @ 2020-10-17 00:33 东山絮柳仔 阅读(936) 评论(0) 推荐(3) 编辑
摘要:我们知道,之前的运维告警多通过mail 等方式通知到相应的人员,难以实现随时随地的查看。随着手机APP的发展,很多告警开始发送到IM软件上去。目前比较常用的是发送到微信和钉钉上,今天我们将重点放在钉钉上。群机器人是钉钉群的高级扩展功能,群机器人可以将第三方服务的信息聚合到群聊中,实现自动化的信息同步 阅读全文
posted @ 2019-09-06 00:00 东山絮柳仔 阅读(7756) 评论(0) 推荐(0) 编辑
摘要:1.问题描述 最近有一个需求,更新Mongo数据库中 原料 集合的某字段价格,更新后,程序报错了,说长度过长了,需要Truncation。 主要错误信息如下: 调试发现,价格这个数据来自于SQL Server数据库,是decimal(18,4),数据落到Mongodb中也是Decimal类型。DBA 阅读全文
posted @ 2019-08-20 16:12 东山絮柳仔 阅读(7383) 评论(0) 推荐(1) 编辑
摘要:当前,随着电商节日的增多(6.18、双十一、双十二)、平台拉新趋于频繁,大促活动也越来越普遍。作为一个电商平台,每年都会有一次,甚至几次的流量“大考”。数据库作为系统的重要节点,其稳定性和性能格外重要,数据库的全力保障是一个大的挑战。电商大促,这场没有硝烟的战争很多人已有体会,在此不再赘述。现在,我 阅读全文
posted @ 2019-07-31 17:06 东山絮柳仔 阅读(777) 评论(2) 推荐(1) 编辑
摘要:1.需求概括 我们知道,在SQL Server Alwayson 架构中,有多种虚拟IP,例如 WindowsCluster IP,ListenIP,角色高可用性IP(类似于侦听IP)。在某些条件下,例如系统故障,会触发虚拟IP的漂移,如何高效率、低延迟、更好地监控IP漂移情况,是我们DB的一个重要 阅读全文
posted @ 2019-06-27 19:08 东山絮柳仔 阅读(1016) 评论(0) 推荐(1) 编辑
摘要:第一部分 Telegraf 部署和配置 Telegraf 是实现 数据采集 的工具。Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。 在平台监控系统中,可以使用 Telegraf 采集多种组件的运行信息,而不需要自己手写脚本定时采集,大大降低数据获取的难度; 阅读全文
posted @ 2019-06-21 11:13 东山絮柳仔 阅读(4984) 评论(0) 推荐(0) 编辑
摘要:MySQL语句的审核,在业界都已经基本被认同了,实际上也是对MySQL语句写法的统一化,标准化,而之前的人工审核,针对标准这个问题其实是很吃力的,标准越多,DBA越累,开发也越累。 那么在这个都追求自动化运维的时代,审核也必须要跟上步伐,因此Inception诞生了。而Inception可以做的工作 阅读全文
posted @ 2019-04-29 17:02 东山絮柳仔 阅读(1521) 评论(0) 推荐(0) 编辑
摘要:关键字: MongoDB,Replace,forEach 近日接到一个开发需求,因业务调整,需要DBA协助,将MongoDB数据库中某集合的进行替换。例如我们需要将集合A中B字段中,有关《美好》的字符替换为 《非常美好》。个人感觉这个需求如果是在SQL Server 或MySQL 数据库上处理是小菜 阅读全文
posted @ 2019-03-01 10:47 东山絮柳仔 阅读(9627) 评论(3) 推荐(2) 编辑
摘要:很多同学因为对MongoDB不熟悉,加之应用的不是很多,有时候会认为MongoDB数据库对一些功能不支持,或者认为支持不好。今天我们 演示一下 MongoDB对“加减乘除”的使用。 在MongoDB数据库中“加减乘除”运算,又称为 数学表达式(mathematical expression;或算术表 阅读全文
posted @ 2019-01-25 21:29 东山絮柳仔 阅读(9337) 评论(0) 推荐(0) 编辑
摘要:索引小知识 篇幅有限,索引的基本知识我们就不赘述了,在此,我们尝试说明其中的一个小点 B+树与B树的区别到底是什么。 InnoDB是使用B+树来实现其索引功能的。在B+树中,内节点(非叶子节点)存储了行数据的键,而叶子节点存储了所有的行数据,而B树的每个节点都存储了真实的数据。这种数据结构,决定了两 阅读全文
posted @ 2018-12-28 22:51 东山絮柳仔 阅读(2565) 评论(0) 推荐(0) 编辑
摘要:一.需求背景 SQL Server开源的归档工具不多,DBA一般都是通过计划任务来触发执行,执行的脚本多是SP或者是SSIS包。SSIS包的性能稍好一些,但是维护更新成本高些。所以更常见的是通过SP脚本来实现归档操作。 当数据库规模较小时,可以方便的直接在数据库上进行脚本的编写部署。但是随着数据库越 阅读全文
posted @ 2018-12-24 22:44 东山絮柳仔 阅读(1675) 评论(4) 推荐(0) 编辑
摘要:一. 聚合框架 聚合框架是MongoDB的高级查询语言,它允许我们通过转换和合并多个文档中的数据来生成新的单个文档中不存在的信息。 聚合管道操作主要包含下面几个部分: 命令 功能描述 $project 指定输出文档里的字段. $match 选择要处理的文档,与fine()类似。 $limit 限制传 阅读全文
posted @ 2018-12-03 01:42 东山絮柳仔 阅读(103815) 评论(10) 推荐(16) 编辑
摘要:一. TiDB的核心特性 高度兼容 MySQL 大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展,按需扩展吞吐或存储,轻松应对高并发、海量数据场景 阅读全文
posted @ 2018-11-26 20:55 东山絮柳仔 阅读(6137) 评论(1) 推荐(0) 编辑
摘要:一 需求描述 我们知道数据是公司的重要资产,业务的系统化、信息化就是数字化。数据高效的存储与查询是系统完善和优化的方向,而数据库的稳定性、可靠性是实现的基础。高可用和RPO(RecoveryPointObjective,复原点目标,指能容忍的最大数据丢失量)是衡量一个数据库优劣的重要指标。作为一个D 阅读全文
posted @ 2018-11-08 01:43 东山絮柳仔 阅读(8833) 评论(18) 推荐(8) 编辑
摘要:MongoDB是非关系型数据库的典型代表,DB-Engines Ranking 数据显示,近年来,MongoDB在NoSQL领域一直独占鳌头。MongoDB是为快速开发互联网应用 而设计的数据库系统,其数据模型和持久化策略就是为了构建高读/写的性能,并且可以方面的弹性拓展。目前公司使用到的Mongo 阅读全文
posted @ 2018-10-31 17:11 东山絮柳仔 阅读(7722) 评论(1) 推荐(3) 编辑
摘要:基础部分 1. select @@version; ##查询当前mysql的版本. 2. show variables like 'port';##查看mysql实例的端口。 3. show variables like 'socket';##查看实例的socket数据。 4. show varia 阅读全文
posted @ 2018-10-30 18:18 东山絮柳仔 阅读(4127) 评论(0) 推荐(1) 编辑
摘要:一 . 背景需求 在日常的业务需求中,我们往往会根据时间段来统计数据。例如,统计每小时的下单量;每天的库存变化,这类信息数据对运营管理很重要。 这类数据统计依赖于各个时间维度,年月日、时分秒都有可能。因为需求变化多样,并且表的设计有严格的规范,我们不可能将订单的下单时间分别拆分存储到 年、月、日、时 阅读全文
posted @ 2018-10-17 14:49 东山絮柳仔 阅读(25417) 评论(1) 推荐(2) 编辑
摘要:在实际的生产环境中,为了管理方便,我们一般是通过 Xtrabackup实现实例的全库备份,即将实例上的所有数据库备份。 但是,考虑到快速恢复 我们常常面临的需求是快速还原单个数据库。针对初学者来说,网上相关的资料不是很多,以下的测试工作是我们为实现实例的全库备份与按需单库恢复的相关验证。 第一部分数 阅读全文
posted @ 2018-10-12 21:14 东山絮柳仔 阅读(3680) 评论(3) 推荐(0) 编辑
摘要:前几天在看 2018 云栖大会,来自中科院计算所的陈世敏研究员在“数据库内核专场”做了一场《NVM在数据库领域的研究和探索 》的报告演讲。在30分钟的演讲中,其中有近10页PPT的内容和B+Tree这种索引有关。 例如其中的两页 为此,将自己对索引相关的理解梳理如下: 1.什么是索引? 索引是磁盘上 阅读全文
posted @ 2018-09-25 20:17 东山絮柳仔 阅读(1437) 评论(0) 推荐(5) 编辑
摘要:一.项目说明 1.1 项目目的 1.盘活服务器资源,提高资源的使用率;资源是公司的资产,只有尽可能发挥其价值,才能创造更多的价值。所以,有必要知道,公司整体(或某业务、产品)所属的 DB Server的资源使用情况。主要从CPU、内存、Disk的平均数和中位数来反映。实现更合理的资源分配和集中性的管 阅读全文
posted @ 2021-07-03 11:23 东山絮柳仔 阅读(205) 评论(0) 推荐(2) 编辑
摘要:一.常见简便的方式 通常,DBA使用sp_who和sp_who2系统存储过程或活动监视器来查看SQL实例中的当前会话、用户和进程。 我们还可以从这些过程中确定阻塞会话和活动会话。 1.1. Sp_who 如下: 1.2 Sp_who2 如下: 1.3 通过SQL Server活动监视器(SQL Se 阅读全文
posted @ 2021-06-28 23:56 东山絮柳仔 阅读(59) 评论(1) 推荐(1) 编辑
摘要:1.项目背景 由于历史原因,公司部分系统的Report是基于SQL Server Report Service搭建的,且Reporting Services 和Report Server DataBase是部署在不同的DB上的。因报表数据库所在机器过保,需要将Report Server数据库和Rep 阅读全文
posted @ 2021-06-25 00:55 东山絮柳仔 阅读(224) 评论(0) 推荐(1) 编辑
摘要:公司的数据库规模达到一定数量后,DB迁移、主从切换便是DBA经常性工作之一。但是 DB迁移影响较大,牵涉Team较多,特别是当公司的技术架构不太完善时,一份详细的迁移List很有必要。下面的List是我们DBA进行DB迁移的主要工作汇总,这份List是镜像(Mirror)架构下的工作总结。 序号 变 阅读全文
posted @ 2021-06-23 00:03 东山絮柳仔 阅读(41) 评论(0) 推荐(1) 编辑
摘要:Kapacitor 是一个开源框架,用来处理、监控和警告时间序列数据,它使用 TICKscript 脚本来定义任务。Kapacitor是InfluxData开源的数据处理引擎。它可以处理来自InfluxDB的流数据和批处理数据,可以周期性将InfluxDB中的数据汇总、处理后再输出到InfluxDB 阅读全文
posted @ 2021-06-06 20:08 东山絮柳仔 阅读(59) 评论(0) 推荐(0) 编辑
摘要:转载:https://www.sohu.com/na/467051591_411876 作者介绍 杨亚洲,前滴滴出行专家工程师,现任OPPO文档数据库MongoDB负责人,负责数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作,一直专注于分布式缓存、高性能服务端、数据库、中间件等相关 阅读全文
posted @ 2021-05-29 10:19 东山絮柳仔 阅读(105) 评论(0) 推荐(0) 编辑
摘要:一.项目背景 我们知道InfluxDB是最受欢迎的时序数据库(TSDB)。InfluxDB具有 持续高并发写入、无更新;数据压缩存储;低查询延时 的特点。从下面这个权威的统计图中,就可以看出InfluxDB的热度。 InfluxDB可以作为 性能监控、应用程序指标、物联网传感器数据和实时分析等的后端 阅读全文
posted @ 2021-05-15 09:55 东山絮柳仔 阅读(314) 评论(0) 推荐(1) 编辑
摘要:1.需求背景 系统程序突然报错,报错信息如下: The transaction log for database '@dbname' is full. To find out why space in the log cannot be reused, see the log_reuse_wait_ 阅读全文
posted @ 2021-04-22 23:55 东山絮柳仔 阅读(280) 评论(0) 推荐(1) 编辑
摘要:前言 身边一直都有小伙伴在问:MongoDB到底是什么?它有到底什么特性?有什么与众不同?在什么情况下使用MongoDB最合适?以什么样的姿势是最好的?难道就一定要用吗?....说实话,这些问题都问到精髓了,也看得出来你们的急切和真切。有时候大家都比较忙,很难抽出一天的时间,坐而论道,把这些问题掰扯 阅读全文
posted @ 2021-04-01 22:45 东山絮柳仔 阅读(513) 评论(0) 推荐(2) 编辑
摘要:一.简介 gh-ost基于 golang 语言,是 github 开源的一个 DDL 工具,是 GitHub's Online Schema Transmogrifier/Transfigurator/Transformer/Thingy 的缩写,意思是 GitHub 的在线表定义转换器。 1.1 阅读全文
posted @ 2021-03-17 23:10 东山絮柳仔 阅读(1056) 评论(0) 推荐(1) 编辑
摘要:关于ELK是什么、做什么用,我们不在此讨论。本文重点在如何实现快速方便地安装logstash和filebeat组件,特别是在近千台DB Server的环境下(为了安全保守,公司DB Server 目前尚未部署saltstack一类的管控软件)。在尽可能标准化的条件下,希望可以实现一键化安装。下面是我 阅读全文
posted @ 2021-03-06 23:16 东山絮柳仔 阅读(259) 评论(0) 推荐(0) 编辑
摘要:从SQL Server 2005 SP1 起,SQL 开始支持数据库镜像。它的设计目的是试图为SQL Server 提供一个具有实时性数据同步的灾难恢复技术,即能够提供数据冗余备份,切换起来比较方便。每个主体数据库只能有一个镜像数据库。镜像数据库作为主体数据库的一个副本,在主体数据库发生故障、不可访 阅读全文
posted @ 2021-01-23 12:11 东山絮柳仔 阅读(455) 评论(0) 推荐(1) 编辑
摘要:一.主要概述 MySQL数据库归档历史数据主要可以分为三种方式:一.创建编写SP、设置Event;二.通过dump导入导出;三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求,往往被大家舍弃。第二种,性能相对较好,但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第 阅读全文
posted @ 2020-12-21 22:31 东山絮柳仔 阅读(892) 评论(2) 推荐(1) 编辑
摘要:I 文档定义 1.1 编写目的 为了在软件生命周期内规范数据库相关的需求分析、设计、开发、测试、运维工作,便于不同团队之间的沟通协调,以及在相关规范上达成共识,提升相关环节的工作效率和系统的可维护性。同时好的规范,在执行的时候可以培养出好的习惯,好的习惯是软件质量的保证。 1.2 适用范围 本文档适 阅读全文
posted @ 2020-10-17 00:33 东山絮柳仔 阅读(936) 评论(0) 推荐(3) 编辑
摘要:Elasticsearch管理中索引的管理非常重要。基于磁盘空间和性能的考量,索引的生命周期管理显得尤为重要。Curator允许对索引创建、删除等操作,下面是我们借助 elasticsearch-curator 插件来定期删除index.本文主要介绍elasticsearch-curator 插件的 阅读全文
posted @ 2020-06-15 14:48 东山絮柳仔 阅读(675) 评论(0) 推荐(0) 编辑