摘要: 简介 在数据库中,我们除了存储数据外,还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据,如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言,元数据是非常有价值的。下面我会介绍一下简单的原理,然后阅读全文
posted @ 2018-07-13 17:28 DB乐之者 阅读(243) 评论(2) 编辑
摘要: 背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题,每一代的MS数据库都有关阅读全文
posted @ 2018-01-04 16:15 DB乐之者 阅读(2376) 评论(9) 编辑
摘要: 背景: 图数据库对于表现和遍历复杂的实体之间关系是很有效果的。而这些在传统的关系型数据库中尤其是对于报表而言很难实现。如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。伴随SQL Server 2017的出现,在SQ阅读全文
posted @ 2017-10-18 10:55 DB乐之者 阅读(8556) 评论(4) 编辑
摘要: 背景 最近一个客户找到我说是所有的SQL Server 服务器的内存都被用光了,然后截图给我看了一台服务器的任务管理器。如图 这里要说明一下任务管理器不会完整的告诉真的内存或者CPU的使用情况,也就是说这里只能得到非精确的信息,有可能就是一个假警报。 为了让我的客户放心,我检查了服务器并且查看了很多阅读全文
posted @ 2017-09-04 16:40 DB乐之者 阅读(2834) 评论(9) 编辑
摘要: 背景 最近越来越多的公司把业务搬迁到云上,公司也有这个计划,自己抽时间在阿里云和Azure上做了一些小的尝试,现在把阿里云上部署ES和kibana记录下来。为以后做一个参考,也希望对其他人有帮助。 这里以阿里云为例,由于测试只有一台机器所以这里就展开到集群了,下面介绍下详细的步骤。 步骤: 1.申请阅读全文
posted @ 2017-08-30 10:02 DB乐之者 阅读(1616) 评论(0) 编辑
摘要: 问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗? 当然,作为非DBA在测试甚至开发环境也会遇到这种问题,要求授予所有服务器数据库的某个权限给一阅读全文
posted @ 2016-12-21 10:16 DB乐之者 阅读(1116) 评论(0) 编辑
摘要: 背景 现在越来越多的企业、公司要求对于数据库实现7*24小时的数据库监控,一般情况下采用的就是第三方的平台来实现邮件和手机短信的监测提醒。前几日公司新上了一台服务器,急于部署程序还没来得及搭建其他相关平台,为了更好的监控数据库,暂时用SQL Server自带的邮件服务来实现对数据库的监控和预警。下面阅读全文
posted @ 2016-10-10 17:55 DB乐之者 阅读(1877) 评论(3) 编辑
摘要: 概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆。 powershell需要.NET环境的支持,同时支持.NET对象。微软之所以将Powershell 定位为Power,并不是夸大阅读全文
posted @ 2016-09-27 17:47 DB乐之者 阅读(1754) 评论(8) 编辑
摘要: 背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函阅读全文
posted @ 2016-08-29 14:23 DB乐之者 阅读(2357) 评论(19) 编辑
摘要: 许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划,尤其在较老版本的数据库中(如sqlserver2000、oracle 7、mysql等)。但是随着硬件的提升,尤其是多核处理器的提升,并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查阅读全文
posted @ 2016-08-22 15:12 DB乐之者 阅读(3885) 评论(1) 编辑
摘要: 简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate 阅读全文
posted @ 2016-06-08 14:17 DB乐之者 阅读(1755) 评论(7) 编辑
摘要: 这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: 执行结果如图 这种方法的优点如下: 运行速度快。 由于不访问用户表,不会影响性能,不加锁。 灵活组合,也可以与其他语句联合查询金结果。 2. 使用系统存储过程sp阅读全文
posted @ 2016-06-07 17:38 DB乐之者 阅读(5438) 评论(6) 编辑
摘要: 今天我将介绍在SQLServer 中的三种连接操作符类型,分别是:循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ,下面是下载地址:http://msftdbprodsamples.codeplex.com/re阅读全文
posted @ 2016-04-28 19:53 DB乐之者 阅读(3080) 评论(0) 编辑
摘要: 简介 之前一篇简单的介绍了语法和一些基本的概念,隔了一段时间,觉得有必要细致的通过实例来总结一下这部分内容。如之前所说,分区就是讲大型的对象(表)分成更小的块来管理,基本单位是行。这也就产生了很大优势, 比如在数据库维护备份还原操作的时候,比如在大量用户访问能导致死锁的时候等等。接下来我们通过大量实...阅读全文
posted @ 2015-12-01 13:59 DB乐之者 阅读(968) 评论(0) 编辑
摘要: 隐式转换(Implicit conversion) ,这个情况每个程序员都或多或少的遇到过,这里我结合实际情况简单描述下常见的问题以及如何解决并阐述下原理。所谓隐式转换主要出现在我们T-SQL语句中的where 条件里面,我们先从原因上去看一下为什么会出现隐式转换。出现隐式转换的情况和结果:当SQL...阅读全文
posted @ 2015-10-29 13:45 DB乐之者 阅读(662) 评论(1) 编辑
摘要: 简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中,数据的存储以页为单位。八个页为一个区。一页为8K,一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配...阅读全文
posted @ 2015-07-06 00:17 DB乐之者 阅读(1008) 评论(1) 编辑
正文内容加载中...
posted @ 2018-09-05 17:24 DB乐之者 阅读(26) 评论(0) 编辑
摘要: 简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 简介 Kafka经常用于实时流数据架构,用于提供实时分析。本篇将会简单介绍kafka以及它为什么能够广泛应用。 kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用ka阅读全文
posted @ 2018-08-28 18:20 DB乐之者 阅读(221) 评论(0) 编辑
摘要: 前言 本文将会讲述 BI/DW/DA 领域的一些常见概念,如:事实表、维度表、建模、多维分析、cube 等,但不涉及具体实例分析。 1、维(Dimension) 维是用于从不同角度描述事物特征的,一般维都会有多层(Level:级别),每个Level都会包含一些共有的或特有的属性(Attribute)阅读全文
posted @ 2018-07-30 12:01 DB乐之者 阅读(105) 评论(0) 编辑
摘要: 背景 在第一篇中我介绍了如何访问元数据,元数据为什么在数据库里面,以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。第二篇,我选择了触发器的主题,因为它是一个能提供很好例子的数据库对象,并且在这个对象中能够提出问题和解决问题。 本篇我将会介绍元数据中的索引,不仅仅是因为它们本身很阅读全文
posted @ 2018-07-26 10:46 DB乐之者 阅读(236) 评论(0) 编辑
摘要: 背景 上一篇中,我介绍了SQL Server 允许访问数据库的元数据,为什么有元数据,如何使用元数据。这一篇中我会介绍如何进一步找到各种有价值的信息。以触发器为例,因为它们往往一起很多问题。 那么如何找到触发器的数据? 以sys.system_viewsis表开始。让我们查询出数据库中使用触发器的信阅读全文
posted @ 2018-07-17 17:08 DB乐之者 阅读(268) 评论(1) 编辑
摘要: 简介 在数据库中,我们除了存储数据外,还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据,如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言,元数据是非常有价值的。下面我会介绍一下简单的原理,然后阅读全文
posted @ 2018-07-13 17:28 DB乐之者 阅读(243) 评论(2) 编辑
摘要: MySQL常见备份方案有以下三种: mysqldump + binlog lvm + binlog xtrabackup 本例为方便演示,数据库里面数据为空。下面开始动手 1、利用mysqldump完全备份mysql,配合二进制日志备份实现增量备份 mysqldump 选项请参考http://wan阅读全文
posted @ 2018-05-15 13:04 DB乐之者 阅读(111) 评论(1) 编辑
摘要: 转载:https://www.csdn.net/article/2015-01-13/2823530 一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为阅读全文
posted @ 2018-04-10 15:31 DB乐之者 阅读(972) 评论(0) 编辑
摘要: 介绍 本篇主要通过汇总网上的大牛的知识,简单介绍一下如何使用mysql的执行计划,并根据执行计划判断如何优化和是否索引最优。 执行计划可显示估计查询语句执行计划,从中可以分析查询的执行情况是否最优,有助于对不使用索引的语句进行优化。EXPLAIN对每个查询返回一行信息,列出了有序的表格,MySQL处阅读全文
posted @ 2018-03-15 11:27 DB乐之者 阅读(127) 评论(2) 编辑
摘要: 介绍 改变数据类型是一个看起来很简单的事情,但是如果表非常大或者有最小停机时间的要求,又该如何处理那?这里我提供一个思路来解决这个问题。 背景 在一个常规SQL Server heath检查中,使用sp_blitz,我们最大的生产表之一引发了令人担忧的警报。保存客户订单信息的表的ID列是一个INT 阅读全文
posted @ 2018-03-13 17:53 DB乐之者 阅读(514) 评论(5) 编辑