摘要:简介 在数据库中,我们除了存储数据外,还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据,如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言,元数据是非常有价值的。下面我会介绍一下简单的原理,然后 阅读全文
posted @ 2018-07-13 17:28 DB乐之者 阅读 (787) 评论 (2) 编辑
摘要:背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题,每一代的MS数据库都有关 阅读全文
posted @ 2018-01-04 16:15 DB乐之者 阅读 (3699) 评论 (9) 编辑
摘要:背景: 图数据库对于表现和遍历复杂的实体之间关系是很有效果的。而这些在传统的关系型数据库中尤其是对于报表而言很难实现。如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。伴随SQL Server 2017的出现,在SQ 阅读全文
posted @ 2017-10-18 10:55 DB乐之者 阅读 (15047) 评论 (4) 编辑
摘要:背景 最近一个客户找到我说是所有的SQL Server 服务器的内存都被用光了,然后截图给我看了一台服务器的任务管理器。如图 这里要说明一下任务管理器不会完整的告诉真的内存或者CPU的使用情况,也就是说这里只能得到非精确的信息,有可能就是一个假警报。 为了让我的客户放心,我检查了服务器并且查看了很多 阅读全文
posted @ 2017-09-04 16:40 DB乐之者 阅读 (5048) 评论 (9) 编辑
摘要:背景 最近越来越多的公司把业务搬迁到云上,公司也有这个计划,自己抽时间在阿里云和Azure上做了一些小的尝试,现在把阿里云上部署ES和kibana记录下来。为以后做一个参考,也希望对其他人有帮助。 这里以阿里云为例,由于测试只有一台机器所以这里就展开到集群了,下面介绍下详细的步骤。 步骤: 1.申请 阅读全文
posted @ 2017-08-30 10:02 DB乐之者 阅读 (3070) 评论 (0) 编辑
摘要:问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗? 当然,作为非DBA在测试甚至开发环境也会遇到这种问题,要求授予所有服务器数据库的某个权限给一 阅读全文
posted @ 2016-12-21 10:16 DB乐之者 阅读 (1404) 评论 (0) 编辑
摘要:背景 现在越来越多的企业、公司要求对于数据库实现7*24小时的数据库监控,一般情况下采用的就是第三方的平台来实现邮件和手机短信的监测提醒。前几日公司新上了一台服务器,急于部署程序还没来得及搭建其他相关平台,为了更好的监控数据库,暂时用SQL Server自带的邮件服务来实现对数据库的监控和预警。下面 阅读全文
posted @ 2016-10-10 17:55 DB乐之者 阅读 (2636) 评论 (3) 编辑
摘要:概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆。 powershell需要.NET环境的支持,同时支持.NET对象。微软之所以将Powershell 定位为Power,并不是夸大 阅读全文
posted @ 2016-09-27 17:47 DB乐之者 阅读 (2489) 评论 (9) 编辑
摘要:背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函 阅读全文
posted @ 2016-08-29 14:23 DB乐之者 阅读 (3700) 评论 (19) 编辑
摘要:许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划,尤其在较老版本的数据库中(如sqlserver2000、oracle 7、mysql等)。但是随着硬件的提升,尤其是多核处理器的提升,并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查 阅读全文
posted @ 2016-08-22 15:12 DB乐之者 阅读 (6551) 评论 (1) 编辑
摘要:简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate 阅读全文
posted @ 2016-06-08 14:17 DB乐之者 阅读 (2330) 评论 (7) 编辑
摘要:这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: 执行结果如图 这种方法的优点如下: 运行速度快。 由于不访问用户表,不会影响性能,不加锁。 灵活组合,也可以与其他语句联合查询金结果。 2. 使用系统存储过程sp 阅读全文
posted @ 2016-06-07 17:38 DB乐之者 阅读 (8171) 评论 (6) 编辑
摘要:今天我将介绍在SQLServer 中的三种连接操作符类型,分别是:循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ,下面是下载地址:http://msftdbprodsamples.codeplex.com/re 阅读全文
posted @ 2016-04-28 19:53 DB乐之者 阅读 (5124) 评论 (0) 编辑
摘要:简介 之前一篇简单的介绍了语法和一些基本的概念,隔了一段时间,觉得有必要细致的通过实例来总结一下这部分内容。如之前所说,分区就是讲大型的对象(表)分成更小的块来管理,基本单位是行。这也就产生了很大优势, 比如在数据库维护备份还原操作的时候,比如在大量用户访问能导致死锁的时候等等。接下来我们通过大量实... 阅读全文
posted @ 2015-12-01 13:59 DB乐之者 阅读 (1064) 评论 (0) 编辑
摘要:隐式转换(Implicit conversion) ,这个情况每个程序员都或多或少的遇到过,这里我结合实际情况简单描述下常见的问题以及如何解决并阐述下原理。所谓隐式转换主要出现在我们T-SQL语句中的where 条件里面,我们先从原因上去看一下为什么会出现隐式转换。出现隐式转换的情况和结果:当SQL... 阅读全文
posted @ 2015-10-29 13:45 DB乐之者 阅读 (954) 评论 (1) 编辑
摘要:简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中,数据的存储以页为单位。八个页为一个区。一页为8K,一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配... 阅读全文
posted @ 2015-07-06 00:17 DB乐之者 阅读 (1431) 评论 (1) 编辑
正文内容加载中...
posted @ 2019-09-04 11:00 DB乐之者 阅读 (39) 评论 (0) 编辑
摘要:目标 目标 本文档描述FairScheduler,一个允许YARN应用程序公平共享集群资源的调度插件。 本文档描述FairScheduler,一个允许YARN应用程序公平共享集群资源的调度插件。 概述 公平调度是一个分配资源给所有application的方法,平均来看,是随着时间的进展平等分享资源的 阅读全文
posted @ 2019-08-23 15:30 DB乐之者 阅读 (23) 评论 (0) 编辑
摘要:Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的,不论开源还是私有的,拥有最先进,高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它,你需要编写 Java 程序,并在你的 阅读全文
posted @ 2019-05-17 16:20 DB乐之者 阅读 (563) 评论 (0) 编辑
摘要:描述:最近遇到了一个问题,在mysql中如何完成节点下的所有节点或节点上的所有父节点的查询? 在Oracle中我们知道有一个Hierarchical Queries可以通过CONNECT BY来查询,但是,在MySQL中还没有对应的函数!!! 下面给出一个function来完成的方法 下面是sql脚 阅读全文
posted @ 2019-05-14 14:57 DB乐之者 阅读 (422) 评论 (0) 编辑
摘要:介绍 大家都知道利用 .append 和 .pop 方法,我们可以把列表当作栈或者队列来用(比如,把 append 和 pop(0) 合起来用,就能模拟栈的“先进先出”的特点)。但是删除列表的第一个元素(抑或是在第一个元素之前添加一个 元素)之类的操作是很耗时的,因为这些操作会牵扯到移动列表里的所有 阅读全文
posted @ 2019-03-12 10:14 DB乐之者 阅读 (238) 评论 (0) 编辑
摘要:很多研发人员程序连接SQL Server直接用的就是SA帐号。如果对数据库管理稍微严格一点的话,就不应该给应用程序这种权限,通常应用程序只需要进行增删改查,而很少有DDL操作,因此配置帐号时应该遵循“最小权限分配”的原则仅仅赋予所需的权限。 对于应用程序来说,最小的权限通常就是就是给予读权限,写权限 阅读全文
posted @ 2019-02-27 10:10 DB乐之者 阅读 (576) 评论 (0) 编辑
摘要:排序是工作和生活中非常常见的一个问题。现在已经有比较成熟的排序技术,被广泛地应用于各种程序语言或数据库中。不同的排序算法有不同的性能和适用场景,下面的视频对比了 9 种排序算法的性能表现。排序算法依次为选择排序、希尔排序、插入排序、归并排序、快速排序、堆排序、冒泡排序、梳排序、鸡尾酒排序。 九种排序 阅读全文
posted @ 2019-02-26 09:36 DB乐之者 阅读 (93) 评论 (0) 编辑
摘要:一、Apache kylin的核心概念 NEW - This denotes one job has been just created. PENDING - This denotes one job is paused by job scheduler and waiting for resour 阅读全文
posted @ 2019-02-18 11:06 DB乐之者 阅读 (205) 评论 (0) 编辑
摘要:问题 SQL Server数据仓库具有自己的特征和行为属性,有别去其他。从这个意义上说,数据仓库基础架构规划需要与标准SQL Server OLTP数据库系统的规划不同。在本文中,我们将介绍在计划数据仓库时应该考虑的一些事项。 解决 SQL Server 数据仓库系统参数 数据仓库本身有自己的参数, 阅读全文
posted @ 2019-02-12 20:10 DB乐之者 阅读 (940) 评论 (0) 编辑
摘要:hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。Metastore (hive元数据)Hive将元数据存储在数据库中,比如mysql ,derby.Hive中的元数据包括表的名称 阅读全文
posted @ 2019-02-11 12:02 DB乐之者 阅读 (1324) 评论 (4) 编辑