摘要: 背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题,每一代的MS数据库都有关阅读全文
posted @ 2018-01-04 16:15 DB乐之者 阅读(2172) 评论(9) 编辑
摘要: 背景: 图数据库对于表现和遍历复杂的实体之间关系是很有效果的。而这些在传统的关系型数据库中尤其是对于报表而言很难实现。如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。伴随SQL Server 2017的出现,在SQ阅读全文
posted @ 2017-10-18 10:55 DB乐之者 阅读(6740) 评论(4) 编辑
摘要: 背景 最近一个客户找到我说是所有的SQL Server 服务器的内存都被用光了,然后截图给我看了一台服务器的任务管理器。如图 这里要说明一下任务管理器不会完整的告诉真的内存或者CPU的使用情况,也就是说这里只能得到非精确的信息,有可能就是一个假警报。 为了让我的客户放心,我检查了服务器并且查看了很多阅读全文
posted @ 2017-09-04 16:40 DB乐之者 阅读(2264) 评论(9) 编辑
摘要: 背景 最近越来越多的公司把业务搬迁到云上,公司也有这个计划,自己抽时间在阿里云和Azure上做了一些小的尝试,现在把阿里云上部署ES和kibana记录下来。为以后做一个参考,也希望对其他人有帮助。 这里以阿里云为例,由于测试只有一台机器所以这里就展开到集群了,下面介绍下详细的步骤。 步骤: 1.申请阅读全文
posted @ 2017-08-30 10:02 DB乐之者 阅读(1248) 评论(0) 编辑
摘要: 问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗? 当然,作为非DBA在测试甚至开发环境也会遇到这种问题,要求授予所有服务器数据库的某个权限给一阅读全文
posted @ 2016-12-21 10:16 DB乐之者 阅读(988) 评论(0) 编辑
摘要: 背景 现在越来越多的企业、公司要求对于数据库实现7*24小时的数据库监控,一般情况下采用的就是第三方的平台来实现邮件和手机短信的监测提醒。前几日公司新上了一台服务器,急于部署程序还没来得及搭建其他相关平台,为了更好的监控数据库,暂时用SQL Server自带的邮件服务来实现对数据库的监控和预警。下面阅读全文
posted @ 2016-10-10 17:55 DB乐之者 阅读(1652) 评论(3) 编辑
摘要: 概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆。 powershell需要.NET环境的支持,同时支持.NET对象。微软之所以将Powershell 定位为Power,并不是夸大阅读全文
posted @ 2016-09-27 17:47 DB乐之者 阅读(1556) 评论(8) 编辑
摘要: 背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函阅读全文
posted @ 2016-08-29 14:23 DB乐之者 阅读(2155) 评论(19) 编辑
摘要: 许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划,尤其在较老版本的数据库中(如sqlserver2000、oracle 7、mysql等)。但是随着硬件的提升,尤其是多核处理器的提升,并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查阅读全文
posted @ 2016-08-22 15:12 DB乐之者 阅读(3092) 评论(1) 编辑
摘要: 简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate 阅读全文
posted @ 2016-06-08 14:17 DB乐之者 阅读(1538) 评论(7) 编辑
摘要: 这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: 执行结果如图 这种方法的优点如下: 运行速度快。 由于不访问用户表,不会影响性能,不加锁。 灵活组合,也可以与其他语句联合查询金结果。 2. 使用系统存储过程sp阅读全文
posted @ 2016-06-07 17:38 DB乐之者 阅读(4725) 评论(6) 编辑
摘要: 今天我将介绍在SQLServer 中的三种连接操作符类型,分别是:循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ,下面是下载地址:http://msftdbprodsamples.codeplex.com/re阅读全文
posted @ 2016-04-28 19:53 DB乐之者 阅读(2628) 评论(0) 编辑
摘要: 简介 之前一篇简单的介绍了语法和一些基本的概念,隔了一段时间,觉得有必要细致的通过实例来总结一下这部分内容。如之前所说,分区就是讲大型的对象(表)分成更小的块来管理,基本单位是行。这也就产生了很大优势, 比如在数据库维护备份还原操作的时候,比如在大量用户访问能导致死锁的时候等等。接下来我们通过大量实...阅读全文
posted @ 2015-12-01 13:59 DB乐之者 阅读(939) 评论(0) 编辑
摘要: 隐式转换(Implicit conversion) ,这个情况每个程序员都或多或少的遇到过,这里我结合实际情况简单描述下常见的问题以及如何解决并阐述下原理。所谓隐式转换主要出现在我们T-SQL语句中的where 条件里面,我们先从原因上去看一下为什么会出现隐式转换。出现隐式转换的情况和结果:当SQL...阅读全文
posted @ 2015-10-29 13:45 DB乐之者 阅读(587) 评论(1) 编辑
摘要: 简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中,数据的存储以页为单位。八个页为一个区。一页为8K,一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配...阅读全文
posted @ 2015-07-06 00:17 DB乐之者 阅读(928) 评论(1) 编辑
正文内容加载中...
posted @ 2018-05-15 13:04 DB乐之者 阅读(50) 评论(1) 编辑
摘要: 转载:https://www.csdn.net/article/2015-01-13/2823530 一个Hive查询生成多个Map Reduce Job,一个Map Reduce Job又有Map,Reduce,Spill,Shuffle,Sort等多个阶段,所以针对Hive查询的优化可以大致分为阅读全文
posted @ 2018-04-10 15:31 DB乐之者 阅读(151) 评论(0) 编辑
摘要: 介绍 本篇主要通过汇总网上的大牛的知识,简单介绍一下如何使用mysql的执行计划,并根据执行计划判断如何优化和是否索引最优。 执行计划可显示估计查询语句执行计划,从中可以分析查询的执行情况是否最优,有助于对不使用索引的语句进行优化。EXPLAIN对每个查询返回一行信息,列出了有序的表格,MySQL处阅读全文
posted @ 2018-03-15 11:27 DB乐之者 阅读(89) 评论(2) 编辑
摘要: 介绍 改变数据类型是一个看起来很简单的事情,但是如果表非常大或者有最小停机时间的要求,又该如何处理那?这里我提供一个思路来解决这个问题。 背景 在一个常规SQL Server heath检查中,使用sp_blitz,我们最大的生产表之一引发了令人担忧的警报。保存客户订单信息的表的ID列是一个INT 阅读全文
posted @ 2018-03-13 17:53 DB乐之者 阅读(260) 评论(5) 编辑
摘要: 初始脚本 使用上面的命令我们就能每天备份数据库到指定路径去。当然,这只是一个实例,加入打算备份每一个数据库在备份在各自的数据库实例的服务器上,又该如何修改上面的语句那? 目的是批量备份多个实例的数据库,注意这里需要提前把数据库实例存储在一个地方,然后循环遍历出来,代码如下: 代码可是真心简短。当然这阅读全文
posted @ 2018-03-08 15:36 DB乐之者 阅读(223) 评论(0) 编辑
摘要: 转译:(https://www.elastic.co/guide/en/elasticsearch/guide/current/_finding_exact_values.html#_finding_exact_values) 当进行精确值查找时, 我们会使用过滤器(filters)。过滤器很重要,阅读全文
posted @ 2018-03-05 17:21 DB乐之者 阅读(298) 评论(0) 编辑
摘要: 最近开始大面积使用ES,很多地方都是知其然不知其所以然,特地翻看了很多资料和大牛的文档,简单汇总一篇。内容多为摘抄,说是深入其实也是一点浅尝辄止的理解。希望大家领会精神。 首先学习要从官方开始地址如下。 es官网原文:https://www.elastic.co/guide/en/elasticse阅读全文
posted @ 2018-03-01 16:42 DB乐之者 阅读(569) 评论(3) 编辑
摘要: 最近用hive比较多,虽然效率低,但是由于都是T+1的业务模式。所以也就不要求太多了,够用就行。其中用的吧比较多就是时间了,由于大数据中很多字段都不是标准的时间类型字段,所以期间涉及了很多的时间日期字段的处理,这里做一个汇总。一遍以后查询使用。也方便大家学习。 下面列举几个用的比较多的情况进行说明:阅读全文
posted @ 2018-02-27 16:11 DB乐之者 阅读(973) 评论(0) 编辑
摘要: 问题 最近公司很多数据库在上云,也有一部分在下云。这期间出现了很多问题,其中一个比较恶心的问题就是“孤立用户”。当数据库备份还原以后用以前的用户发现不能登录。一开始以为是登录账号没有创建,然后重新创建登录账号,然后再授权给数据库,此时又出错,说用户已经存在。我这才引起注意,开始搜索这个资料,原来这就阅读全文
posted @ 2018-02-22 11:23 DB乐之者 阅读(1821) 评论(6) 编辑
摘要: 背景 最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法。 原味地址 准备工作 我们谈到“文本处理”时,我们通常是指处理的内容。Python 将文本文件的内容读入可以操阅读全文
posted @ 2018-02-11 14:11 DB乐之者 阅读(1101) 评论(0) 编辑