摘要:简介 在数据库中,我们除了存储数据外,还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据,如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言,元数据是非常有价值的。下面我会介绍一下简单的原理,然后 阅读全文
posted @ 2018-07-13 17:28 DB乐之者 阅读(1580) 评论(2) 推荐(5) 编辑
摘要:背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题,每一代的MS数据库都有关 阅读全文
posted @ 2018-01-04 16:15 DB乐之者 阅读(4429) 评论(9) 推荐(7) 编辑
摘要:背景: 图数据库对于表现和遍历复杂的实体之间关系是很有效果的。而这些在传统的关系型数据库中尤其是对于报表而言很难实现。如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。伴随SQL Server 2017的出现,在SQ 阅读全文
posted @ 2017-10-18 10:55 DB乐之者 阅读(16142) 评论(4) 推荐(6) 编辑
摘要:背景 最近一个客户找到我说是所有的SQL Server 服务器的内存都被用光了,然后截图给我看了一台服务器的任务管理器。如图 这里要说明一下任务管理器不会完整的告诉真的内存或者CPU的使用情况,也就是说这里只能得到非精确的信息,有可能就是一个假警报。 为了让我的客户放心,我检查了服务器并且查看了很多 阅读全文
posted @ 2017-09-04 16:40 DB乐之者 阅读(5480) 评论(9) 推荐(10) 编辑
摘要:背景 最近越来越多的公司把业务搬迁到云上,公司也有这个计划,自己抽时间在阿里云和Azure上做了一些小的尝试,现在把阿里云上部署ES和kibana记录下来。为以后做一个参考,也希望对其他人有帮助。 这里以阿里云为例,由于测试只有一台机器所以这里就展开到集群了,下面介绍下详细的步骤。 步骤: 1.申请 阅读全文
posted @ 2017-08-30 10:02 DB乐之者 阅读(3804) 评论(0) 推荐(3) 编辑
摘要:问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗? 当然,作为非DBA在测试甚至开发环境也会遇到这种问题,要求授予所有服务器数据库的某个权限给一 阅读全文
posted @ 2016-12-21 10:16 DB乐之者 阅读(1562) 评论(0) 推荐(5) 编辑
摘要:背景 现在越来越多的企业、公司要求对于数据库实现7*24小时的数据库监控,一般情况下采用的就是第三方的平台来实现邮件和手机短信的监测提醒。前几日公司新上了一台服务器,急于部署程序还没来得及搭建其他相关平台,为了更好的监控数据库,暂时用SQL Server自带的邮件服务来实现对数据库的监控和预警。下面 阅读全文
posted @ 2016-10-10 17:55 DB乐之者 阅读(2906) 评论(3) 推荐(5) 编辑
摘要:概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆。 powershell需要.NET环境的支持,同时支持.NET对象。微软之所以将Powershell 定位为Power,并不是夸大 阅读全文
posted @ 2016-09-27 17:47 DB乐之者 阅读(2945) 评论(9) 推荐(5) 编辑
摘要:背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函 阅读全文
posted @ 2016-08-29 14:23 DB乐之者 阅读(4825) 评论(19) 推荐(15) 编辑
摘要:许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划,尤其在较老版本的数据库中(如sqlserver2000、oracle 7、mysql等)。但是随着硬件的提升,尤其是多核处理器的提升,并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查 阅读全文
posted @ 2016-08-22 15:12 DB乐之者 阅读(7652) 评论(1) 推荐(10) 编辑
摘要:简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate 阅读全文
posted @ 2016-06-08 14:17 DB乐之者 阅读(2522) 评论(7) 推荐(2) 编辑
摘要:这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: 执行结果如图 这种方法的优点如下: 运行速度快。 由于不访问用户表,不会影响性能,不加锁。 灵活组合,也可以与其他语句联合查询金结果。 2. 使用系统存储过程sp 阅读全文
posted @ 2016-06-07 17:38 DB乐之者 阅读(9120) 评论(6) 推荐(10) 编辑
摘要:今天我将介绍在SQLServer 中的三种连接操作符类型,分别是:循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ,下面是下载地址:http://msftdbprodsamples.codeplex.com/re 阅读全文
posted @ 2016-04-28 19:53 DB乐之者 阅读(5985) 评论(0) 推荐(2) 编辑
摘要:简介 之前一篇简单的介绍了语法和一些基本的概念,隔了一段时间,觉得有必要细致的通过实例来总结一下这部分内容。如之前所说,分区就是讲大型的对象(表)分成更小的块来管理,基本单位是行。这也就产生了很大优势, 比如在数据库维护备份还原操作的时候,比如在大量用户访问能导致死锁的时候等等。接下来我们通过大量实... 阅读全文
posted @ 2015-12-01 13:59 DB乐之者 阅读(1128) 评论(0) 推荐(4) 编辑
摘要:隐式转换(Implicit conversion) ,这个情况每个程序员都或多或少的遇到过,这里我结合实际情况简单描述下常见的问题以及如何解决并阐述下原理。所谓隐式转换主要出现在我们T-SQL语句中的where 条件里面,我们先从原因上去看一下为什么会出现隐式转换。出现隐式转换的情况和结果:当SQL... 阅读全文
posted @ 2015-10-29 13:45 DB乐之者 阅读(1127) 评论(1) 推荐(3) 编辑
摘要:简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中,数据的存储以页为单位。八个页为一个区。一页为8K,一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配... 阅读全文
posted @ 2015-07-06 00:17 DB乐之者 阅读(1634) 评论(1) 推荐(6) 编辑
正文内容加载中...
posted @ 2020-06-10 10:43 DB乐之者 阅读(46) 评论(0) 推荐(0) 编辑
摘要:系统中有python2,为了不影响现有程序,只能在此基础上安装python3。 安装可能需要的依赖# yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel gcc gcc-c+ 阅读全文
posted @ 2020-05-07 14:31 DB乐之者 阅读(51) 评论(0) 推荐(0) 编辑
摘要:准备工作 创建测试表 CREATE TABLE my_table ( rowkey VARCHAR NOT NULL PRIMARY KEY, v1 VARCHAR, v2 VARCHAR, v3 VARCHAR ); UPSERT INTO my_table values('1','value1' 阅读全文
posted @ 2020-04-20 10:34 DB乐之者 阅读(130) 评论(0) 推荐(0) 编辑
摘要:spark shuffle参数调优 spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前,会先写入buffer缓冲中,待缓冲写满之后,才 阅读全文
posted @ 2020-03-26 23:09 DB乐之者 阅读(99) 评论(0) 推荐(0) 编辑
摘要:一、Hbase的六大特点: (1)、表大:一个表可以有数亿行,上百万列。 (2)、无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态增加,同一个表中的不同行的可以有截然不同的列。 (3)、面向列:HBase是面向列的的存储和权限控制,列族独立索引。 (4)、稀疏:空(null)列并不占 阅读全文
posted @ 2020-03-26 19:53 DB乐之者 阅读(232) 评论(0) 推荐(0) 编辑
摘要:hbase是一个构建在hdfs上的分布式列存储系统; hbase是apache hadoop生态系统中的重要一员,主要用于海量结构化数据存储 从逻辑上讲,hbase将数据按照表、行和列进行存储 hbase表特点: 1.大:一个表可以有数十亿行,上百万列; 2.无模式:每行都有一个可排序的主键和任意多 阅读全文
posted @ 2020-03-26 19:47 DB乐之者 阅读(30) 评论(0) 推荐(0) 编辑
摘要:背景 在 SQL Server 2012 和 2014 中,初始化 SQL Server Always On 可用性组中的次要副本的唯一方法是使用备份、复制和还原。 在一个高可用组里面添加一个数据库需要很多手动任务和一些必要条件。需要完成的这些工作中,有一些是有些困难的,比如: 我们需要从主副本中备 阅读全文
posted @ 2020-03-26 19:07 DB乐之者 阅读(69) 评论(1) 推荐(0) 编辑
摘要:1) 窗口函数 Lag, Lead, First_value,Last_valueLag, Lead、这两个函数为常用的窗口函数,可以返回上下数据行的数据. LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值, 与LAG 阅读全文
posted @ 2020-03-25 17:20 DB乐之者 阅读(80) 评论(0) 推荐(0) 编辑
摘要:一、数据仓库建模的意义 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。 数据模型就是数据组织和存储 阅读全文
posted @ 2020-03-25 17:16 DB乐之者 阅读(89) 评论(0) 推荐(0) 编辑
摘要:Spark DataFrame基础操作 创建SparkSession和SparkContext val spark = SparkSession.builder.master("local").getOrCreate() val sc = spark.sparkContext 从数组创建DataFr 阅读全文
posted @ 2020-03-23 17:22 DB乐之者 阅读(74) 评论(0) 推荐(0) 编辑