摘要: 简介 在数据库中,我们除了存储数据外,还存储了大量的元数据。它们主要的作用就是描述数据库怎么建立、配置、以及各种对象的属性等。本篇简单介绍如何使用和查询元数据,如何更有效的管理SQLServer 数据库。 对一些有经验的数据库开发和管理人员而言,元数据是非常有价值的。下面我会介绍一下简单的原理,然后 阅读全文
posted @ 2018-07-13 17:28 DB乐之者 阅读(2665) 评论(2) 推荐(5) 编辑
摘要: 背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。 解决 安全已经是一个数据方面的核心问题,每一代的MS数据库都有关 阅读全文
posted @ 2018-01-04 16:15 DB乐之者 阅读(5768) 评论(9) 推荐(8) 编辑
摘要: 背景: 图数据库对于表现和遍历复杂的实体之间关系是很有效果的。而这些在传统的关系型数据库中尤其是对于报表而言很难实现。如果把传统关系型数据库比做火车的话,那么到现在大数据时代,图数据库可比做高铁。它已成为NoSQL中关注度最高,发展趋势最明显的数据库。伴随SQL Server 2017的出现,在SQ 阅读全文
posted @ 2017-10-18 10:55 DB乐之者 阅读(17641) 评论(5) 推荐(7) 编辑
摘要: 背景 最近一个客户找到我说是所有的SQL Server 服务器的内存都被用光了,然后截图给我看了一台服务器的任务管理器。如图 这里要说明一下任务管理器不会完整的告诉真的内存或者CPU的使用情况,也就是说这里只能得到非精确的信息,有可能就是一个假警报。 为了让我的客户放心,我检查了服务器并且查看了很多 阅读全文
posted @ 2017-09-04 16:40 DB乐之者 阅读(6540) 评论(9) 推荐(11) 编辑
摘要: 背景 最近越来越多的公司把业务搬迁到云上,公司也有这个计划,自己抽时间在阿里云和Azure上做了一些小的尝试,现在把阿里云上部署ES和kibana记录下来。为以后做一个参考,也希望对其他人有帮助。 这里以阿里云为例,由于测试只有一台机器所以这里就展开到集群了,下面介绍下详细的步骤。 步骤: 1.申请 阅读全文
posted @ 2017-08-30 10:02 DB乐之者 阅读(5061) 评论(0) 推荐(3) 编辑
摘要: 问题 对于DBA或者其他运维人员来说授权一个账户的相同权限给另一个账户是一个很普通的任务。但是随着服务器、数据库、应用、使用人员地增加就变得很枯燥乏味又耗时费力的工作。那么有什么容易的办法来实现这个任务吗? 当然,作为非DBA在测试甚至开发环境也会遇到这种问题,要求授予所有服务器数据库的某个权限给一 阅读全文
posted @ 2016-12-21 10:16 DB乐之者 阅读(2067) 评论(0) 推荐(5) 编辑
摘要: 背景 现在越来越多的企业、公司要求对于数据库实现7*24小时的数据库监控,一般情况下采用的就是第三方的平台来实现邮件和手机短信的监测提醒。前几日公司新上了一台服务器,急于部署程序还没来得及搭建其他相关平台,为了更好的监控数据库,暂时用SQL Server自带的邮件服务来实现对数据库的监控和预警。下面 阅读全文
posted @ 2016-10-10 17:55 DB乐之者 阅读(3486) 评论(3) 推荐(5) 编辑
摘要: 概念 Powershell 是运行在windows机器上实现系统和应用程序管理自动化的命令行脚本环境。你可以把它看成是命令行提示符cmd.exe的扩充,不对,应当是颠覆。 powershell需要.NET环境的支持,同时支持.NET对象。微软之所以将Powershell 定位为Power,并不是夸大 阅读全文
posted @ 2016-09-27 17:47 DB乐之者 阅读(3534) 评论(9) 推荐(5) 编辑
摘要: 背景 Microsoft SQL Server 对于数据平台的开发者来说越来越友好。比如已经原生支持XML很多年了,在这个趋势下,如今也能在SQLServer2016中使用内置的JSON。尤其对于一些大数据很数据接口的解析环节来说这显得非常有价值。与我们现在所做比如在SQL中使用CLR或者自定义的函 阅读全文
posted @ 2016-08-29 14:23 DB乐之者 阅读(6017) 评论(19) 推荐(15) 编辑
摘要: 许多有经验的数据库开发或者DBA都曾经头痛于并行查询计划,尤其在较老版本的数据库中(如sqlserver2000、oracle 7、mysql等)。但是随着硬件的提升,尤其是多核处理器的提升,并行处理成为了一个提高大数据处理的高效方案尤其针对OLAP的数据处理起到了很好的作用。 充分高效地利用并行查 阅读全文
posted @ 2016-08-22 15:12 DB乐之者 阅读(9626) 评论(1) 推荐(11) 编辑
摘要: 简介 最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询资料发现了日志文件在简单模式下依然增加的原因。 Simple概念 Simple恢复模式也叫做”Checkpoint with truncate 阅读全文
posted @ 2016-06-08 14:17 DB乐之者 阅读(2867) 评论(7) 推荐(2) 编辑
摘要: 这几天要求做一个服务器的统计信息,主要针对表和索引。下面我就简单分享几个查询数据表和索引统计信息的方法: 1.使用T-SQL 语句实现: 执行结果如图 这种方法的优点如下: 运行速度快。 由于不访问用户表,不会影响性能,不加锁。 灵活组合,也可以与其他语句联合查询金结果。 2. 使用系统存储过程sp 阅读全文
posted @ 2016-06-07 17:38 DB乐之者 阅读(11368) 评论(6) 推荐(11) 编辑
摘要: 今天我将介绍在SQLServer 中的三种连接操作符类型,分别是:循环嵌套、哈希匹配和合并连接。主要对这三种连接的不同、复杂度用范例的形式一一介绍。 本文中使用了示例数据库AdventureWorks ,下面是下载地址:http://msftdbprodsamples.codeplex.com/re 阅读全文
posted @ 2016-04-28 19:53 DB乐之者 阅读(7225) 评论(0) 推荐(2) 编辑
摘要: 简介 之前一篇简单的介绍了语法和一些基本的概念,隔了一段时间,觉得有必要细致的通过实例来总结一下这部分内容。如之前所说,分区就是讲大型的对象(表)分成更小的块来管理,基本单位是行。这也就产生了很大优势, 比如在数据库维护备份还原操作的时候,比如在大量用户访问能导致死锁的时候等等。接下来我们通过大量实... 阅读全文
posted @ 2015-12-01 13:59 DB乐之者 阅读(1320) 评论(0) 推荐(4) 编辑
摘要: 隐式转换(Implicit conversion) ,这个情况每个程序员都或多或少的遇到过,这里我结合实际情况简单描述下常见的问题以及如何解决并阐述下原理。所谓隐式转换主要出现在我们T-SQL语句中的where 条件里面,我们先从原因上去看一下为什么会出现隐式转换。出现隐式转换的情况和结果:当SQL... 阅读全文
posted @ 2015-10-29 13:45 DB乐之者 阅读(1563) 评论(1) 推荐(3) 编辑
摘要: 简介 SQL Server每个表中各列的数据类型的有各种形式,产生的效果也各有不同,我们主要根据效率兼顾性能的情况下讨论下如何规定类型。 在SQL Server中,数据的存储以页为单位。八个页为一个区。一页为8K,一个区为64K,这个意味着1M的空间可以容纳16个区。 SQL Server中的分配... 阅读全文
posted @ 2015-07-06 00:17 DB乐之者 阅读(1956) 评论(1) 推荐(6) 编辑
正文内容加载中...
posted @ 2022-03-27 22:12 DB乐之者 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 介绍 安全角色可以简化SQL Server中的权限。在本文中,解释了固定的服务器和数据库角色 管理SQL Server的安全是非常重要的。作为DBA或安全管理员,您需要为登录用户和数据库用户提供访问SQL Server中的资源的权限。SQL Server同时拥有服务器和数据库资源,其中可能需要授予访 阅读全文
posted @ 2022-03-27 21:41 DB乐之者 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 介绍 本篇将介绍如何使用powershell 生成脚本。 解决 利用 Script() 方法 首先,创建一个server 对象实例,然后连接它。我只需要引入Script() 方法,脚本如下: [System.Reflection.Assembly]::LoadWithPartialName('Mic 阅读全文
posted @ 2022-03-27 20:50 DB乐之者 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 下面简单一个脚本实现访问sqlserver,支持所有版本的SQLserver。 你是否需要连接数据库?这里有一段代码演示如何查询和获取SQL数据,只需非常简单正确的配置你的账户信息、服务器地址及SQL语句就行: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 阅读全文
posted @ 2022-03-27 20:12 DB乐之者 阅读(88) 评论(0) 推荐(0) 编辑
摘要: 本篇将使用PowerShell脚本对SQL Server 的关键指标进行监控.以下,用数据库空间容量为例,实现一下逻辑:一、建表为每台服务器创建一个表,用于记录服务器各个数据库的容量,以服务器名作为表名。 CREATE TABLE table_name( [LOG_DATE] [varchar](2 阅读全文
posted @ 2022-03-27 20:04 DB乐之者 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 本文介绍几个 8.0 在关系数据库方面的主要新特性。 你可能已经知道 MySQL 从版本 5.7 开始提供了 NoSQL 存储的功能,在 8.0 中这部分功能也得到了一些改进(MySQL 5.7 vs 8.0,哪个性能更牛?),但鉴于这个在实际当中用得极少,本人也是没用过,所以本文不会介绍这方面的东 阅读全文
posted @ 2022-03-27 19:51 DB乐之者 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 需要监控基本的数据库参数,如恢复模型,页面验证,自动关闭,自动收缩,数据库所有者,自动创建统计启用,数据库创建日期等。因为是windows系统需要接住poweshell。 我们的要求是,所有数据库都应该处于完全恢复模式,并且应该被监控。 此外,我添加了其他重要参数,如AutoShrink, Auto 阅读全文
posted @ 2022-03-22 19:20 DB乐之者 阅读(48) 评论(0) 推荐(0) 编辑
摘要: ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中,当前日数据量达到了300亿。 之前介绍的有关数据处理入库的经验都是基于实时数据流,数据存储在Kafka中,我们使用Java或者Golang将数据从Ka 阅读全文
posted @ 2022-03-18 11:19 DB乐之者 阅读(81) 评论(0) 推荐(0) 编辑
摘要: 触发器(Trigger)是 MySQL 中非常实用的一个功能,它可以在操作者对表进行「增删改」 之前(或之后)被触发,自动执行一段事先写好的 SQL 代码。 本教程带领大家在实践中学习,你将学到触发器在实际应用场景中的重要应用。 在这个教程中客户管理系统。在这套系统中,你需要设置在INSERT 表之 阅读全文
posted @ 2022-03-12 18:19 DB乐之者 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 摘要: 下面首先简单介绍了搜索引擎的性能,然后详细说明了HBase与MySQL的性能对比,这里的数据都是经过实际的测试获得的。最后,给出了采用多线程批量从HBase中取数据的方案,此方案经过测试要比通过自定义Filter的方式性能高出很多。 关键词: HBase, 高性能, 获取数据, 性能对比, 阅读全文
posted @ 2022-02-26 14:31 DB乐之者 阅读(106) 评论(0) 推荐(0) 编辑
摘要: 删除命令对照表 练习例子 删除/etc/passwd中的第15行 1 sed -i '1d' passwd 删除/etc/passwd中的8行到14行的所有内容 1 sed -i '8,14d' passwd 删除/etc/passwd中的不能登录的用户(筛选条件:/sbin/nologin) 1 阅读全文
posted @ 2022-02-26 14:30 DB乐之者 阅读(98) 评论(0) 推荐(0) 编辑
摘要: Log Cleanup 简介 在Kafka中,存在数据过期的机制,称为data expire。如何处理过期数据是根据指定的policy(策略)决定的,而处理过期数据的行为,即为log cleanup。 在Kafka中有以下几种处理过期数据的策略: · log.cleanup.policy=delet 阅读全文
posted @ 2022-02-26 14:28 DB乐之者 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 导入数据后发现大量分区字段插入错误,需要批量删除分区,发现不能批量操作,只能手写一个脚本分布执行。 shell 脚本如下: ports="8888" user='' pwd='' host='' dbtable='' drop_sql=(`curl -u $user:$pwd 'http://hos 阅读全文
posted @ 2022-02-22 21:24 DB乐之者 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 同比、环比分析是一对常见的分析指标,其增长率公式如下: 同比增长率 =(本期数 - 同期数) / 同期数 环比增长率 =(本期数 - 上期数) /上期数 在一些提供了开窗函数的数据库中(如Oracle、Hive),可以利用lag()、lead()函数配合over(),非常方便的实现同比和环比的查询。 阅读全文
posted @ 2022-02-17 13:28 DB乐之者 阅读(116) 评论(0) 推荐(0) 编辑
摘要: Bool query 包含那些? Bool query 对应lucene 的BooleanQuery,一般由一个或者多个查询子句组成,如下表格所示: 用法描述 must 查询一定包含匹配查询内容,并且提供得分 filter 查询一定包含匹配查询内容,但是不提供得分,会对查询结果进行缓存 should 阅读全文
posted @ 2022-02-17 13:27 DB乐之者 阅读(327) 评论(0) 推荐(0) 编辑
摘要: shell中用sftp连接报错,发现是校验证书的,可以先手动连接一下。在当前用户目录下的./ssh里面会生成一个秘钥。这样下次就会不校验直接可以登录了。在这里插入图片描述cd: Fatal error: Host key verification failed.ls: ls -l: Fatal er 阅读全文
posted @ 2022-02-11 18:31 DB乐之者 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 一、背景 需求: redis通过tcp来对外提供服务,client通过socket连接发起请求,每个请求在命令发出后会阻塞等待redis服务器进行处理,处理完毕后将结果返回给client。 其实和一个http的服务器类似,一问一答,请求一次给一次响应。而这个过程在排除掉redis服务本身做复杂操作时 阅读全文
posted @ 2022-01-24 20:09 DB乐之者 阅读(77) 评论(0) 推荐(0) 编辑
摘要: 目录 1、在 shell 脚本中定义变量,在 hive -e 中使用 2、通过 --hiveconf 定义变量 3、通过 --hivevar 定义变量 4、通过 -define 定义变量 操作的表: hive> select * from hbase_table_1; OK 1 zhangsan 2 阅读全文
posted @ 2022-01-24 17:47 DB乐之者 阅读(275) 评论(0) 推荐(0) 编辑
摘要: ck 目前支持了更新和删除,但是与传统sql语法 略有不同,我也记录下来,防止后面忘记。 测试数据 :) select count(*) from system.columns where table='test_update'; ┌─count()─┐ │ 332 │ └─────────┘ :) 阅读全文
posted @ 2021-12-29 15:42 DB乐之者 阅读(299) 评论(0) 推荐(0) 编辑
摘要: 日期和时间运算符 时区转化 SELECT timestamp '2012-10-31 01:00 UTC'; 2012-10-31 01:00:00.000 UTC SELECT timestamp '2012-10-31 01:00 UTC' AT TIME ZONE 'America/Los_A 阅读全文
posted @ 2021-10-12 17:43 DB乐之者 阅读(31) 评论(0) 推荐(0) 编辑