摘要: 一,数据流设计优化 数据流有两个特性:流和在内存缓冲区中处理数据,根据数据流的这两个特性,对数据流进行优化。 1,流,同时对数据进行提取,转换和加载操作 流,就是在source提取数据时,转换组件处理数据,同时destination加载数据,数据在不同组件之间,同时被处理。 所有的RDBMS操作都是 阅读全文
posted @ 2016-05-20 20:12 悦光阴 阅读(1101) 评论(0) 推荐(0)
摘要: Data Profiling Task 是用于收集数据的Metadata的Task,在使用ETL处理数据之前,应该首先检查数据质量,对数据进行分析,这将对Table Schema的设计结构和生成ETL的方式产生不可估量的影响。 Data Profiling Task 输出XML格式的数据文件,并能通 阅读全文
posted @ 2016-05-20 11:28 悦光阴 阅读(1115) 评论(0) 推荐(0)
摘要: 动态包对象包括变量,参数和表达式。变量主要为包提供一种对象之间相互通信的方法,变量的值是可以更新的。而参数不同于变量,参数的值在包中是不能修改的,只能通过外部来设置参数。表达式可以引用变量、参数、常量、函数和运算符,当运行包时,通过评估表达式的值实现工作流或包的动态配置。动态包可以在运行时重新配置, 阅读全文
posted @ 2016-05-19 18:35 悦光阴 阅读(1783) 评论(0) 推荐(0)
摘要: 数据流任务对错误的处理,和控制流不同,在数据流中,主要是对于错误行的处理,一般通过Error Output配置。 1,操作失败的类型:Error(Conversion) 和 Truncation。 2,错误处理方式:Fail Component,Ignore Failure 和 Redirect R 阅读全文
posted @ 2016-05-15 10:50 悦光阴 阅读(2038) 评论(0) 推荐(0)
摘要: 在SSIS的体系结构中,Package是SSIS的最重要的部分,从本质上来讲,Package是一个有序地执行任务的单元。Package的核心是控制流(Control Flow),用于协调包中所有组件的执行顺序。数据流(Data Flow)是控制流中的核心组件,用于把数据提取到服务器内存中,转换数据并 阅读全文
posted @ 2016-05-06 17:55 悦光阴 阅读(5599) 评论(2) 推荐(3)
摘要: 早上来到公司,发现用于整理索引碎片的Job跑失败了,查看job history,发现以下错误消息: ALTER INDEX failed because the following SET options have incorrect settings: 'QUOTED_IDENTIFIER'. V 阅读全文
posted @ 2016-02-02 11:25 悦光阴 阅读(2483) 评论(0) 推荐(0)
摘要: 权限的授予分为三部分:权限(Permission),安全对象(Securable)和安全主体(Principal),这三个术语之间的关系是:Grant Permission on Securable to Principal,通俗地解释是:授予Principal操作Securable的Permiss 阅读全文
posted @ 2016-02-01 18:33 悦光阴 阅读(1909) 评论(0) 推荐(1)
摘要: 链接服务器(Linked Server)允许访问针对OLE DB数据源的分布式异构查询, 通过使用sys.sp_addlinkedserver创建链接服务器后,可以对此服务器运行分布式查询。 如果链接服务器被定义为SQL Server实例,则可以执行远程存储过程。 一,链接服务器 使用 sys.sp 阅读全文
posted @ 2016-01-30 15:25 悦光阴 阅读(2578) 评论(0) 推荐(0)
摘要: 数据库使用数据文件(扩展名是mdf 或 ndf)来存储数据,使用日志文件(扩展名是ldf)来存储事务日志,通常情况下,数据文件会持续增长,不会自动释放空闲空间,这样会导致硬盘空间耗尽。如果一个数据库的文件有很多空闲空间,收缩数据库文件是一种解决硬盘空间紧张的直接方式。在SQL Server中,我们可 阅读全文
posted @ 2016-01-28 14:17 悦光阴 阅读(3498) 评论(0) 推荐(2)
摘要: Replication Job “Distribution clean up: distribution” 默认设置是,每10minutes运行一次,每次删除2000个Command。这对于有1.9亿条Commands的distribution来说,显得力不从心。需要修改 sp [distribut 阅读全文
posted @ 2016-01-26 20:57 悦光阴 阅读(1036) 评论(0) 推荐(0)
摘要: SSISDB 系列随笔汇总: SSISDB1:使用SSISDB管理Package SSISDB2:SSIS工程的操作实例 SSISDB3:Package的执行实例 SSISDB4:当前正在运行的Package及其Executable SSISDB5:使用TSQL脚本执行Package SSISDB6 阅读全文
posted @ 2016-01-26 16:03 悦光阴 阅读(1512) 评论(1) 推荐(0)
摘要: SQL Server 内部集成了一个专用的操作系统,叫做SQLOS,处于SQL Server和Windows的中间层。SQLOS是一个协同式的多任务调度系统,使用非抢占式争用资源,用于管理线程调度、IO争用、内存管理和资源协调。在执行查询请求时,SQL Server充分利用系统的所有资源(CPU,M 阅读全文
posted @ 2016-01-22 13:37 悦光阴 阅读(1668) 评论(0) 推荐(2)
摘要: 授予权限的思路,可以用一句话来概括,那就是:授予 Principal 操作 Securable 的 Permission,在多数文档中,把 Principal 翻译为安全主体,Securable翻译为安全对象,Permission翻译为权限,授予权限的子句细分为三部分:Permission,Secu 阅读全文
posted @ 2016-01-16 21:22 悦光阴 阅读(1851) 评论(1) 推荐(1)
摘要: 通过standard reports查看Disk Usage,选中Database,右击,选择Reports->Standard Reports->Disk Space Usage,截图如下 在Disk Usage 报表中,Data Files Space Usage分为4部分:Index , Da 阅读全文
posted @ 2016-01-13 19:27 悦光阴 阅读(2486) 评论(1) 推荐(2)
摘要: 今天早上,Dev跟我说,执行query statement时出现一个error,detail info是: “The transaction log for database 'tempdb' is full due to 'ACTIVE_TRANSACTION'” 错误信息提示:由于活动事务太长, 阅读全文
posted @ 2016-01-13 13:37 悦光阴 阅读(3369) 评论(0) 推荐(3)
摘要: 在事务复制中distribution数据库使用 dbo.MSrepl_transactions 和 dbo.MSrepl_commands 这两个表转存发布服务器产生的的Transaction和Command。每个command只能更新(update,insert或delete)一条记录。在Publ 阅读全文
posted @ 2016-01-04 14:47 悦光阴 阅读(656) 评论(0) 推荐(2)
摘要: 打开Replication Monitor,在Subscription Watch List Tab中,发现有大量的status= “Performance critical” 的黄色Warning,Latency 非常高,第六感告诉我,出事了,无法求援,只能强迫自己淡定下来,既来之,则安之。 1, 阅读全文
posted @ 2015-12-25 15:04 悦光阴 阅读(2169) 评论(0) 推荐(2)
摘要: 对表分区,对数据库有很多好处,通常来说,分区的好处有两个:减少产生死锁的竞争条件,和删除分区的数据。由于分区之间是相互独立的,因此,对一个分区加X锁,不会对其他分区产生竞争,这是避免死锁(dead lock)的一种方式。对大数据表进行数据删除操作时,可以使用分区切换,使用少量的IO,从分区表中删除海 阅读全文
posted @ 2015-12-23 16:41 悦光阴 阅读(700) 评论(0) 推荐(0)
摘要: 在开发项目的过程中,经常遇到需要解析论坛,博客等的URL的问题,比如:'abc/def/jkl' 或 'abc/def/jkl/',获取最后一个‘/’之后的所有字符‘jkl’,由于特殊字符'/'的个数不固定,从前向后正向解析URL,有点困难,其实有更简单的方法,那就是逆向解析法。 逆向解析的思路非常 阅读全文
posted @ 2015-12-22 21:11 悦光阴 阅读(7553) 评论(1) 推荐(3)
摘要: 在使用Transactional Replication时,Subscriber 被认为是“Read-Only”的 , All data at the Subscriber is “read-only” (transactional replication does not enforce this 阅读全文
posted @ 2015-12-16 14:02 悦光阴 阅读(766) 评论(0) 推荐(0)