摘要: Package在执行过程中,不可避免地会发生错误,如果处理错误?简单粗暴的做法,是Package直接停止运行。对于一个成熟的ETL工具,这显然不是唯一的错误处理方法。如果在数据流中出现错误,那么数据流组件可以把错误行输出,这只需要在组件的ErrorOutput中进行简单地配置。跟数据流相比,控制流中 阅读全文
posted @ 2015-09-14 16:13 悦光阴 阅读(4529) 评论(0) 推荐(0)
摘要: 数据流组件的设计愿景是快速处理海量的数据,为了实现该目标,SSIS数据源引擎需要创建执行树和数据管道这两个数据结构,而用户为了快速处理数据流,必须知道各个转换组件的阻塞性,充分利用流式处理流程,利用更少的资源,更快地完成数据处理的任务。 一,执行树 执行树(Execution Tree)是数据流组件 阅读全文
posted @ 2015-09-13 19:25 悦光阴 阅读(1033) 评论(0) 推荐(0)
摘要: 1,ForcedExecutionResult 强制一个package或task执行的结果,共有四种值 None,Success,Failure,Completion,默认值是None,表示不强制返回值。 如果设置ForcedExecutionResult=Success,不管package执行过程 阅读全文
posted @ 2015-09-13 11:35 悦光阴 阅读(1225) 评论(0) 推荐(0)
摘要: 处于同一个域中的两台Sql server 实例无法连接,报的错误信息如下: A network-related or instance-specific error occurred while establishing a connection to SQL Server. The server 阅读全文
posted @ 2015-09-09 12:00 悦光阴 阅读(646) 评论(0) 推荐(0)
摘要: 在Microsoft SQL Server的类型系统中,使用 date 表示日期类型,使用time表示时间类型,使用DateTime和DateTime2表示日期和时间的组合,DateTime2是DateTime的升级版本,这些数据类型占用的存储空间各不相同;当存储大量数据时,合理的选择小数秒的精度, 阅读全文
posted @ 2015-09-08 14:21 悦光阴 阅读(90031) 评论(0) 推荐(5)
摘要: 查找转换(Lookup)组件用于实现两个数据源的连接,实现的方式是嵌套循环。查找转换通常在内存中缓存查找数据集,然后在输入管道中,把输入数据的每一行都和缓存中的查找数据集进行比较,并输出匹配成功和失败的数据行。 在数据流任务中,应用Lookup转换组件,需要配置: 输入数据:是上游数据流输出到查找转 阅读全文
posted @ 2015-09-02 19:21 悦光阴 阅读(1872) 评论(0) 推荐(2)
摘要: 主键约束和唯一约束都会创建唯一索引,不同之处在于主键约束的索引键在定义上不允许为NULL,而唯一约束的索引键在定义上允许为NULL;唯一约束认为索引键上的NULL值是相等的,不允许重复的NULL值出现在索引键或其组合。 1,主键约束创建唯一索引 作为Primay Key约束的列必须是唯一的,非空的, 阅读全文
posted @ 2015-08-31 15:23 悦光阴 阅读(3225) 评论(0) 推荐(2)
摘要: 在SQL Server中,使用全局变量@@RowCount 和函数RowCount_Big()返回上一条语句影响的行数。<!--?XML:NAMESPACE PREFIX = "[default] http://www.w3.org/1999/xhtml" NS = "http://www.w3.o 阅读全文
posted @ 2015-07-10 11:13 悦光阴 阅读(1873) 评论(0) 推荐(0)
摘要: Pandas中的缺失值是指nan、None和NaT。如果需要把inf 和 -inf视为缺失值,需要设置 pandas的选项: pandas.options.mode.use_inf_as_na = True 注意,None和None是相等的,但是缺失值和其他任何值(包括缺失值)是不相等的。 >>> 阅读全文
posted @ 2015-07-03 18:54 悦光阴 阅读(1841) 评论(0) 推荐(0)
摘要: Windows 服务器系列: Windows:查看IP地址,IP地址对应的机器名,占用的端口,以及占用该端口的应用程 Windows:使用Dos命令管理服务(Services) Windows:任务调度器 Windows:打开MSDTC,恢复Windows任务栏,查看windows日志,打开远程桌面 阅读全文
posted @ 2015-07-01 17:21 悦光阴 阅读(5898) 评论(0) 推荐(2)
摘要: Agent Job可以通过TSQL 脚本来管理,管理Agent Job的SP过程位于msdb数据库的dbo 架构下,常用的功能是启动一个job。 一,启动一个Job 用户创建一个Job之后,可以使用TSQL脚本来启动一个job,返回0表示成功开始Job,返回1表示启动Job失败。 msdb.dbo. 阅读全文
posted @ 2015-06-30 16:56 悦光阴 阅读(818) 评论(0) 推荐(0)
摘要: ASYNC_NETWORK_IO 等待类型是DBA经常会遇到的,虽然名称是异步、网络和IO,但是大多数情况下,此等待类型跟任何网络问题均无关系。 数据库系统大量出现ASYNC_NETWORK_IO等待的情况,大致有两类: 会话必须等待客户端应用程序处理从SQL Server接收到的数据,才能向SQL 阅读全文
posted @ 2015-06-30 12:43 悦光阴 阅读(1936) 评论(0) 推荐(0)
摘要: 执行动态SQL,可以使用EXEC(@sql),也可以存储过程sys.sp_executesql,由于参数是动态SQL暴露出来的,为了避免参数注入的风险,必须对参数做检查。相比EXEC(@sql),sys.sp_executesql是更安全的实现方式,因为后者会做参数的检查。 一,简单的SQL注入 简 阅读全文
posted @ 2015-06-30 11:33 悦光阴 阅读(363) 评论(0) 推荐(0)
摘要: 事务日志文件是顺序读写,逻辑上,由VLF(Virtual Log File)构成,日志项目(log record)是最底层的数据。 一,查看数据库的日志空间 查看当前数据库的日志空间,可以使用 sys.dm_db_log_space_usage 统计SQL Server 实例中所有数据库的日志文件的 阅读全文
posted @ 2015-06-29 19:43 悦光阴 阅读(1036) 评论(0) 推荐(1)
摘要: 所有权链(Ownership Chain)是特殊的权限评估方式,常见拥有所有权的数据库对象是:数据库对象,数据库角色(Role),和架构(Schema),在创建数据库角色,或架构时,SQL Server自动创建所有权: CREATE ROLE role_name [ AUTHORIZATION ow 阅读全文
posted @ 2015-06-26 16:15 悦光阴 阅读(1360) 评论(0) 推荐(0)
摘要: 当数据模型从概念层转到逻辑层时,需要进行规范化设计。要想设计一个结构合理的关系型数据库,至少需要满足1NF,2NF,3NF,即第一范式,第二范式,第三范式。 1,1NF(原子性) 1NF是最基本的,数据库表的每一列都是不可分割的原子数据项。 不可分割是相对而言的,依据实际需求来界定。 严格的说,某些 阅读全文
posted @ 2015-06-18 19:08 悦光阴 阅读(649) 评论(0) 推荐(0)
摘要: 1,传统的分层结构是父子结构,表结构中有一个ParentID字段自引用表的主键,表示“归属”关系,例如 create table dbo.emph ( ID int not null primary key, ParentID int foreign key references dbo.emph( 阅读全文
posted @ 2015-06-18 14:49 悦光阴 阅读(550) 评论(0) 推荐(0)
摘要: 方差和标准差只能用于数值型的列,NULL值会被忽略。 一,方差和标准差 总体方差的计算公式: 在实际测试中,总体的均数难以得到,需要使用样本统计量代替总体参数,需要对数据进行校正,样本方差计算公式: 方差的语法: VAR ( [ ALL | DISTINCT ] expression ) VARP 阅读全文
posted @ 2015-06-17 15:56 悦光阴 阅读(5276) 评论(0) 推荐(0)
摘要: 在现实世界中,有很多现象存在层次结构,比如,公司的人事职称是典型的层次结果,如下图 SQL Server是关系型DB,适合存储二维关系的数据,如何存储具有层次结构的数据了?需要使用一个字段ParentID表示上级ID,示例表结构如下 create table dbo.emph ( ID int no 阅读全文
posted @ 2015-06-17 14:22 悦光阴 阅读(1114) 评论(0) 推荐(0)
摘要: 在SQL Server中,行集函数是不确定性的,这意味着,每次调用,返回值不总是相同的。返回值是不确定的,这意味着,对于相同的输入值,不保证每次返回的值都是相同的。对行集函数的每次调用,行集函数都是单独计算。行集函数:OpenRowSet 和 OpenQuery 的行为和Base Table相似: 阅读全文
posted @ 2015-06-03 17:44 悦光阴 阅读(4839) 评论(0) 推荐(3)