Data4Strategy

——合抱之木,生于毫末;九层之台,起于累土

随笔分类 -  SSIS(数据集成服务)

MSBI 数据集成相关内容
摘要:1. 准备工作安装Oracle11gR2client的时候,如果刚从网上下载的Oracle client,可能无法再2008 R2或者2012 R2的服务器上面运行。报错:[INS-13001]环境不满足最低要求,此时需要在配置文件\stage\cvu\cvu_prereq.xml中添加代码:当然,如果是32位的就将改成即可。2. 安装过程运行setup.exe程序,稍等检查完毕后,安装类型选择【... 阅读全文
posted @ 2018-01-05 21:49 John.Xiong 阅读(11352) 评论(0) 推荐(0)
摘要:转载博客:http://www.dotblogs.com.tw/allanyiin/archive/2010/11/21/19585.aspx SSIS 为了要能够在64位的机器上面让SSIS存取Oracle,当然需要安装64位的Oracle Provider,但是遇到最大的问题在于SSIS在执行的 阅读全文
posted @ 2014-08-18 21:19 John.Xiong 阅读(2239) 评论(0) 推荐(1)
摘要:使用性能监视器,您可以通过性能计数器监视 Microsoft SQL Server Analysis Services (SSAS) 实例的性能。 <!--more--> 性能监视器是用于跟踪资源使用情况的 Microsoft 管理控制 (MMC) 管理单元。 您可以通过以下方式启动此 MMC 管理 阅读全文
posted @ 2014-04-15 17:22 John.Xiong 阅读(1637) 评论(0) 推荐(0)
摘要:TSQL查询Excel数据使用openrowset通常会报如下错误: 消息 15281,级别 16,状态 1,第 1 行SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT 'OpenRowset/OpenDatasource' 的访问,因为此组件已作为此服务器安全配置的一部分而被关闭。系统管理员可以通过使用 sp_confi... 阅读全文
posted @ 2013-12-11 08:59 John.Xiong 阅读(576) 评论(0) 推荐(1)
摘要:背景: 有时候需要将一个个开发好的独立的ETL包串接起来形成一个独立而庞大的包,如:每家分公司都开发不同的ETL包,最后使用执行包任务来将这些分公司的包给串联起来形成一个独立而完整运行的ETL包,此时我们就需要使用执行包任务,而子包中如果需要读取父包中的变量等信息,那我们就还需要配置子包的包配置为使 阅读全文
posted @ 2013-10-31 15:01 John.Xiong 阅读(853) 评论(0) 推荐(0)
摘要:1、背景 随着时间的推移,我们的DW会越来越大,也就意味着磁盘空间会越来越小,那如果哪一天留意不当,就会造成磁盘空间的不足而导致ETL失败,最终影响我们的系统的数据正确性和使用,更严重的有可能导致物理磁盘损坏,所以对于物理磁盘空间的监控必不可少。 下面的方法就是利用SSIS中的WMI数据读取器任务去 阅读全文
posted @ 2013-10-23 13:08 John.Xiong 阅读(963) 评论(0) 推荐(0)
摘要:转载博客:http://www.cnblogs.com/studyzy/archive/2009/11/30/1614139.html SQL Server在安装到服务器上后,出于服务器安全的需要,所以需要屏蔽掉所有不使用的端口,只在防火墙规则中开放必须使用的端口。下面就来介绍下SQL Server 阅读全文
posted @ 2013-08-12 16:23 John.Xiong 阅读(1709) 评论(0) 推荐(0)
摘要:SSIS任务命名规则 Task Prefix For Loop Container FLC Foreach Loop Conatiner FELC Sequence Container SEQC ActiveX Script AXS Analysis Services Execute DDL ASE 阅读全文
posted @ 2013-06-02 21:40 John.Xiong 阅读(4795) 评论(0) 推荐(0)
摘要:参考博客:http://www.dotblogs.com.tw/allanyiin/archive/2010/11/21/19585.aspx SSIS 为了要能够在64位的机器上面让SSIS存取Oracle,当然需要安装64位的Oracle Provider,但是遇到最大的问题在于SSIS在执行的 阅读全文
posted @ 2013-05-22 13:05 John.Xiong 阅读(854) 评论(0) 推荐(0)
摘要:9. 使用并行执行提升性能通过并行执行包和数据流任务,SSIS实现了较好的性能,SSIS包和数据流任务的并行执行可以由SSIS的两个属性进行控制。MaxConcurrentExecutables:它指定一个包内的最大并行执行数(包内不同的任务),即SSIS运行引擎可以创建的线程数量,如果你的包制定的是连续工作流,这些属性不会有任何差异,但如果你的包制定了并行任务,这个属性就需要改变,其默认值是-1,表示所有可用的处理器数+2,如果你的处理器支持超线程,那它就是所有逻辑处理器的数量+2。 EngineThreads:MaxConcurrentExecutables是SSIS运行时引擎并行执行时. 阅读全文
posted @ 2013-04-28 15:28 John.Xiong 阅读(1089) 评论(0) 推荐(0)
摘要:SELECT[job].[job_id],[job].[name] AS 'job_name',[jobstep].[step_id],[jobstep].[step_name],[jobhis].[message] AS 'err_mess'--步骤失败的原因FROM [dbo].[sysjobs] AS job WITH(NOLOCK)INNER JOIN dbo.[sysjobhistory] AS jobhis WITH(NOLOCK)--run_status=0代表失败步骤ON ([job].[job_id] = [jobhis].[job_id] A 阅读全文
posted @ 2013-04-24 15:03 John.Xiong 阅读(1190) 评论(0) 推荐(0)
摘要:1. 语句优化1.1. 索引重建从一个有3亿条记录的大表中抽取数据,起初,当SSIS包启动时一切正常,数据如预期的那样在转换,但性能开始逐渐下降,数据转换速率直线下降。通过分析,我们发现目标表有一个主聚集键和两个非聚集键,因为大量数据插入这个表,导致其索引碎片水平达到了85%-90%。我们使用索引在线重建特性重建/重组索引,但在加载期间,每过15-20分钟,索引碎片水平又回到90%,最终数据转换和并行执行的在线索引重建过程花了12-13个小时,远远超出了我们的预期。我们想出了一个办法,当转换开始前,我们将目标表的索引全部删掉,转换结束后又再重新创建索引,通过这样处理后,整个转换过程花了3-4小 阅读全文
posted @ 2013-03-22 12:39 John.Xiong 阅读(1145) 评论(0) 推荐(0)
摘要:调优时,有时需要清空缓存来对比。使用xmla命令clearcache来完成。清空整个库的缓存:清空单个cube的缓存:不支持清除单个分区的缓存来自为知笔记(Wiz) 阅读全文
posted @ 2013-01-23 12:21 John.Xiong 阅读(341) 评论(0) 推荐(0)
摘要:步骤:1、创建一个SSIS包,拖拉一个"Analysis Services 执行 DDL 任务"组件2、再在DDL语句配置页面写如下语句:C:\VankeBI.abf/*备份的地址和文件*/true//以下为"自动恢复Cube"的DDL//Analysis Services 执行 DDL 任务 自动恢复cube路径\文件名.abf库名true来自为知笔记(Wiz) 阅读全文
posted @ 2013-01-23 12:20 John.Xiong 阅读(406) 评论(0) 推荐(0)