随笔分类 -  SSIS

摘要:好几年前写了一篇《SSIS利用Microsoft Connector for Oracle by Attunity组件进行ETL!》,IT技术真是日新月异,这种方式对于新的SQL SERVER 数据库版本已不适用了,比如SQL SERVER 2016 的SSIS不需要安装任何插件就可以抽取Share 阅读全文
posted @ 2020-04-20 20:20 软件人生 阅读(844) 评论(1) 推荐(0)
摘要:好久没更新博客了,上周在x64位的操作系统中安装好了32位或64位的oracle 11g客户端,但用SSIS或Microsoft SQL Server 2012报表生成器3.0去连接oracle 11g死活都连接不上,报各类错误,百度了网上给出的解决方案也没解决,这个问题困扰了两天,但用同事的电脑去 阅读全文
posted @ 2017-03-24 10:48 软件人生 阅读(874) 评论(0) 推荐(1)
摘要:由于OFFICE 2010的安装包比较庞大,如果仅仅为了在服务器中实现操作EXCEL,完全没有必要安装整个OFFICE,是否可以不装OFFICE也实现与OFFICE文件的互相操作呢?答案是肯定的,在SSIS中只要安装Microsoft Access 2010 数据库引擎可再发行程序包即可实现201... 阅读全文
posted @ 2013-10-25 09:45 软件人生 阅读(2525) 评论(2) 推荐(1)
摘要:对于BI项目,在数据仓库方面的技术实现主要是进行数据集成的工作,源数据可能来自不同的业务数据库(如Sql Server、ORACLE、My sql、EXCEL等),通过SSIS的数据流组件很容易进行各类数据库的ETL,由于微软之前提供的ORACLE接口不支持ORACLE 9以上的版本,因此需要安装ORACLE客户端才能在SSIS中连接ORACLE,能否类似ADO.NET的方式连接ORACLE呢?通过Microsoft Connector for Oracle by Attunity组件可以实现,并具备非常高的性能,这方面老外做过详细的测试,并且这一点已在本人负责的年初已上线的公司BI项目中得. 阅读全文
posted @ 2013-10-24 13:25 软件人生 阅读(5383) 评论(7) 推荐(5)
摘要:利用SSIS不仅可以做BI项目的ETL,而且还可以做一些系统监控和维护工作,由于之前供应商写的Windows服务是读取ESB的消息进行处理,且通过OA流程与访客系统进行了集成,无论是ESB出现状况,还是Windows服务出现状况,都会对访问系统造成严重影响,导致内部员工无法进行接待外部人员,因此整体对ESB进行优化,在本人博客的前一篇已介绍了《通过SSIS监控远程服务器磁盘空间并发送邮件报警!》。本文实现的方法思路与此相同,仅仅是监控Windows服务的状态是否为运行,如果不是运行状态则自动发送邮件进行报警,对于自动化的运维主要是通过专门的服务程序进行监控和运维等,待下次再进行介绍。 通过.. 阅读全文
posted @ 2013-10-16 09:17 软件人生 阅读(4069) 评论(3) 推荐(6)
摘要:由于之前ESB是供应商部署的,且部署在C盘(C盘空间很小,还添加了很多ESB的windows服务日志在C盘,很容易把C盘空间占满,导致ESB服务运行宕机,几乎每隔几周发生一次事故,需要人工干预处理,不甚其烦),因此前段时间对于基于RabbitMQ构建的ESB进行了综合优化,以确保ESB服务的稳定可靠,同时初步建立了自动化的ESB监控和运维体系,本文介绍一种其中用到技术之一,通过SSIS监控远程服务器磁盘空间并发送邮件报警,目的是当自动化ESB运维失效的时候,可以进行人工干预处理。 通过WMI可以很容易查询和获得远程服务器的磁盘空间,如磁盘空间不足1G,自动发送邮件给自定人员进行报警,具体过程如 阅读全文
posted @ 2013-10-14 10:48 软件人生 阅读(3364) 评论(5) 推荐(2)
摘要:最近做了一个小集成应用测试,适合于对于那些不想在网站上查看相关报表而希望定时通过邮件的方式查看的用户,特别适合相对静态的报表(不需要用户进行交互操作),可以使用本文介绍的一种集成操作方法,主要实现思路为: 1.首先通过SharePoint的ExcelService的Web服务自动获取并下载SharePoint的PowerPivot报表的图表到本机临时文件夹中; 2.其次通过开源PDF组件的iTextSharp生成本地的图表PDF; 3.最后通过SSIS中自带的发送邮件任务发送图表PDF到指定邮箱用户中。 本文以PowerPivotHealthcareAudit.xlsx报表为例,主要获取Da. 阅读全文
posted @ 2013-05-16 19:24 软件人生 阅读(2277) 评论(2) 推荐(2)
摘要:通过SharePoint编程方式可以实现非常强大的功能,但同时也会增加工作量,影响生产效率,有没有更简单的方式进行快速开发和部署呢?答案是肯定的,本文利用了开源Sharepoint List组件在SSIS中进行ETL,通过进行相关的配置和设置就可以实现Sharepoint列表到数据库,此插件SharePoint List Source and Destination的下载网址:http://sqlsrvintegrationsrv.codeplex.com/releases/view/17652 ,注意有两个版本,请对应SSIS的安装版本,如下图: 安装成功后会在SSIS数据流中控制流项中.. 阅读全文
posted @ 2013-04-18 09:20 软件人生 阅读(1867) 评论(0) 推荐(3)
摘要:前段时间一直在做数据仓库的ETL,已熟练掌握SQL SERVER集成服务开发。最近有个系统集成需求,外部系统(JAVA)通过SharePoint Web服务需要访问SharePoint列表的某几列(不是全部列),因此采用通过列表数据同步到另一个新建的列表(只建需要的几列),再开放新列表权限给外部系统(JAVA)调用,一开始测试的时候,通过在本机的SSIS上安装一个开源的Sharepoint List适配器,就可以进行图形化的配置,可以非常方便的进行列表之间的数据同步,此插件SharePoint List Source and Destination的下载网址:http://sqlsrvint. 阅读全文
posted @ 2013-04-10 19:04 软件人生 阅读(1855) 评论(0) 推荐(3)