随笔分类 -  ssis/ssrs

摘要：中间DFT_DATA 根据条件而变动SCR_CNF的脚本为代码scr_I的脚本为代码SCR_LOG 脚本代码SCR_CNF 用于MetaData 配置信息根据配置表决定源头server 和db 利于备库的迁移和ETL的维护.scr_I 用于ETL log验证SCR_LOG 记录 LogDFT_DATA 也是最关键的根据配置表的条件实现动态条件处理和 动态mapping.下面是这个模板包牵涉到的变量MetaDATA ETL 基本告一段落.后续注重优化DFT_DATA 阅读全文

摘要：MetaData ETL最近整合ETL MetaData大致分为4步1 config 整合能根据配置信息来访问不同源和目标。方便维护时迁移和临时调整2 业务逻辑整合所有的业务指标和逻辑在动态配置表里面实现。3 column mapping 的实现 ETL 时column mapping是个头疼的事情。有新增加字段时每次都要人工去刷新mapping。能动态的根据源头来实现mapping4 具有一定排错,对于常见错误能有一定的排错。比如snapshot延时或者创建失败时能根据错误信息做出相对措施。保证ETL的稳定。1 先把配置自动化掉 用script 组件实现代码 阅读全文

摘要：mysql 日志系统上线有段时间了,前端在慢慢切站点过来写入,未雨绸缪 diy了套 mysql 监控工具.分为 slave status ,sync,objec infot,userprivileges,job status ,slowlog. 这次说下slow_logmysql 1.5 开始支持 set global全局来更改变量设置。而无需重启服务.可以用 show variables 来查看... 阅读全文

摘要：随着业务,数据量的不断提升和业务对报表实时程度的不断提高,老一套的ETL即将被淘汰.老板的一句一小时看到数据,意味着生命不止折腾不息。现在的etl 通过多台etl机器来实现负载均衡.ods 层的结构和线上库结构一致.ods层采用raid 多快独立的disk,多个HAB。对于读取速度特别慢的表采用复制对象+分区表技术来实现几百万数据几分钟装载.详细见http://www.cnblogs.com/xw... 阅读全文

摘要：很多公司流行使用数据仓库进行数据分析,一般从线上数据源备库(mirror,logshipping,slave等)抽取到ods 层在从ods层到dw再到dm.特别在ods层到dw时,数据的清洗装载需要一定的时间和硬件资源.但是当硬件成为瓶颈时,怎么能快速完成清洗转载,及时的提供数据分析?下面提供一种方法使用Ssis 加载到 ods层后,直接通过分区表把数据加载到 dw1 准备[代码]2 使用ssis... 阅读全文

摘要：SSIS + 分区表 直接并行处理从OLTP 加载数据到OLAPWe Loaded 1TB in 30 Minutes with SSIS, and So Can YouSQL Server Technical ArticleWriters: Len Wyatt, Tim Shea, David PowellPublished: March 2009Applies to: SQL Server 2... 阅读全文

摘要：1 常规的2节点 群集+镜像常规用2节点群集做个故障转移群集和互做高性能模式镜像.省去见证服务器.不需要自动镜像切换.（官方说明是主服务器cpu 超过50% 就会自动切换).故障转移群集已经解决了这部分.2 ssis 负载均衡作为ETL 关系到整个OLAP 的效率.在DW磁盘写入和网络传输不是问题时高并发是解决效率问题的强力手段.狼群战术. 阅读全文

摘要：--------因环境不同,请勿直接copy使用1--createprocedurecreate procedure usp_logshipping_send as declare @hostname sysname ,@px int ,@sql varchar(500); if OBJECT_ID(N'hostinfologshipping','U') is not null drop tabl... 阅读全文

摘要：1 做镜象日志库主库 日志增长过快,并且无法截断.解决方法 每隔段时间 备份多个日志 并收缩日志eg:backup log databasename to disk=''dbcc shrinkfile(logfilename,size)---size 根据实际情况定　不要过小　这样日志增长的时候影响　oltp不用sql 是因为你必须做个 .bat 文件去定时 跑 删除 备份的日志。不易于维护.xp... 阅读全文