随笔分类 -  ETL

ETL for DataWareHousing
摘要:现在线上协作大多需要使用诸如石墨文档或云协作这样的协同工具。 进行社群运营工作时,由于文档太多,各人建立文件夹的方式又难以统一,因而产生文件多而乱的问题。 为了快速地找到文件,除了使用石墨本身自带的搜索功能外,还可以对某一个目录下的全部文件生成索引。 索引的格式如: 目录一 链接一 子目录A 链接A 阅读全文
posted @ 2018-08-13 16:13 极客W先森 阅读(1522) 评论(0) 推荐(0)
摘要:本设计基于以下需求提出 1. 快速接入数据源表(贴源/落地) 2. 无须给单独表开发转换/作业 3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中) 本设计所需条件 1. 数据源为关系型数据库 2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用 总体作业结构 jb_ 阅读全文
posted @ 2016-10-11 10:04 极客W先森 阅读(2273) 评论(0) 推荐(0)
摘要:20160919(未确定): 加载表的使用"Use batch update for inserts"会引致奇怪的转换失败? 出错日志: - linenr 450000- linenr 500000- ERROR (version 5.4.0.1-130, build 1 from 2015-06- 阅读全文
posted @ 2016-09-19 10:07 极客W先森 阅读(8350) 评论(1) 推荐(1)
摘要:需求: 增量抽取MongoDB数据并加载到MSSQL 由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有: 第一个问题的解决如下: 使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常 第二个问题: 先为结果增加常量值, 如常 阅读全文
posted @ 2016-07-22 11:20 极客W先森 阅读(11387) 评论(4) 推荐(1)