随笔分类 - ETL
ETL for DataWareHousing
摘要:现在线上协作大多需要使用诸如石墨文档或云协作这样的协同工具。 进行社群运营工作时,由于文档太多,各人建立文件夹的方式又难以统一,因而产生文件多而乱的问题。 为了快速地找到文件,除了使用石墨本身自带的搜索功能外,还可以对某一个目录下的全部文件生成索引。 索引的格式如: 目录一 链接一 子目录A 链接A
阅读全文
摘要:本设计基于以下需求提出 1. 快速接入数据源表(贴源/落地) 2. 无须给单独表开发转换/作业 3. 动态生成数据源连接, 表字段等信息(预先保存在数据仓库中) 本设计所需条件 1. 数据源为关系型数据库 2. 不同数据源需要写一小段Java Scripts以保证数据源连接可用 总体作业结构 jb_
阅读全文
摘要:20160919(未确定): 加载表的使用"Use batch update for inserts"会引致奇怪的转换失败? 出错日志: - linenr 450000- linenr 500000- ERROR (version 5.4.0.1-130, build 1 from 2015-06-
阅读全文
摘要:需求: 增量抽取MongoDB数据并加载到MSSQL 由于不能使用关系型数据库的自定义SQL, 所以主要遇到的问题有: 第一个问题的解决如下: 使用命名参数在Query页中进行过滤, 一开始会担心${}的引用方式会用Mongo的语法冲突, 测试后发现运行正常 第二个问题: 先为结果增加常量值, 如常
阅读全文

浙公网安备 33010602011771号