随笔分类 -  kettle

KETTLE元数据表
摘要:表名 说明 R_CLUSTER R_CLUSTER_SLAVE R_CONDITION R_DATABASE 数据库连接信息 R_DATABASE_ATTRIBUTE 数据库属性 R_DATABASE_CONTYPE 连接类型:Native (JDBC) JDBC等 R_DATABASE_TYPE... 阅读全文

posted @ 2017-08-31 00:11 月饼馅饺子 阅读(1140) 评论(0) 推荐(0)

KETTLE监控
摘要:kettle单实例环境下自身没有监控工具,但在集群下自带了监控工具。一、集群自带的监控kettle自带的集群监控工具可以监控转换的执行情况。配置好集群后,打开浏览器:输入http://localhost:8080,输入子服务器的用户名和密码进入后,点击show status:点击转换名称可以看到转换的详情:该方式有三个缺点:(1)无法监控job的执行情况。(2)另外,如果一个转换不使用集群执行,也... 阅读全文

posted @ 2017-08-31 00:09 月饼馅饺子 阅读(2022) 评论(0) 推荐(0)

KETTLE设置变量
摘要:一、kettle变量类型kettle变量分为:1.环境变量通过 set variables组件设置变量,范围可以是:JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置,可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数,... 阅读全文

posted @ 2017-08-31 00:09 月饼馅饺子 阅读(6783) 评论(0) 推荐(0)

KETTLE集群搭建
摘要:KETTLE集群搭建 说明:本文档基于kettle5.4 一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的,类似于master-slave结构,不同的是’master’处理具体任务,只负责任务的分发和收集运行结果。Master carte结点收到请求后,把任务分成多个部分交给slave carte执行,slave执行完... 阅读全文

posted @ 2017-08-31 00:08 月饼馅饺子 阅读(463) 评论(0) 推荐(0)

KETTLE并行
摘要:1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的:实际是把一个任务拆成三部分执行,相当于在一个数据库连接中做了三次查询,数据库连接的开销没有增加,但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议:将job的条目都做成子job.(To do this, we suggest you wrap up the parallel work in a separ... 阅读全文

posted @ 2017-08-31 00:07 月饼馅饺子 阅读(994) 评论(0) 推荐(0)

KETTLE:mongdb与mysql互传数据
摘要:注:部分内容引用了 http://blog.sina.com.cn/s/blog_4ac9f56e0101g881.html1、mongodb传数据到mysql1)在kettle中,mongodb input组件。2)编辑组件输入连接信息选择数据库写查询语句选择字段。上面的复选框选择是否输入json格式,这时不选。点击get fileds,获取字段对应关系。$代表根目录.代表子目录[]代表数组中的... 阅读全文

posted @ 2017-08-31 00:06 月饼馅饺子 阅读(1265) 评论(0) 推荐(0)

导航