随笔分类 -  kettle

摘要：表名 说明 R_CLUSTER R_CLUSTER_SLAVE R_CONDITION R_DATABASE 数据库连接信息 R_DATABASE_ATTRIBUTE 数据库属性 R_DATABASE_CONTYPE 连接类型:Native (JDBC) JDBC等 R_DATABASE_TYPE... 阅读全文

摘要：kettle单实例环境下自身没有监控工具，但在集群下自带了监控工具。一、集群自带的监控kettle自带的集群监控工具可以监控转换的执行情况。配置好集群后，打开浏览器：输入http://localhost:8080，输入子服务器的用户名和密码进入后，点击show status：点击转换名称可以看到转换的详情：该方式有三个缺点：(1)无法监控job的执行情况。(2)另外，如果一个转换不使用集群执行，也... 阅读全文

摘要：一、kettle变量类型kettle变量分为：1.环境变量通过 set variables组件设置变量，范围可以是：JVM变量、作业变量、父作业变量、根作业变量。使用时通过${var}或 %%var%%变量方式引用变量2.属性文件变量在.kettle目录下的kettle.property文件中设置，可kettle中可以引用3.命令行参数(相当于位置参数)命令行参数是指用pan执行转换时传入的参数，... 阅读全文

摘要：KETTLE集群搭建 说明：本文档基于kettle5.4 一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完... 阅读全文

摘要：1.转换的并行转换的并行是改变复制的数量上面的转换相当于下面的：实际是把一个任务拆成三部分执行，相当于在一个数据库连接中做了三次查询，数据库连接的开销没有增加，但是有三个进程一起执行。2.job的并行执行只需要在"START"设置即可。建议：将job的条目都做成子job.(To do this, we suggest you wrap up the parallel work in a separ... 阅读全文

摘要：注：部分内容引用了 http://blog.sina.com.cn/s/blog_4ac9f56e0101g881.html1、mongodb传数据到mysql1)在kettle中，mongodb input组件。2)编辑组件输入连接信息选择数据库写查询语句选择字段。上面的复选框选择是否输入json格式，这时不选。点击get fileds，获取字段对应关系。$代表根目录.代表子目录[]代表数组中的... 阅读全文