随笔分类 -  kettle

kettle使用命令行(kitchen，pan)执行任务时传递参数做变量的方法和注意的问题
摘要：一、参数使用方法 1、kettle中kitchen，pan命令传递变量参数的方法， ./kettle.sh或pan.sh -param:变量名1=值1 -param:变量名2=值2 -file=/data/kettle/test.ktr 2、作业和转换都可以传递，多个参数 要使用多个-param来传 阅读全文
posted @ 2020-08-19 10:35 千年寒冰火 阅读(8838) 评论(0) 推荐(0)
kettle7(pdi)中job中的定义的变量无法传递给转换的问题
摘要：最近遇到一个问题，在作业(job)中定义的变量，无法传递到转换中。 1. 作业job定义如图 2.转换定义如图 3.为了测试转换的设置，所以在转换中设置了【命名参数】和默认值 在本地用spoon执行一点问题没有，但上传到远程的服务器上，转换就是获取不到变量。 然后，另外又在另一台远程服务器装了一个测 阅读全文
posted @ 2020-08-19 10:08 千年寒冰火 阅读(2003) 评论(2) 推荐(0)
六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)
摘要：1、阿里开源软件：DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。（摘自百科） 2、Apache开源软件：Sqoop Sqoop(发音:skup 阅读全文
posted @ 2020-08-18 16:48 千年寒冰火 阅读(9939) 评论(0) 推荐(3)
了解TiDB基础入门
摘要：由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL SQL 、 NoSQL 和 NewSQL 的优缺点比较 数据库。它支持 阅读全文
posted @ 2020-08-18 16:45 千年寒冰火 阅读(627) 评论(0) 推荐(0)
kettle缓存清理命令
摘要：经常担心因为数据库的缓存信息，影响任务的执行，在无法使用spoon的清理缓存功能时，该如何操作？ kettle启动时有时会加载缓存中的配置和数据，这个在启动日志中可以看出来，如果要它重新加载配置或者数据需要先清理缓存 rm -rf ${KETTLE_HOME}/data-integration/sy 阅读全文
posted @ 2020-08-18 15:41 千年寒冰火 阅读(3896) 评论(0) 推荐(0)
kettle(pdi)数据库连接中的密码的加密与解密
摘要：1.加密 进入kettle的安装目录 windows系统命令行执行：Encr.bat -kettle 123 linux/mac系统命令行执行：encr.sh -kettle 123 可生成Encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89，即为123对应的ket 阅读全文
posted @ 2020-08-18 15:39 千年寒冰火 阅读(5343) 评论(0) 推荐(0)
kettle连接tdsql报错Proxy ERROR: Access denied for user
摘要：一、tdsql是什么？ tdsql是腾讯云基于开源mysql的基础上开发的分片集群式的mysql 在使用和sql语句上和mysql是一样的，就完全可以当着mysql来用 二、 但在kettle连接tdsql时报错Proxy ERROR: Access denied for user 错误说明，用户名 阅读全文
posted @ 2020-08-18 15:32 千年寒冰火 阅读(2370) 评论(0) 推荐(0)
kettle（pdi）使用变量连接MySQL
摘要：在kettle的连接数据库中，没有直接的提示可以使用变量，例如【变量替换】，从步骤中插入数据等， 开始以为kettle数据库连接只能每次都手动填写，每个转换都要新建一个数据库连接. 一、共享数据库连接，让转换直接使用建好的连接 1. 在spoon中，点击左侧的【主对象树】-》DB连接->鼠标右击已有 阅读全文
posted @ 2020-08-18 15:11 千年寒冰火 阅读(1095) 评论(0) 推荐(0)
kettle中json input中数据的解析
摘要：一、对于json数据的解析 简介 JSONPath - 是xpath在json的应用。 类似于XPath在xml文档中的定位，JsonPath表达式通常是用来路径检索或设置Json的。其表达式可以接受“dot–notation”和“bracket–notation”格式，例如$.store.book 阅读全文
posted @ 2020-08-12 19:23 千年寒冰火 阅读(11362) 评论(0) 推荐(0)