千年寒冰火

2020年8月19日

kettle使用命令行(kitchen，pan)执行任务时传递参数做变量的方法和注意的问题

摘要：一、参数使用方法 1、kettle中kitchen，pan命令传递变量参数的方法， ./kettle.sh或pan.sh -param:变量名1=值1 -param:变量名2=值2 -file=/data/kettle/test.ktr 2、作业和转换都可以传递，多个参数要使用多个-param来传阅读全文

posted @ 2020-08-19 10:35 千年寒冰火阅读(8774) 评论(0) 推荐(0)

kettle7(pdi)中job中的定义的变量无法传递给转换的问题

摘要：最近遇到一个问题，在作业(job)中定义的变量，无法传递到转换中。 1. 作业job定义如图 2.转换定义如图 3.为了测试转换的设置，所以在转换中设置了【命名参数】和默认值在本地用spoon执行一点问题没有，但上传到远程的服务器上，转换就是获取不到变量。然后，另外又在另一台远程服务器装了一个测阅读全文

posted @ 2020-08-19 10:08 千年寒冰火阅读(1983) 评论(2) 推荐(0)

2020年8月18日

六种主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate)

摘要： 1、阿里开源软件：DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。（摘自百科） 2、Apache开源软件：Sqoop Sqoop(发音:skup 阅读全文

posted @ 2020-08-18 16:48 千年寒冰火阅读(9885) 评论(0) 推荐(3)

了解TiDB基础入门

摘要：由于目前的项目把mysql换成了TiDb，所以特意来了解下tidb。其实也不能说换，由于tidb和mysql几乎完全兼容，所以我们的程序没有任何改动就完成了数据库从mysql到TiDb的转换，TiDB 是一个分布式 NewSQL SQL 、 NoSQL 和 NewSQL 的优缺点比较数据库。它支持阅读全文

posted @ 2020-08-18 16:45 千年寒冰火阅读(621) 评论(0) 推荐(0)

用docker搭建的nginx报upstream错误

摘要：用docker搭建的nginx报upstream错误，一直找不到原因通过服务器IP和端口，可以直接访问到应用但是就是无法通过nginx的代理转发一直报没有权限的错误折腾一整天后，原来是自己在配置nginx的虚拟主机信息是从之前的直接安装的nginx的配置文件中复制过来的 proxy_pass 阅读全文

posted @ 2020-08-18 16:21 千年寒冰火阅读(1499) 评论(0) 推荐(0)

git提交已存在的项目到一个新的资源库中

摘要：一、在git的服务器端创建一个新的项目等到一个远程的项目地址，一般是httpxx……xx.git 二、本地项目文件操作 1、命令行下，进入项目根目录下 2、执行git init ，对项目进行git的初始化 3、执行 git remote add origin httpxx……xx.git 关联远阅读全文

posted @ 2020-08-18 16:04 千年寒冰火阅读(1128) 评论(0) 推荐(0)

kettle缓存清理命令

摘要：经常担心因为数据库的缓存信息，影响任务的执行，在无法使用spoon的清理缓存功能时，该如何操作？ kettle启动时有时会加载缓存中的配置和数据，这个在启动日志中可以看出来，如果要它重新加载配置或者数据需要先清理缓存 rm -rf ${KETTLE_HOME}/data-integration/sy 阅读全文

posted @ 2020-08-18 15:41 千年寒冰火阅读(3871) 评论(0) 推荐(0)

kettle(pdi)数据库连接中的密码的加密与解密

摘要： 1.加密进入kettle的安装目录 windows系统命令行执行：Encr.bat -kettle 123 linux/mac系统命令行执行：encr.sh -kettle 123 可生成Encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89，即为123对应的ket 阅读全文

posted @ 2020-08-18 15:39 千年寒冰火阅读(5313) 评论(0) 推荐(0)

kettle连接tdsql报错Proxy ERROR: Access denied for user

摘要：一、tdsql是什么？ tdsql是腾讯云基于开源mysql的基础上开发的分片集群式的mysql 在使用和sql语句上和mysql是一样的，就完全可以当着mysql来用二、但在kettle连接tdsql时报错Proxy ERROR: Access denied for user 错误说明，用户名阅读全文

posted @ 2020-08-18 15:32 千年寒冰火阅读(2346) 评论(0) 推荐(0)

kettle（pdi）使用变量连接MySQL

摘要：在kettle的连接数据库中，没有直接的提示可以使用变量，例如【变量替换】，从步骤中插入数据等，开始以为kettle数据库连接只能每次都手动填写，每个转换都要新建一个数据库连接. 一、共享数据库连接，让转换直接使用建好的连接 1. 在spoon中，点击左侧的【主对象树】-》DB连接->鼠标右击已有阅读全文

posted @ 2020-08-18 15:11 千年寒冰火阅读(1084) 评论(0) 推荐(0)

公告