随笔分类 -  Kettle

Kettle中spoon.sh在使用时报错
摘要：报错信息： 前面的这个报错 找了半天资料，网上说下载时缺包或是pdi的一个bug。也没解决。 参考网址：http://stackoverflow.com/questions/22540683/pentaho-pdi-failed-to-load-esapi-properties-as-a-class 阅读全文
posted @ 2016-08-29 18:06 派。 阅读(5590) 评论(4) 推荐(0) 编辑
Kettle jdbc连接hive出现问题
摘要：jdbc连接时报如下错误： 上述2个错误，刚开始以为hive的jdbc驱动没有，结果看了一下有，并且同样的官网包直接解压在power服务器上没问题，这是在X86，整了半天，最后找到一个网站 http://www-01.ibm.com/support/docview.wss?uid=swg219723 阅读全文
posted @ 2016-08-29 10:43 派。 阅读(12120) 评论(0) 推荐(0) 编辑
kettle在linux启动spoon.sh报错
摘要：org.eclipse.swt.SWTError: No more handles [gtk_init_check() failed] at org.eclipse.swt.SWT.error(Unknown Source) at org.eclipse.swt.widgets.Display.cr 阅读全文
posted @ 2016-08-26 14:51 派。 阅读(1857) 评论(0) 推荐(0) 编辑
Linux中kettle自动化部署脚本
摘要：自己写的一个自动化在Linux中部署kettle的脚本，包括一些遇到的问题在脚本中都有涉及。 kettle是官网最新版本pdi-ce-6.1.0.1-196.zip 目前最新版本下载地址：https://sourceforge.net/projects/pentaho/files/latest/do 阅读全文
posted @ 2016-08-04 18:25 派。 阅读(2045) 评论(0) 推荐(0) 编辑
Linux中kettle启动spoon.sh遇到的问题
摘要：到这儿卡住不动了或者卡一会报如上错误。 解决办法： 添加 注：若没有~/.kettle/.spoonrc，直接创建。 此方法来自http://forums.pentaho.com/archive/index.php/t-93893.html 阅读全文
posted @ 2016-08-03 16:21 派。 阅读(4231) 评论(0) 推荐(0) 编辑
kettle连接Hbase中数据导入（8）
摘要：http://wiki.pentaho.com/display/BAD/Loading+Data+into+HBase 1)下载样本文件 到官网去下载 2）Hbase中建表 3）创建转换 3）配置Text file Input 5）配置content和Fields 6)添加HBase Output 阅读全文
posted @ 2016-07-30 23:04 派。 阅读(1747) 评论(0) 推荐(0) 编辑
kettle连接Hbase中数据导出（7）
摘要：http://wiki.pentaho.com/display/BAD/Extracting+Data+from+HBase+to+Load+an+RDBMS 1）新建转换——Big Data——Hbase Input双击打开 2）在hbase中创建表 3）点击Get table names 4）创 阅读全文
posted @ 2016-07-30 22:59 派。 阅读(2749) 评论(0) 推荐(1) 编辑
kettle连接Hive中数据导入导出（6）
摘要：1.hive往外写数据 http://wiki.pentaho.com/display/BAD/Extracting+Data+from+Hive+to+Load+an+RDBMS 连接hive 表输入 1）往excel中写数据 2）往文本文件中写数据 注：这里需要填上hive的表名.字段名，不然会 阅读全文
posted @ 2016-07-30 22:56 派。 阅读(4942) 评论(0) 推荐(0) 编辑
Linux中kettle连接hadoop并传数据（5）
摘要：http://wiki.pentaho.com/display/BAD/Loading+Data+into+HDFS 新建job 双击hadoop copy files File/Folder source 下一个目标目录 点击 点击add 执行 已写入数据 阅读全文
posted @ 2016-07-30 22:51 派。 阅读(467) 评论(0) 推荐(0) 编辑
kettle新建资源库（4）
摘要：工具中找资源库或者CTRL+R 点+号 再点新建 把sql中的’N’改成FALSE或’0’，’Y’改成TRUE或’1’。或者把sql直接考出来到mysql命令行执行。 创建资源库成功。 阅读全文
posted @ 2016-07-30 22:48 派。 阅读(300) 评论(0) 推荐(0) 编辑
Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)
摘要：在xmanager中的xshell运行进入图形化界面 新建一个job 1.往hdfs中写数据 1）linux中kettle往hdfs中写数据 双击hadoop copy files 运行此job 查看数据： 1）windows中kettle往hdfs中写数据 Windows中往power服务器中hd 阅读全文
posted @ 2016-07-30 22:45 派。 阅读(2111) 评论(0) 推荐(0) 编辑
Linux（power服务器）中kettle（2）
摘要：Hadoop集群硬件环境 4台机器 每台内存16G 8核cpu 直接使用报错： not yet support! 1.修改配置 data-integration/libswt/linux/ppc64le下放入swt.jar 下载地址： http://archive.eclipse.org/eclip 阅读全文
posted @ 2016-07-30 22:35 派。 阅读(372) 评论(0) 推荐(0) 编辑
Kettle启动及简单操作（1）
摘要：官方Hadoop配置 http://wiki.pentaho.com/display/BAD/Configuring+Pentaho+for+your+Hadoop+Distro+and+Version 1.官网下载kettle http://community.pentaho.com/projec 阅读全文
posted @ 2016-07-30 13:53 派。 阅读(3215) 评论(0) 推荐(0) 编辑
kettle 连接Hadoop 遇错
摘要：kettle从windows中往hdfs中写文件 One 网上一些解决思路 1.修改服务器上hadoop的配置文件hdfs-site.xml中 改为false，重启hadoop，但我试了一下，然后从ambari重启集群，发现又变为true了，不知道什么原因 2.对应目录授权chmod 777，还是报 阅读全文
posted @ 2016-07-29 16:19 派。 阅读(4046) 评论(0) 推荐(0) 编辑
kettle 连接Hadoop
摘要：http://wiki.pentaho.com/display/BAD/Additional+Configuration+for+YARN+Shims Copy *-site.xml Cluster Files To PDI Directories 我是在windows上的kettle 所以用fil 阅读全文
posted @ 2016-07-29 16:10 派。 阅读(2870) 评论(0) 推荐(0) 编辑
kettle连接mysql
摘要：kettle连接mysql时出现问题 错误信息如下： 主机名 : localhost端口 : 3306数据库名:mysql 在网上搜了好多都说mysql-connector-java-5.1.26-bin没有在/data-integration/lib或者/data-integration/libs 阅读全文
posted @ 2016-07-14 13:36 派。 阅读(6924) 评论(2) 推荐(0) 编辑