Linux启动kettle及linux和windows中kettle往hdfs中写数据(3)

xmanager的xshell运行进入图形化界面

 

1 sh spoon.sh

 

 

新建一个job

1.hdfs中写数据

1)linuxkettlehdfs中写数据

 

双击hadoop copy files

运行此job

查看数据:

1)windowskettlehdfs中写数据

Windows中往power服务器中hdfs写数据

日志:

2016/07/28 16:21:14 - Version checker - OK

2016/07/28 16:21:57 - 数据整合工具-作业设计器 - 数据整合工具-作业设计器

2016/07/28 16:23:10 - 数据整合工具-作业设计器 - 另存为...

2016/07/28 16:23:10 - 数据整合工具-作业设计器 - Save file as...

2016/07/28 16:23:17 - 数据整合工具-作业设计器 - 正在开始任务...

2016/07/28 16:23:17 - ff - 开始执行任务

2016/07/28 16:23:17 - ff - 开始项[Hadoop Copy Files]

2016/07/28 16:23:17 - Hadoop Copy Files - 开始...

2016/07/28 16:23:17 - Hadoop Copy Files - 正在处理行, 源文件/目录: [file:///E:/auphi_designer_3.2.0/ez11.xls] ... 目标文件/目录 : [hdfs://ip:8020/ke]... 通配符 : [null]

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : 文件系统异常:Could not copy "file:///E:/auphi_designer_3.2.0/ez11.xls" to "hdfs://ip:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Could not close the output stream for file "hdfs://ip:8020/ke/ez11.xls".

2016/07/28 16:25:05 - Hadoop Copy Files - ERROR (version 3.2.0, build 1 from 2016-07-07 10.46.10 by xnren) : Caused by: Connection timed out: no further information

2016/07/28 16:25:05 - ff - 完成作业项[Hadoop Copy Files] (结果=[false])

2016/07/28 16:25:05 - ff - 任务执行完毕

2016/07/28 16:25:05 - 数据整合工具-作业设计器 - 任务已经结束.

报错原因:

由于windows连的是外网,而hadoop集群所有机器的ip是内网,虽然可以给主节点绑定外网ipwindows可以连接集群主节点但往hdfs中写数据需要hadoop集群中的内网,所以写不进去数据,将kettle迁移在linux内网环境中,写数据成功,如上1)。

 

posted @ 2016-07-30 22:45  派。  阅读(2112)  评论(0编辑  收藏  举报