2019年2月2日
hadoop 把mapreduce任务从本地提交到hadoop集群上运行
摘要： MapReduce任务有三种运行方式： 1、windows（linux）本地调试运行，需要本地hadoop环境支持 2、本地编译成jar包，手动发送到hadoop集群上用hadoop jar或者yarn jar方式运行。 3、本地编译环境在IDE里直接提交到集群上运行，实际上这种方式就是第二种方式的 阅读全文
posted @ 2019-02-02 21:04 我是属车的 阅读(4200) 评论(0) 推荐(0)
hadoop 编码实现文件传输、查看等基本文件控制
摘要： hadoop集群搭建参考：https://www.cnblogs.com/asker009/p/9126354.html 1、创建一个maven工程，添加依赖 2、实现cat、copy、filestatus等基本代码，代码可以在windows的IDE环境中正常运行（参考上篇在windows里调试ha 阅读全文
posted @ 2019-02-02 12:30 我是属车的 阅读(693) 评论(0) 推荐(0)
windows下本地调试hadoop代码，远程调试hadoop节点。
摘要： 1、在github上搜索winutils下载winutils.exe相关的一套文件，下载对应hadoop的版本。（https://github.com/steveloughran/winutils） 2、将所有文件复制到hadoop的bin目录下 3、将hadoop.dll复制到windows\sy 阅读全文
posted @ 2019-02-02 12:21 我是属车的 阅读(1176) 评论(0) 推荐(0)