mapreduce job 提交机制
job提交图解:

------------------------------------------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------------------------------------------

mapreduce程序的几种运行模式(本地模式,集群模式)
1/将程序打成jar包,然后通过hadoop的命令提交给集群执行
hadoop jar wordcount.jar cn.itheima.bigdata.hadoop.WordCountRunner
2/在windows或linux的eclipse中直接运行main方法(工程的classpath下不能有yarn-site.xml这些配置文件),以本地模式执行我们的job
(便于debug)
3/在windows或者linux的eclipse里面通过运行main方法,且在工程classpath下加入集群的配置文件,就会将程序直接提交给集群运行
注意: windows中通过main方法启动一个客户端去提交,会存在平台不兼容问题
在linux中通过main方法启动一个客户端去提交,就不会存在平台不兼容问题



新API写法:


浙公网安备 33010602011771号