mapreduce job 提交机制

job提交图解:

------------------------------------------------------------------------------------------------------------------------------

 

 

 

 

 

-------------------------------------------------------------------------------------------------------------------------------

 mapreduce程序的几种运行模式(本地模式,集群模式)
 
 1/将程序打成jar包,然后通过hadoop的命令提交给集群执行
 hadoop jar wordcount.jar  cn.itheima.bigdata.hadoop.WordCountRunner
 
 2/在windows或linux的eclipse中直接运行main方法(工程的classpath下不能有yarn-site.xml这些配置文件),以本地模式执行我们的job
 (便于debug)
  
 3/在windows或者linux的eclipse里面通过运行main方法,且在工程classpath下加入集群的配置文件,就会将程序直接提交给集群运行
 注意: windows中通过main方法启动一个客户端去提交,会存在平台不兼容问题
     在linux中通过main方法启动一个客户端去提交,就不会存在平台不兼容问题
 
 

新API写法:

 
 
 
 

posted @ 2016-04-17 13:29  Runny_Hao  阅读(84)  评论(0)    收藏  举报