hadoop streaming -file -cacheFile -cacheArchive 区别

hadoop

-file   ：本地分发，不需先上传到集群。（属于临时上传到集群，任务结束时问从集群中消失）

 

-cacheFile ：由集群上的文件分发到各个节点。（需人为先上传到集群）

 

-cacheArchive ：与cacheFile类似，差别在于cacheArchive的方式的文件为压缩文件

 

 

 

好了 讲到这里觉得还是死板 ， 通俗点来讲

假设 一个集群有一个主节点 两个从节点

集群是一件教室

master主节点 为老师及所在的讲台

从节点 为两个学生和所在的桌子

-file方式 秤完苹果 分完后 就从教室里拿走了

-cacheFile方式 秤完苹果 分完后 秤仍在教室里

-cacheArchive方式 秤完苹果 分完后 秤仍在教室里  只不过 这秤比较大 需要装箱子里到教室再拆开