BD基础02mapreduce，yarn，hive

 

 

 

1　　算切片，检查路径，提交资源到hdfs最终要求2分布作业

2　　调度和资源管理两个任务，1触发2作业后，2从hdfs把切片下载过了，根据资源负载情况，来考虑每个切片的map该去哪个节点。Task Tracker同步心跳，知道处理哪个作业了。从对应的路径取到jar包，然后启动JVM进程，如果2告诉T T是map或者是reduce，就开始跑map或者reduce。

Datanode存数据， TT干活的。

 

 

 

 

 

 03yarn