摘要： MapReduce深度分析(二) 五、JobTracker分析 JobTracker是hadoop的重要的后台守护进程之一，主要的功能是管理任务调度、管理TaskTracker、监控作业执行、运行作业容错机制等。 首先启动interTrackerServer，将端口配置为mapred.job.tra 阅读全文

摘要： MapReduce深度分析(一) 一、数据流向分析 图为MapReduce数据流向示意图 步骤1、输入文件从HDFS流向到Mapper节点。在一般情况下，存储数据的节点就是Mapper运行的节点，不需要在节点之间进行数据传输，也就是尽量让存储靠近计算。 步骤2、mapper输出到内存缓冲区。Mapp 阅读全文