9.12

宏观上MapReducer的5个执行步骤:
1). input: 获取输入数据进行分片作为map的输入 ;
2). map:map过程对某种输入格式的一条记录解析成一条或多条记录;
3). shuffle:数据混洗,描述着数据从map task输出到reduce task输入的过程。如果没有reducer环节,也就没有shuffle了;
4). reducer:对系统key的数据进行合并;
5). output: 按照格式输出到指定目录。

posted @ 2023-09-12 16:20  秋渡晚枫  阅读(11)  评论(0)    收藏  举报