map进程数量和reduce进程数量

1-map task的并发数量是由切片的数量决定的,有多少个切片就有启动多少个map task;

2-切片是一个逻辑的概念,指的是文件中数据的偏移量范围;

3-切片的具体大小应该根据所处理的文件大小来调整;例如:小文件的切片有多个block组成;

 

reduce的并发数量由,partition分组决定

posted @ 2018-10-15 15:12  mxgboy  阅读(266)  评论(0)    收藏  举报