摘要: 很多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的Mapper 阅读全文
posted @ 2016-04-06 16:57 gongxiucheng 阅读(310) 评论(0) 推荐(0)