CombineTextInputFormat——悟空智慧教育

切片机制优化大量小文件

   combine 合并结果集

切片过程

判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片

如果不大于则跟下一个虚拟存储文件进行合并，共同形成一个切片

 

 以上文章内容来源于《悟空智慧教育》：www.wukongone.com，《悟空智慧教育》是一家专业的大数据视频教学网，专属定制您的未来