2019年10月9日
自定义InputFormat案例实操
摘要： 引言： 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。（对外是一个整文件，对内仍是原先的小文件，节省MapTask） 需求如下： 将多个小文件合并成一个SequenceF 阅读全文
posted @ 2019-10-09 20:35 TinyMark 阅读(1133) 评论(0) 推荐(0) 编辑