2016年3月20日
HDFS 小文件处理——应用程序实现
摘要： 在真实环境中，处理日志的时候，会有很多小的碎文件，但是文件总量又是很大。普通的应用程序用来处理已经很麻烦了，或者说处理不了，这个时候需要对小文件进行一些特殊的处理——合并。 在这通过编写java应用程序实现文件的合并并上传到HDFS。整体的处理思路是，从本地加载琐碎的小文件并写到HDFS中。 这个方 阅读全文
posted @ 2016-03-20 18:06 无头咸鱼 阅读(338) 评论(0) 推荐(0)