随笔分类 -  hadoop

速效救心丸
摘要：1.Hive中合并小文件的map only JOB，此JOB只会有一个或很少的几个map。2.输入文件格式为压缩的Text File，因为压缩的文本格式不知道如何拆分，所以也只能用一个map 阅读全文
posted @ 2014-12-16 17:20 cavehubiao 阅读(139) 评论(0) 推荐(0)
hadoop compression
摘要：File compression brings two major benefits: it reduces the space needed to store files, and it speeds up data transfer across the network or to or fro... 阅读全文
posted @ 2014-12-12 17:05 cavehubiao 阅读(319) 评论(0) 推荐(0)