2020年2月28日
hadoop优化
摘要： 0) HDFS小文件影响：（1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中。（2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务。1) 数据输入小文件处理：（1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件 阅读全文
posted @ 2020-02-28 20:36 柱子Z 阅读(168) 评论(0) 推荐(0)