CDH--hadoop参数调优

CDH参数调优

============================HDFS参数===========================

 

1. fs.trash.interval    垃圾桶功能（需要重启HDFS）

        如果为零，垃圾桶功能将被禁用

        设置7天后垃圾回收站中的文件会被系统永久删除

        如果需要直接删除，不放进回收站需要使用下面命令删除

        hadoop fs -rm -r -skipTrash /test

2. fs.trash.checkpoint.interval    创建检查点时间间隔（需要重启HDFS）

       设置1小时创建一次检查点目录，会在   /user/用户  下每隔1小时创建一个检查点目录，并把垃圾回收站中的文件移动到该目录下

        201101151200为检查点目录

        手动清空检查点    hadoop fs -expunge

        等到7天后将删除所有检查点目录，如果该参数为0，则该值默认设置为fs.trash.interval的值，会在每次创建检查点时删除比fs.trash.interva更早创建的检查点目录

        设置的值应为    <=fs.trash.interval

        

 

Name Node内存调整

NameNode 的 Java 堆栈大小（字节）

 

 

dfs.block.size

hdfs块大小

 

 

 

 

 

==========================yarn 参数===========================

 

 

为每个map 和reduce 任务分配的内存

 

yarn.nodemanager.resource.memory-mb

分配给单个容器（单个机器）的物理内存（三个节点  2 * 3 = 6G）

 

 

yarn.scheduler.minimum-allocation-mb

分配给单个容器（单个机器）的最小内存

yarn.scheduler.maximum-allocation-mb

分配给单个容器（单个机器）的最大内存

 

yarn.scheduler.maximum-allocation-vcores

单个容器可分配的最大核心数

 

 

yarn.scheduler.minimum-allocation-vcores

单个容器分配的最小核心数