hadoop_随笔二_参数

1） dfs.datanode.handler.count ：

datanode上用于处理RPC的线程数。默认为3，较大集群，可适当调大些，比如8。需要注意的是，每添加一个线程，需要的内存增加。

2）tasktracker.http.threads：

HTTP server上的线程数。运行在每个TaskTracker上，用于处理map task输出。大集群，可以将其设为40~50

 

3）dfs.replication ：

文件副本数，通常设为3，不推荐修改

 

4）dfs.block.size：

HDFS中数据block大小，默认为64M

 

5）mapred.local.dir：

运行 mapreduce 中间结果存储处