hadoop参数调优 mapred-site.xm

propertydefaultdescription
io.sort.mb100(mb)缓存map中间结果的buffer大小
io.sort.record.percent0.05io.sort.mb中用来保存map output记录边界的百分比,其他缓存用来保存数据
io.sort.spill.percent0.8map开始做spill操作的阈值
io.sort.factor10做merge操作时同时操作的stream数上限。
min.num.spill.for.combine3combiner函数运行的最小spill数
mapred.compress.map.outputFALSEmap中间结果是否采用压缩
mapred.map.output.compression.codecorg.apache.hadoop.io.compress.DefaultCodec 
min.num.spill.for.combine3combiner函数运行的最小spill数
mapred.compress.map.outputFALSEmap中间结果是否采用压缩
mapred.map.output.compression.codecorg.apache.hadoop.io.compress.DefaultCodec 
mapred.reduce.parallel.copies5每个reduce并行下载map结果的最大线程数
mapred.reduce.copy.backoff300(s)reduce下载线程最大等待时间
io.sort.factor10 
mapred.job.shuffle.input.buffer.percent0.7用来缓存shuffle数据的reduce task heap百分比
mapred.job.shuffle.merge.percent0.66缓存的内存中多少百分比后开始做merge操作
mapred.job.reduce.input.buffer.percent0ort完成后reduce计算阶段用来缓存数据的百分比


posted on 2013-05-31 11:40  yming0221  阅读(390)  评论(0编辑  收藏  举报

导航