摘要: 简介hadoop 支持reduce多路输出的功能,一个reduce可以输出到多个part-xxxxx-X文件中,其中X是A-Z的字母之一,程序在输出对的时候,在value的后面追加"#X"后缀,比如#A,输出的文件就是part-00000-A,不同的后缀可以把key,value输出到不同的文件中,方便做输出类型分类, #X仅仅用做指定输出文件后缀, 不会体现到输出的内容中使用方法启动脚本中需要指定-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat或者-outputformat o阅读全文
posted @ 2012-12-21 13:59 ShaPherD 阅读(8265) 评论(0) 编辑
摘要: 简介在写shell脚本的时候会用到很多的数学运算,简单的一个游标+1 -1, 或者更多一点的浮点运算等,shell中数学计算稍麻烦,我想每个人都试过var=1+1或者var=$xxx+1这类错误。 下面对shell中做数学计算小做总结示例使用expr整数运算> var=1> var=`expr $var + 1`> echo $var2其他的减乘除类似, 要注意乘法中的*号需要做转义\*即可使用bash内建命令let> var=2> let "var=var+1"> echo $var3> let "var=(2+2-1)阅读全文
posted @ 2012-12-21 12:03 ShaPherD 阅读(24931) 评论(0) 编辑