摘要: MapReduce计数器 计数器输出 运行完毕作业之后的计数器输出 内置计数器 Hadoop为每个作业提供了若干内置计数器,用以描述各项指标。 文件系统计数器 所属类:org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ:文件系统读取的字节 阅读全文
posted @ 2017-04-15 18:32 fcyh 阅读(599) 评论(0) 推荐(0) 编辑
摘要: MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle 阅读全文
posted @ 2017-04-15 18:23 fcyh 阅读(559) 评论(0) 推荐(0) 编辑
摘要: R语言两种方式求指定日期所在月的天数 days_monthday<-function(date){ m<-format(date,format="%m") days31<-c("01","03","05","07","08","10","12") days30<-c("04","06","09"," 阅读全文
posted @ 2017-04-15 14:57 fcyh 阅读(1511) 评论(0) 推荐(0) 编辑