2017年4月15日
MapReduce计数器
摘要： MapReduce计数器 计数器输出 运行完毕作业之后的计数器输出 内置计数器 Hadoop为每个作业提供了若干内置计数器，用以描述各项指标。 文件系统计数器 所属类：org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ：文件系统读取的字节 阅读全文
posted @ 2017-04-15 18:32 fcyh 阅读(600) 评论(0) 推荐(0) 编辑
MapReduce的Shuffle过程介绍
摘要： MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle 阅读全文
posted @ 2017-04-15 18:23 fcyh 阅读(560) 评论(0) 推荐(0) 编辑
R语言两种方式求指定日期所在月的天数
摘要： R语言两种方式求指定日期所在月的天数 days_monthday<-function(date){ m<-format(date,format="%m") days31<-c("01","03","05","07","08","10","12") days30<-c("04","06","09"," 阅读全文
posted @ 2017-04-15 14:57 fcyh 阅读(1522) 评论(0) 推荐(0) 编辑