摘要: HDFS入门 欢迎关注我的个人博客:http://www.cnblogs.com/yjd_hycf_space 更多大数据以及编程相关的精彩文章 为什么我们需要HDFS 文件系统由三部分组成:与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。 既然读取一块磁盘的所有数据需要很长时间,写入更 阅读全文
posted @ 2017-04-19 20:04 fcyh 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 答:yarn是作业调度和集群资源管理的一个框架。 首先对之前的Hadoop 和 MRv1 简单介绍如下: Hadoop 集群可从单一节点(其中所有 Hadoop 实体都在同一个节点上运行)扩展到数千个节点(其中的功能分散在各个节点之间,以增加并行处理活动)。图 1 演示了一个 Hadoop 集群的高 阅读全文
posted @ 2017-04-19 19:55 fcyh 阅读(9936) 评论(0) 推荐(0) 编辑
摘要: C++中的类继承之单继承&多继承&菱形继承 单继承是一般的单一继承,一个子类只 有一个直接父类时称这个继承关系为单继承。这种关系比较简单是一对一的关系: 多继承是指 一个子类有两个或以上直接父类时称这个继承关系为多继承。这种继承方式使一个子类可以继承多个父类的特性。多继承可以看作是单继承的扩展。派生 阅读全文
posted @ 2017-04-17 08:15 fcyh 阅读(3189) 评论(0) 推荐(1) 编辑
摘要: R语言实战实现基于用户的简单的推荐系统(数量较少) a<-c(1,1,1,1,2,2,2,2,3,3,3,4,4,4,5,5,5,5,6,6,7,7) b<-c(1,2,3,4,2,3,4,5,4,1,2,3,2,4,5,2,6,4,1,2,3,4) da<-data.frame(a,b) a<-c 阅读全文
posted @ 2017-04-16 13:30 fcyh 阅读(774) 评论(0) 推荐(0) 编辑
摘要: MapReduce计数器 计数器输出 运行完毕作业之后的计数器输出 内置计数器 Hadoop为每个作业提供了若干内置计数器,用以描述各项指标。 文件系统计数器 所属类:org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ:文件系统读取的字节 阅读全文
posted @ 2017-04-15 18:32 fcyh 阅读(599) 评论(0) 推荐(0) 编辑
摘要: MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗,把一组有一定规则的数据尽量转换成一组无规则的数据,越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程,把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle 阅读全文
posted @ 2017-04-15 18:23 fcyh 阅读(557) 评论(0) 推荐(0) 编辑
摘要: R语言两种方式求指定日期所在月的天数 days_monthday<-function(date){ m<-format(date,format="%m") days31<-c("01","03","05","07","08","10","12") days30<-c("04","06","09"," 阅读全文
posted @ 2017-04-15 14:57 fcyh 阅读(1510) 评论(0) 推荐(0) 编辑
摘要: ggplot2作图详解:入门函数qplot ggplot2作图详解:入门函数qplot ggplot2的功能不用我们做广告,因为它的作者Hadley Wickham就说ggplot2是一个强大的作图工具,它可以让你不受现有图形类型的限制,创造出任何有助于解决你所遇到问题的图形。一点也不谦虚。 H.W 阅读全文
posted @ 2017-04-14 16:11 fcyh 阅读(2897) 评论(0) 推荐(0) 编辑
摘要: R语言:recommenderlab包的总结与应用案例 R语言:recommenderlab包的总结与应用案例 1. 推荐系统:recommenderlab包整体思路recommenderlab包提供了一个可以用评分数据和0-1数据来发展和测试推荐算法的框架。它提供了几种基础算法,并可利用注册机制允 阅读全文
posted @ 2017-04-13 10:34 fcyh 阅读(2853) 评论(2) 推荐(0) 编辑
摘要: R语言 ggplot2包的学习 分析数据要做的第一件事情,就是观察它。对于每个变量,哪些值是最常见的?值域是大是小?是否有异常观测? ggplot2图形之基本语法: ggplot2的核心理念是将绘图与数据分离,数据相关的绘图与数据无关的绘图分离ggplot2是按图层作图ggplot2保有命令式作图的 阅读全文
posted @ 2017-04-13 10:07 fcyh 阅读(9114) 评论(0) 推荐(3) 编辑