2017年4月19日
HDFS入门
摘要： HDFS入门 欢迎关注我的个人博客：http://www.cnblogs.com/yjd_hycf_space 更多大数据以及编程相关的精彩文章 为什么我们需要HDFS 文件系统由三部分组成：与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。 既然读取一块磁盘的所有数据需要很长时间，写入更 阅读全文
posted @ 2017-04-19 20:04 fcyh 阅读(537) 评论(0) 推荐(0) 编辑
yarn是什么？为什么会产生yarn，它解决了什么问题？以及yarn的执行流程
摘要： 答：yarn是作业调度和集群资源管理的一个框架。 首先对之前的Hadoop 和 MRv1 简单介绍如下： Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高 阅读全文
posted @ 2017-04-19 19:55 fcyh 阅读(9925) 评论(0) 推荐(0) 编辑
2017年4月17日
C++中的类继承之单继承&多继承&菱形继承
摘要： C++中的类继承之单继承&多继承&菱形继承 单继承是一般的单一继承，一个子类只 有一个直接父类时称这个继承关系为单继承。这种关系比较简单是一对一的关系： 多继承是指 一个子类有两个或以上直接父类时称这个继承关系为多继承。这种继承方式使一个子类可以继承多个父类的特性。多继承可以看作是单继承的扩展。派生 阅读全文
posted @ 2017-04-17 08:15 fcyh 阅读(3186) 评论(0) 推荐(1) 编辑
2017年4月16日
R语言实战实现基于用户的简单的推荐系统（数量较少）
摘要： R语言实战实现基于用户的简单的推荐系统（数量较少） a<-c(1,1,1,1,2,2,2,2,3,3,3,4,4,4,5,5,5,5,6,6,7,7) b<-c(1,2,3,4,2,3,4,5,4,1,2,3,2,4,5,2,6,4,1,2,3,4) da<-data.frame(a,b) a<-c 阅读全文
posted @ 2017-04-16 13:30 fcyh 阅读(773) 评论(0) 推荐(0) 编辑
2017年4月15日
MapReduce计数器
摘要： MapReduce计数器 计数器输出 运行完毕作业之后的计数器输出 内置计数器 Hadoop为每个作业提供了若干内置计数器，用以描述各项指标。 文件系统计数器 所属类：org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ：文件系统读取的字节 阅读全文
posted @ 2017-04-15 18:32 fcyh 阅读(598) 评论(0) 推荐(0) 编辑
MapReduce的Shuffle过程介绍
摘要： MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle 阅读全文
posted @ 2017-04-15 18:23 fcyh 阅读(556) 评论(0) 推荐(0) 编辑
R语言两种方式求指定日期所在月的天数
摘要： R语言两种方式求指定日期所在月的天数 days_monthday<-function(date){ m<-format(date,format="%m") days31<-c("01","03","05","07","08","10","12") days30<-c("04","06","09"," 阅读全文
posted @ 2017-04-15 14:57 fcyh 阅读(1505) 评论(0) 推荐(0) 编辑
2017年4月14日
ggplot2作图详解：入门函数qplot
摘要： ggplot2作图详解：入门函数qplot ggplot2作图详解：入门函数qplot ggplot2的功能不用我们做广告，因为它的作者Hadley Wickham就说ggplot2是一个强大的作图工具，它可以让你不受现有图形类型的限制，创造出任何有助于解决你所遇到问题的图形。一点也不谦虚。 H.W 阅读全文
posted @ 2017-04-14 16:11 fcyh 阅读(2896) 评论(0) 推荐(0) 编辑
2017年4月13日
R语言：recommenderlab包的总结与应用案例
摘要： R语言：recommenderlab包的总结与应用案例 R语言：recommenderlab包的总结与应用案例 1. 推荐系统：recommenderlab包整体思路recommenderlab包提供了一个可以用评分数据和0-1数据来发展和测试推荐算法的框架。它提供了几种基础算法，并可利用注册机制允 阅读全文
posted @ 2017-04-13 10:34 fcyh 阅读(2851) 评论(2) 推荐(0) 编辑
R语言 ggplot2包
摘要： R语言 ggplot2包的学习 分析数据要做的第一件事情，就是观察它。对于每个变量，哪些值是最常见的？值域是大是小？是否有异常观测？ ggplot2图形之基本语法： ggplot2的核心理念是将绘图与数据分离，数据相关的绘图与数据无关的绘图分离ggplot2是按图层作图ggplot2保有命令式作图的 阅读全文
posted @ 2017-04-13 10:07 fcyh 阅读(9103) 评论(0) 推荐(3) 编辑