2017年5月3日
HIVE中的order by操作
摘要： hive中常见的高级查询包括：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们来看看order by操作，Order by表示按照某些字段排序，语法如下： [java] view plain copy sel 阅读全文
posted @ 2017-05-03 13:01 fcyh 阅读(13017) 评论(0) 推荐(0)
Hive中order by，sort by，distribute by，cluster by的区别
摘要： 一：order by order by会对输入做全局排序，因此只有一个Reducer(多个Reducer无法保证全局有序)，然而只有一个Reducer，会导致当输入规模较大时，消耗较长的计算时间。关于order by的详细介绍请参考这篇文章：Hive Order by操作。 二：sort by so 阅读全文
posted @ 2017-05-03 13:00 fcyh 阅读(1466) 评论(0) 推荐(0)
2017年4月19日
HDFS shell命令
摘要： HDFS shell命令 FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文 阅读全文
posted @ 2017-04-19 20:06 fcyh 阅读(591) 评论(0) 推荐(0)
HDFS入门
摘要： HDFS入门 欢迎关注我的个人博客：http://www.cnblogs.com/yjd_hycf_space 更多大数据以及编程相关的精彩文章 为什么我们需要HDFS 文件系统由三部分组成：与文件管理有关软件、被管理文件以及实施文件管理所需数据结构。 既然读取一块磁盘的所有数据需要很长时间，写入更 阅读全文
posted @ 2017-04-19 20:04 fcyh 阅读(545) 评论(0) 推荐(0)
yarn是什么？为什么会产生yarn，它解决了什么问题？以及yarn的执行流程
摘要： 答：yarn是作业调度和集群资源管理的一个框架。 首先对之前的Hadoop 和 MRv1 简单介绍如下： Hadoop 集群可从单一节点（其中所有 Hadoop 实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。图 1 演示了一个 Hadoop 集群的高 阅读全文
posted @ 2017-04-19 19:55 fcyh 阅读(10163) 评论(0) 推荐(0)
2017年4月17日
C++中的类继承之单继承&多继承&菱形继承
摘要： C++中的类继承之单继承&多继承&菱形继承 单继承是一般的单一继承，一个子类只 有一个直接父类时称这个继承关系为单继承。这种关系比较简单是一对一的关系： 多继承是指 一个子类有两个或以上直接父类时称这个继承关系为多继承。这种继承方式使一个子类可以继承多个父类的特性。多继承可以看作是单继承的扩展。派生 阅读全文
posted @ 2017-04-17 08:15 fcyh 阅读(3231) 评论(0) 推荐(1)
2017年4月16日
R语言实战实现基于用户的简单的推荐系统（数量较少）
摘要： R语言实战实现基于用户的简单的推荐系统（数量较少） a<-c(1,1,1,1,2,2,2,2,3,3,3,4,4,4,5,5,5,5,6,6,7,7) b<-c(1,2,3,4,2,3,4,5,4,1,2,3,2,4,5,2,6,4,1,2,3,4) da<-data.frame(a,b) a<-c 阅读全文
posted @ 2017-04-16 13:30 fcyh 阅读(783) 评论(0) 推荐(0)
2017年4月15日
MapReduce计数器
摘要： MapReduce计数器 计数器输出 运行完毕作业之后的计数器输出 内置计数器 Hadoop为每个作业提供了若干内置计数器，用以描述各项指标。 文件系统计数器 所属类：org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ：文件系统读取的字节 阅读全文
posted @ 2017-04-15 18:32 fcyh 阅读(613) 评论(0) 推荐(0)
MapReduce的Shuffle过程介绍
摘要： MapReduce的Shuffle过程介绍 Shuffle的本义是洗牌、混洗，把一组有一定规则的数据尽量转换成一组无规则的数据，越随机越好。MapReduce中的Shuffle更像是洗牌的逆过程，把一组无规则的数据尽量转换成一组具有一定规则的数据。 为什么MapReduce计算模型需要Shuffle 阅读全文
posted @ 2017-04-15 18:23 fcyh 阅读(589) 评论(0) 推荐(0)
R语言两种方式求指定日期所在月的天数
摘要： R语言两种方式求指定日期所在月的天数 days_monthday<-function(date){ m<-format(date,format="%m") days31<-c("01","03","05","07","08","10","12") days30<-c("04","06","09"," 阅读全文
posted @ 2017-04-15 14:57 fcyh 阅读(1563) 评论(0) 推荐(0)