摘要：
Hive的理解数据仓库的工具 Hive仅仅是在hadoop上面包装了SQL；Hive的数据存储在hadoop上Hive的计算由MR进行Hive批量处理数据 Hive的特点1 可扩展性（hadoop）2 延展性3 容错性（MR） 阅读全文
posted @ 2016-12-16 22:12
Beeman_xia
阅读(204)
评论(0)
推荐(0)
摘要：
Shuffle是连接Map和Reduce的桥梁Shuffle分为Map端的Shuffle和Reduce端的ShuffleMap端的shuffle1输入数据和执行任务：分片后分配Map任务，每个任务分配100M缓存2写入缓存在溢写过程中：3溢写 溢写比达到0.8后启动溢... 阅读全文
posted @ 2016-12-08 22:56
Beeman_xia
阅读(381)
评论(0)
推荐(0)
摘要：
1、查看指定目录下内容Hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wang... 阅读全文
posted @ 2016-12-08 20:01
Beeman_xia
阅读(105)
评论(0)
推荐(0)
摘要：
文章思路：首先提出第一代MRv1（MapReduce Version1.0）的局限性，然后解释YARN是怎么克服这些局限性的，接着说了YARN的编程模型，说了YARN的组成，YARN的通信协议和YARN的运行过程。通过这样的描述来认识YARN的。MRv1的局限性YAR... 阅读全文
posted @ 2016-12-08 15:13
Beeman_xia
阅读(229)
评论(0)
推荐(0)
摘要：
ApplicationMaster是什么？ApplicationMaster是一个框架特殊的库，对于Map-Reduce计算模型而言有它自己的ApplicationMaster实现，对于其他的想要运行在yarn上的计算模型而言，必须得实现针对该计算模型的Applica... 阅读全文
posted @ 2016-12-08 11:05
Beeman_xia
阅读(944)
评论(0)
推荐(0)
摘要：
在Map端数据从Map中写入环形缓冲区，进行分区，分区时达到80%后溢出写入到磁盘，这几步同步进行中间有个Shuffle过程Reduce端执行完Map 后到Reduce内存中，进行sort和merge，生成溢出文件，很多的溢出文件合并（一次合并10个），Reduce文... 阅读全文
posted @ 2016-12-08 10:30
Beeman_xia
阅读(127)
评论(0)
推荐(0)
摘要：
Hadoop 中 最重要的两个模块HDFS 分布式的文件系统主节点：NameNodeSecondaryNamenodeResourceManager从节点：DataNodeNodeManagerMapReduce 分布式的并行计算框架job.submit();j... 阅读全文
posted @ 2016-12-07 21:21
Beeman_xia
阅读(461)
评论(0)
推荐(0)
摘要：
简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hado... 阅读全文
posted @ 2016-12-07 21:15
Beeman_xia
阅读(112)
评论(0)
推荐(0)
摘要：
在传统的MapReduce中, Jobtracker同时负责作业调度(将任务调度给对应的tasktracker)和任务进度管理(监控任务, 重启失败的或者速度比较慢的任务等). YARN中将Jobtracker的责任划分给两个独立的守护进程: 资源管理器(resour... 阅读全文
posted @ 2016-12-07 09:53
Beeman_xia
阅读(321)
评论(0)
推荐(0)
摘要：
HDFS 文件的系统访问的接口1.Hadoop的shell命令脚本hadoop fs -ls 列出某一个目录下的文件hadoop fs -lsr 递归的方式列出所有文件hadoop fs -mkdir 创建目录hadoop fs -rm 删除文件或者目录had... 阅读全文
posted @ 2016-12-01 16:24
Beeman_xia
阅读(662)
评论(0)
推荐(0)
摘要：
出现这个错误因为你没有把core-site.xml和hdfs-site.xml放到项目下程序运行开始就要调用这两个配置文件，这两个文件就是配置Hadoop时候的配置文件，只需要把至两个文件copy到你这个项目的bin目录下，复制过去一定要记住刷新一下eclipse，在... 阅读全文
posted @ 2016-12-01 10:46
Beeman_xia
阅读(229)
评论(0)
推荐(0)
摘要：
为了方便大家修，我把要修改的地方标红了，找到对应文件，复制粘贴过去就可以了注：这个是我安装的Hadoop的配置，要根据我之前发的文章配置才行，里面有一些东西比如文件夹名称，路径不一样，稍加修改也可以用。配置文件在/hadoop-2.5.2/etc/hadoop/下co... 阅读全文
posted @ 2016-11-29 13:10
Beeman_xia
阅读(362)
评论(0)
推荐(0)
摘要：
HDFS的简介分布式的文件系统，基于流数据模式访问和处理超大文件的分布式文件系统Hadoop Distributed File SystemHDFS的优点处理超大文件流数据访问运行廉价的商用服务器上HDFS的缺点无法高效存储大量的小文件（元数据信息增大会造成NameN... 阅读全文
posted @ 2016-11-29 10:23
Beeman_xia
阅读(145)
评论(0)
推荐(0)
摘要：
首先，切换到root用户下：su root然后，在root用户下建立你要建的目录然后，修改属组和属主：chown xia:xia java，这步把目录Java的所属交给了xia这个用户 最后，回到普通用户下，就可以在目录里建文件了。 阅读全文
posted @ 2016-11-28 21:51
Beeman_xia
阅读(435)
评论(0)
推荐(0)
摘要：
搭建过程中配置免密钥登录为了以后方便使用【提醒】安装Hadoop中会遇到新建文件夹，配置路径等问题，这个不能生搬硬套，要使用自己配置的路径，灵活使用。Hadoop的部署配置文件在http://blog.csdn.net/beeman_xia/article/detai... 阅读全文
posted @ 2016-11-28 20:05
Beeman_xia
阅读(752)
评论(0)
推荐(0)
浙公网安备 33010602011771号