2019年8月28日
Hadoop简介
摘要： Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储 Hadoop核心构成 分布式文件系统HDFS Hado 阅读全文
posted @ 2019-08-28 17:14 BirdieGarden 阅读(321) 评论(0) 推荐(0)
2019年8月27日
HDFS介绍~超详细
摘要： HDFS（Hadoop Distributed File System） (1) HDFS--Hadoop分布式文件存储系统 源自于Google的GFS论文，HDFS是GFS的克隆版 HDFS是Hadoop中数据存储和管理的基础 他是一个高容错的系统，能够自动解决硬件故障，eg：硬盘损坏，HDFS可 阅读全文
posted @ 2019-08-27 18:49 BirdieGarden 阅读(2018) 评论(0) 推荐(0)
2018年5月18日
了解MapReduce
摘要： 再写MapReduce执行流程之前，首先先对MapReduce有一些了解： 1. 简介 MapReduce是一个计算框架，既然是做计算的框架，那么表现的形式上就有输入，操作输入，得到结果2.主从结构 a.Hadoop1.0 MapReduce是主从结构，Hadoop1.0的主是JobTracker， 阅读全文
posted @ 2018-05-18 09:30 BirdieGarden 阅读(242) 评论(1) 推荐(0)
2018年5月17日
Hadoop分布式集群搭建
摘要： Hadoop是一个开源的分布式系统框架 一.集群准备 1. 三台虚拟机，操作系统Centos7，三台主机名分别为k1,k2,k3，NAT模式 2.节点分布 k1: NameNode DataNode ResourceManager NodeManager k2: SecondNameNode Dat 阅读全文
posted @ 2018-05-17 10:59 BirdieGarden 阅读(216) 评论(0) 推荐(0)