摘要: Hadoop : Hadoop是Apache基金会旗下的一个分布式系统基础架构.主要包括 : 分布式文件系统HDFS,分布式资源管理系统Yarn.可以使得用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的分布式能力进行运算和存储 Hadoop核心构成 分布式文件系统HDFS Hado 阅读全文
posted @ 2019-08-28 17:14 BirdieGarden 阅读(301) 评论(0) 推荐(0) 编辑
摘要: HDFS(Hadoop Distributed File System) (1) HDFS--Hadoop分布式文件存储系统 源自于Google的GFS论文,HDFS是GFS的克隆版 HDFS是Hadoop中数据存储和管理的基础 他是一个高容错的系统,能够自动解决硬件故障,eg:硬盘损坏,HDFS可 阅读全文
posted @ 2019-08-27 18:49 BirdieGarden 阅读(1913) 评论(0) 推荐(0) 编辑
摘要: 再写MapReduce执行流程之前,首先先对MapReduce有一些了解: 1. 简介 MapReduce是一个计算框架,既然是做计算的框架,那么表现的形式上就有输入,操作输入,得到结果2.主从结构 a.Hadoop1.0 MapReduce是主从结构,Hadoop1.0的主是JobTracker, 阅读全文
posted @ 2018-05-18 09:30 BirdieGarden 阅读(224) 评论(1) 推荐(0) 编辑
摘要: Hadoop是一个开源的分布式系统框架 一.集群准备 1. 三台虚拟机,操作系统Centos7,三台主机名分别为k1,k2,k3,NAT模式 2.节点分布 k1: NameNode DataNode ResourceManager NodeManager k2: SecondNameNode Dat 阅读全文
posted @ 2018-05-17 10:59 BirdieGarden 阅读(196) 评论(0) 推荐(0) 编辑