摘要：
Hadoop常用命令 启动HDFS集群 启动YARN集群 查看HDFS系统根目录 创建文件夹 级联创建文件夹 查看hsdf系统根目录下的所有文件包括子文件夹里面的文件 [hadoop@hadoop1 ~]$ hadoop fs -ls -R /aadrwxr-xr-x - hadoop superg 阅读全文
摘要：
HDFS前言 HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 设计思想 1、分散均匀存储 dfs.blocksize = 128M 2、备份冗余存储 dfs.replication = 3 在大数据系统中作用 为各 阅读全文
摘要：
分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点 管理者和工作者 问题：如果主节点或是管理者宕机了。会出现什么问题？ 群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题： 当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF 单 阅读全文
摘要：
概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master 阅读全文
摘要：
下载Hadoop源码 1、登录官网 2、确定你要安装的软件的版本 一个选取原则： 不新不旧的稳定版本 几个标准： 1）一般来说，刚刚发布的大版本都是有很多问题 2）应该选择某个大版本中的最后一个小版本 阅读编译文档 1、准备一个hadoop源码包，我选择的hadoop的版本是：hadoop-2.7. 阅读全文
摘要：
Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的 阅读全文