摘要：一、yarn的架构 二、yarn的工作机制 （0）Mr 程序提交到客户端所在的节点。 （1）Yarnrunner 向 Resourcemanager 申请一个 Application。 （2）rm 将该应用程序的资源路径返回给 yarnrunner。 （3）该程序将运行所需资源提交到 HDFS 上。 阅读全文

摘要：一、HDFS 架构 Hadoop 主要由HDFS（Hadoop Distributed File System）和MapReduce 引擎两部分组成。最底部是HDFS，它存储Hadoop 集群中所有存储节点上的文件。 HDFS 可以执行的操作有创建、删除、移动或重命名文件等，架构类似于传统的分级文件 阅读全文

摘要：一、简介 HDFS（Hadoop Distributed File System）是GFS的开源实现。 1.优点： 能够运行在廉价机器上，硬件出错常态，需要具备高容错性 流式数据访问，而不是随机读写 面向大规模数据集，能够进行批处理、能够横向扩展 简单一致性模型，假定文件是一次写入、多次读取 2.缺 阅读全文

摘要：一.windows环境下安装 根据博主写的一次性安装成功了： http://blog.csdn.net/antgan/article/details/52067441 二.linux环境下（centos6.5，JDK1.7） 1.主机名与IP的映射 2.关闭防火墙 3.vi hadoop2.5/et 阅读全文