2015年10月11日
hadoop多机安装HA+YARN
摘要： HA 相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA(热备)和Federation(联邦)。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。 在一个典型的HDFSHA场景中，通常由... 阅读全文
posted @ 2015-10-11 16:34 whaozl 阅读(704) 评论(0) 推荐(0) 编辑
hadoop多机安装YARN
摘要： hadoop伪分布安装称为测试环境安装，多机分布称为生成环境安装。以下安装没有进行HA(热备)和Federation(联邦)。除非是性能需要，否则没必要安装Federation，HA可以一试，涉及到Zookeeper自动切换。 准备工作 1) linux优化 ①安装虚拟机linux系统，采用1.2 中的CentOS调优所有步骤，关闭防火墙；②设置网络为桥接模式(编辑虚拟机设置—>网络适配器)，查... 阅读全文
posted @ 2015-10-11 16:33 whaozl 阅读(584) 评论(0) 推荐(0) 编辑
hadoop伪分布安装
摘要： 解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下，并解压 #将hadoop解压到/home/haozhulin/install路径下，定位目录到/home/haozhulin/install tar –zxvf hadoop-2.2.0.tar.gz –C /home/haozhulin/install/ 或者先让其有执行权限，然后直... 阅读全文
posted @ 2015-10-11 16:24 whaozl 阅读(279) 评论(0) 推荐(0) 编辑
开始hadoop
摘要： hadoop介绍 分布式存储系统HDFS(Hadoop Distributed File System)，提供了高可靠性、高扩展性和高吞吐率的数据存储服务； 资源管理系统YARN(Yet Another Resource Negotiator)，负责集群资源的统一管理和调度，使得多种计算框架可以运行在一个集群中； 分布式计算框架(MapReduce)，具有易于编程、高容错性和高扩展... 阅读全文
posted @ 2015-10-11 16:08 whaozl 阅读(286) 评论(0) 推荐(0) 编辑