随笔分类 -  HADOOP

centos6.6安装hadoop-2.5.0（六、各种node功能）
摘要：一、hadoop的YARN框架 hadoop的YARN职能就是将资源调度和任务调度分开 ResourceManager全局管理所有应用程序计算资源的分配，每一个job的ApplicationMaster负责相应任务的调度和协调，调度、启动每一个job所属的Application Master另外监控 阅读全文
posted @ 2018-02-28 14:18 勤奋的雪雪大人 阅读(136) 评论(0) 推荐(0)
centos6.6安装hadoop-2.5.0（四、hadoop HA安装）
摘要：操作系统：centos6.6 环境：selinux disabled；iptables off；java 1.8.0_131 安装包：hadoop-2.5.0.tar.gz HA模式下的HADOOP完全分布式模式（使用于避免单点故障的环境） 阅读全文
posted @ 2018-02-26 16:59 勤奋的雪雪大人 阅读(121) 评论(0) 推荐(0)
centos6.6安装hadoop-2.5.0（三、完全分布式安装）
摘要：操作系统：centos6.6（三台服务器） 环境：selinux disabled；iptables off；java 1.8.0_131 安装包：hadoop-2.5.0.tar.gz hadoop完全分布式模式（生产环境使用） 1、节点规划 2、hosts配置 #vim /etc/hosts （ 阅读全文
posted @ 2018-02-26 16:58 勤奋的雪雪大人 阅读(254) 评论(0) 推荐(0)
centos6.6安装hadoop-2.5.0（一、本地模式安装）
摘要：操作系统：centos6.6（一台服务器） 环境：selinux disabled；iptables off；java 1.8.0_131 安装包：hadoop-2.5.0.tar.gz hadoop的本地模式部署（适用于本地开发调试模式） 1、新建安装目录 #mkdir /data/hadoop/ 阅读全文
posted @ 2018-02-26 16:56 勤奋的雪雪大人 阅读(214) 评论(0) 推荐(0)
centos6.6安装hadoop-2.5.0（二、伪分布式部署）
摘要：操作系统：centos6.6（一台服务器） 环境：selinux disabled；iptables off；java 1.8.0_131 安装包：hadoop-2.5.0.tar.gz 伪分布式环境（适用于学习环境） 安装步骤： 1、解压安装包 # tar zxvf hadoop-2.5.0.ta 阅读全文
posted @ 2018-02-26 16:54 勤奋的雪雪大人 阅读(767) 评论(0) 推荐(0)
centos6.6安装hadoop-2.5.0（五、部署过程中的问题解决）
摘要：操作系统：centos6.6 环境：selinux disabled；iptables off；java 1.8.0_131 安装包：hadoop-2.5.0.tar.gz 一、安装过程中会出现WARN util.NativeCodeLoader: Unable to load native-had 阅读全文
posted @ 2018-02-26 16:53 勤奋的雪雪大人 阅读(138) 评论(0) 推荐(0)