随笔分类 -  hadoop

摘要:Hadoop测试Yarn和MapReduce 1.配置Yarn (1)配置ResourceManager 生产环境中,一般是重开一台机器作为ResourceManager,这里我们以Master机器代替。 修改yarn site.xml: (2)配置NodeManager NodeManager作为 阅读全文
posted @ 2018-10-18 15:34 零度微笑 阅读(766) 评论(0) 推荐(0)
摘要:Hadoop进阶 1.配置SSH免密 (1)修改slaves文件 切换到master机器,本节操作全在master进行。 进入/usr/hadoop/etc/hadoop目录下,找到slaves文件,修改: (2)发送公钥 进入根目录下的.ssh目录: 1. 生成公私钥 ssh keygen t r 阅读全文
posted @ 2018-10-17 12:02 零度微笑 阅读(244) 评论(0) 推荐(0)
摘要:Hadoop集群安装部署 1.介绍 (1)架构模型 (2)使用工具 1. VMWARE 2. cenos7 3. Xshell 4. Xftp 5. jdk 8u91 linux x64.rpm 6. hadoop 2.7.3.tar.gz 2.安装步骤 (1)部署master 1. 创建一台虚拟机 阅读全文
posted @ 2018-10-16 18:56 零度微笑 阅读(765) 评论(0) 推荐(0)