Linux随笔3

争名夺利几时休？早起迟眠不自由！
骑着驴骡思骏马，官居宰相望王侯。
只愁衣食耽劳碌，何怕阎君就取勾？
继子荫孙图富贵，更无一个肯回头！
——《西游记》

今天整理好集群搭建的剩下步骤。

之前以及配置好了网络环境，接下来分为这几步：
环境：CentOS7 X64 | jdk1.8.0_144 | hadoop3.3.0

集群部署

	hadoop1	hadoop2	hadoop3
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManger

 

1）设置ssh免密登录

2）传入软件安装包（利用vm功能）

3）配置jdk环境

4）配置hadoop环境

5）修改hadoop1配置文件

6）远程同步配置文件

7）启动集群

8）访问web管理端

9）关闭集群

-----------------------------

1）设置ssh免密登录

#ssh-keygen -t rsa  #生成ssh密钥用来设置免密登录
#ssh-copy-id hadoop1 #拷贝密钥到各个节点（前提是互通）
#ssh-copy-id hadoop2
#ssh-copy-id hadoop3

2）传入软件安装包（利用vm功能）

#mkdir /opt/tar_packages　　#创建tar_packages目录存放软件安装包
#mkdir /opt/modules　　　　#创建modules目录存放软件
在UI界面下将安装包拖入hadoop1，再移动到对应目录

3）配置jdk环境

#cd /opt/
#tar -zvxf /opt/tar_packages/jdk1-8u144-linux-x64.tar.gz -C /opt/modules/
#cd /opt/modules/jdk1.8.0_144/
#pwd
/opt/modules/jdk1.8.0_144/　　#复制此路径
#vim /etc/profile
文件末尾添加

#JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

#source /etc/profile　　#立即启用
接下来检测java环境
#java
#javac
#javadoc

4）安装hadoop和配置hadoop环境

#cd /opt/
#tar -zvxf /opt/tar_packages/hadoop-3.3.0.tar.gz -C /opt/modules/
#cd /opt/modules/hadoop-3.3.0/
#pwd
/opt/modules/hadoop-3.3.0/　　#复制此路径
#vim /etc/profile
文件末尾添加

#HADOOP_HOME
export HADOOP_HOME=/opt/modules/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#source /etc/profile　　#立即启用
同样的检测hadoop环境
#hadoop

5）修改hadoop1配置文件

#cd /opt/modules/hadoop3.3.0/etc/hadoop/
#vim hadoop-env.sh
#vim yarn-env.sh
#vim mapred-env.sh
分别加入：

export JAVA_HOME=/opt/modules/jdk1.8.0_144

#vim core-site.xml
在<configuration></configuration>中加入

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-3.3.0/data/tmp</value>
</property>

#vim hdfs-site.xml
在<configuration></configuration>中加入

<!-- 指定Hadoop副本个数 -->
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:50090</value>
</property>

#vim yarn-site.xml
在<configuration></configuration>中加入

<!-- Reducer获取数据的方式 -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop2</value>
</property>

#vim mapred-site.xml
在<configuration></configuration>中加入

<!-- 指定MR运行在Yarn上 -->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

#vim start-dfs.sh
#vim stop-dfs.sh
分别在文件头加入

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

#vim start-yarn.sh
#vim stop-yarn.sh
分别在文件头加入

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改workers文件
#cd /opt/modules/hadoop-3.3.0/etc/hadoop/
#vim workers

localhost改为

hadoop1
hadoop2
hadoop3

6）远程同步配置文件

#scp -r /opt/modules/ root@hadoop2:/opt/  #将hadoop1主节点下modules拷贝到hadoop2
#scp -r /opt/modules/ root@hadoop3:/opt/

7）启动集群
hadoop1:
#cd /opt/modules/hadoop-3.3.0/sbin/
#start-dfs.sh
#start-yarn.sh
完成后在hadoop2：
#cd /opt/modules/hadoop-3.3.0/sbin/
#start-yarn.sh
hadoop1、hadoop2、hadoop3
#jps

8）访问web管理端
路径在hdfs-site.xml中（此处是haoop3:50090)
浏览器访问haoop3:50090

9）关闭集群

hadoop2：
#stop-yarn.sh
结束以后hadoop1：
#stop-dfs.sh