集群配置hadoop和jdk

一、用xshell连接虚拟机

1.点击文件点击新建

 

 

2.新建会话可以随便输入，主机要写虚拟机IPADDR

 

 

 

 

 

 

3.点击确定然后连接master

 

 

 

 4.连接成功后输入用户名root，密码为虚拟机密码

 

 

 

 

 

 

三、配置jdk：

1.下载网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html  //下载linux版本，1.8以上

2.进入opt目录用xftp上传jdk压缩包

 

 

 

 

 

 

 

 

 

 

 

 3.执行命令：

tar -zxvf /opt/jdk-8u162-linux-x64.tar.gz    //解压

mv /opt/jdk1.8.0_162 /usr/local/java    //移动jdk目录

 vi /root/.bash_profile                          //设置环境变量

 

 

 添加上图中两行代码

source /root/.bash_profile               //使环境变量生效

检查jdk是否安装 输入命令：java -version

 

 

 

 

四、配置hadoop

1.下载地址：https://hadoop.apache.org/releases.html

2.上传压缩包至opt目录下

 

 

 3.执行如下命令：

tar -zxvf /opt/hadoop-2.7.5.tar.gz 

mv /opt/hadoop-2.7.5 /opt/hadoop 

vi /root/.bash_profile    //添加环境变量

 

 

 

 source /root/.bash_profile

检查hadoop是否安装成功执行命令：hadoop

 

 

 

 4.配置核心组件：

执行命令：

vi /opt/hadoop/etc/hadoop/core-site.xml 

#在<configuration>补充区域</configuration>中间补充 #补充内容，如下

<property>   

 　　<name>fs.defaultFS</name> 

　　 <value>hdfs://master:9000</value>

</property>

<property>   

 　　#文件地址配置 

　　 <name>hadoop.tmp.dir</name>   

 　　<value>/opt/hadoop/hadoopdata</value>

</property>

 

 

 

 

执行命令：vi /opt/hadoop/etc/hadoop/hdfs-site.xml 

 

# 配置内容 #在<configuration>补充区域</configuration>中间补充 #补充内容，如下

 

<property>

 

　　#dfs 备份数量，默认为 3，根据硬盘资源决定为 1   

 

  　<name>dfs.replication</name>   

 

  　<value>1</value>

 

</property>

 

 

 

 

 

执行命令：vi /opt/hadoop/etc/hadoop/yarn-site.xml 

添加内容（<configuration>中添加）

<property>

 　　#需要配置固定值

　　<name>yarn.nodemanager.aux-services</name>

 　　<value>mapreduce_shuffle</value>

</property>

<property>

　　#客户端地址，向 resouce 请求地址

 　　<name>yarn.resourcemanager.address</name>

 　　<value>master:18040</value>

</property>

<property>

 　　#调入器调入地址

　　 <name>yarn.resourcemanager.scheduler.address</name>

 　　<value>master:18030</value>

</property>

<property>

 　　#notemanager 汇报心跳等任务

 　　<name>yarn.resourcemanager.resource-tracker.address</name>

 　　<value>master:18025</value>

</property>

<property>

 　　#管理员地址，可发送管理命令等操作

 　　<name>yarn.resourcemanager.admin.address</name>

　　 <value>master:18141</value>

</property>

<property>

　　 #通过浏览器看到 hadoop 情况

 　　<name>yarn.resourcemanager.webapp.address</name>

 　　<value>master:18088</value>

</property>

 

 

 

 

 

执行命令：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapredsite.xml 

vi /opt/hadoop/etc/hadoop/mapred-site.xml

# 配置内容 # 在<configuration>补充区域</configuration>中间补充

<property>   

 　　#管理器名称   

 　　<name>mapreduce.framework.name</name>   

 　　<value>yarn</value>

</property> 

 

 

 

5.创建hadoopdata文件修改javahome路径

执行命令：

mkdir /opt/hadoop/hadoopdata

vi /opt/hadoop/etc/hadoop/hadoop-env.sh

 

 

 

 

 执行命令：

vi /opt/hadoop/etc/hadoop/slaves

 

 

 

jdk、hadoop配置完成