Hadoop.之.安装-部署-1

安装部署

1. 下载 、上传

　　下载地址： http://archive.apache.org/dist/ ，选择自己需要的Hadoop版本，此博客中使用的版本是：hadoop-2.7.3.tar.gz

　　通过rz指令，将下载的Haddop上传到服务器中。

 

2. 解压安装

　　进入到 /opt/tools目录中，指令: cd /opt/tools，将上传的haddop进行解压，指令如下：

　　tar -zxvf /opt/tools/hadoop-2.7.3.tar.gz -C /opt/modules/

　　

　　进入Haddop目录，指令 ：cd /opt/modules/hadoop-2.7.3/

　　如果，在解压的时候，你和我一样：使用的是root账号，那么此时，你需要进行修改权限（所属者、所属组）

　　修改权限指令: chown charles:charles -R *

　　

　　文件说明:

　　　　bin：该目录一般存放命令或者客户端

　　　　etc/conf：配置文件目录

　　　　lib：放依赖jar包

　　　　logs：放日志文件

 

3. 修改配置

　　Hadoop的相关配置 ，可以参见官网指南(官方提供的)，链接如下:

　　　　http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

　　

　　也可以参见非官方的步骤，如下：

　　/opt/modules/hadoop-2.7.3/etc/hadoop  ：配置文件目录

　　

 

　　修改env文件：

　　　　hadoop-env.sh：

　　　　

 

　　　　mapred-env.sh：

　　　　

 

　　　　yarn-env.sh：

　　　　

　　　　

　　　　注意: 三个配置文件修改的地方都是一样的，修改JDK的位置：export JAVA_HOME=/opt/modules/jdk1.8.0_91

　　修改site文件

 　　　　core-site.xml：配置Hadoop的全局属性

　　　　　　　　<!--指定HDFS的地址即NameNode的地址-->

　　　　　　　　<property>

　　　　　　　　　　<name>fs.defaultFS</name>

　　　　　　　　　　<value>hdfs://gongziyuan.com:8020</value>

　　　　　　　　</property>

　　　　　　　　

　　　　　　　　mkdir /opt/modules/hadoop-2.7.3/datas

　　　　　　　　

　　　　　　　　<!--指定Hadoop的临时存储目录-->

　　　　　　　　<property>

　　　　　　　　　　<name>hadoop.tmp.dir</name>

　　　　　　　　　　<value>/opt/modules/hadoop-2.7.3/datas</value>

　　　　　　　　</property>

　　　　　

 

　　　　hdfs-site.xml：配置HDFS的属性

　　　　

　　　　<!-- 配置hdfs上每个块的总副本数 -->

　　　　<property>

　　　　　　<name>dfs.replication</name>

　　　　　　<value>1</value>

　　　　</property>

　　       

 

　　　　slaves：用于指定所有从节点的地址 

　　　　编辑slaves文件，添加从节点地址：gongziyuan.com ，编辑之后，进行查看文件，指令：cat slaves

　　　　

　　

4.操作服务

　　操作服务的时候，使用root账号先做如下两个操作:

　　1. 将所有Haddop相关文件的权限（所有者、所属组）都给charles，避免出现权限引发的问题。

　　　chown -R charles:charles /opt/tools

　　   chown -R charles:charles /opt/modules

　　　chown -R charles:charles /opt/datas

　　2. 在进行启停、格式化等操作的时候，要切换城charles用户，不要用root账号进行操作，切换指令: su - charles

 

　　第一次使用HDFS，先进行格式化 

　　　　cd /opt/modules/hadoop-2.7.3/

　　　　bin/hdfs namenode -format

 　   启动HDFS

　　　　启动主节点：sbin/hadoop-daemon.sh start namenode

　　　　启动从节点：sbin/hadoop-daemon.sh start datanode

　　　　

　　

　　测试运行　

　　　　输入指令：jps ，查看相应进程信息是否存在，看到：DataNode 和 NameNode说明成功（排列的顺序、编号可能不一样）

　　　　

　　　　

　　　　访问web端口：50070

　　　　　　在浏览器中输入：ip:50070

　　　　　　192.168.43.150:50070

　　　　

 

　　　　　　注意:

　　　　　　　　通过浏览器第一次进行访问的时候，我没有访问到Web页面，发现是因为防火墙忘记关闭了。如果你的操作也是如此，十分抱歉！遗漏了关闭防火墙。

　　　　　　我用的Linux版本是：Red Hat Enterprise Linux Server release 7.4 (Maipo)　　

　　　　　　关闭防火墙指令: systemctl stop firewalld (针对Linux7.x版本)

　　　　　　

　　　　　　如果你的Linux版本是：6.x ,关闭防火墙指令：service iptables stop , 当然，也可以不关闭防火墙的，只需要释放50070这个端口就可以，编辑 /etc/sysconfig/iptables  

　　　　　　

　　　　　　

　　　　hdfs的文件系统：类似于Linux文件系统，从/目录开始

 

如有问题，欢迎纠正！！！

如有转载，请标明源处: https://www.cnblogs.com/Charles-Yuan/articles/9428124.html