Hadoop伪分布式搭建

Hadoop伪分布式搭建

伪分布式一开始不需要克隆虚拟机，其余配置和Hadoop完全分布式一样

1. Hadoop安装

1.1 上传文件

用xftp上传hadoop-2.6.0.tar.gz文件到/opt/software中

1.2 解压文件

进入/opt/software中解压

cd /opt/software								//进入/opt/software目录
(tar -zxvf Hadoop包名 -C 指定的路径)
tar -zxvf hadoop-2.6.0.tar.gz -C /opt/module 	//把文件加压到/opt/module目录中

进入解压后的Hadoop目录修改hadoop-2.6.0为hadoop

cd /opt/module
mv hadoop-2.6.0 hadoop			//修改hadoop-2.6.0为hadoop

1.3 设置环境变量

命令：

vi /root/.bash_profile

加入下面内容：

export HADOOP_HOME=/opt/module/hadoop				//等号后面是hadoop解压后的路径
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使设置立即生效：

source /root/.bash_profile

验证是否成功：

hadoop version

1.4 配置Hadoop

配置前进入hadoop中的/etc/hadoop

cd /opt/module/hadoop/etc/hadoop

1.4.1 修改hadoop-env.sh、yarn-env.sh、mapred-env.sh

找到JAVA_HOME修改他们的JAVA_HOME路径

命令：

vi hadoop-env.sh		//进入hadoop-env.sh进行修改
vi yarn-env.sh			//进入yarn-env.sh进行修改
vi mapred-env.sh		//进入mapred-env.sh进行修改

配置其中的 JAVA_HOME 路径(路径根据自己虚拟机上的配置来定)

export JAVA_HOME=/opt/module/jdk1.8.0_281

1.4.2 配置core-site.xml

命令：

vi core-site.xml

在中添加如下：

<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
</property>
<!-- 指定 Hadoop 运行时产生文件的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/hadoop安装路径/data</value>
</property>

1.4.3 配置hdfs-site.xml

命令：

vi hdfs-site.xml

在中添加如下：

<!-- 指定 HDFS 副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

1.4.4 配置yarn-site.xml

命令：

vi yarn-site.xml

在中添加如下：

<!-- Reducer 获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>master</value>
</property>

1.4.5 配置mapred-site.xml

配置前先把mapred-site.xml.template名字改为mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

进入mapred-site.xml进行修改

vi mapred-site.xml

在中添加如下：

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>master:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>master:19888</value>
</property>

1.5 启动Hadoop

（1）第一次启动要格式化

hdfs namenode -format

（2）启动集群（需进入hadoop安装目录）

sbin/start-all.sh

（3）关闭集群（需进入hadoop安装目录）

sbin/stop-all.sh

hdfs web 访问地址：192.168.1.110:50070