hadoop伪分布式搭建

1,下载Hadoop安装包我用的2.8.4版本，上传到Linux上面（跟之前上传jdk文件一样）

2，解压安装包：tar -zxvf 文件名

3，修改一下权限：

4，进入到Hadoop配置文件下面：

输入命令：cd hadoop-2.8.4/etc

输入命令：cd hadoop

在这里配置一个伪分布式。

输入命令：vim core-site.xml

修改配置文件如下：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata101:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.8.4/data/tmp</value>
</property>
</configuration>

输入命令：vim hdfs-site.xml

修改配置文件：

<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata102:50090</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

输入命令：vim yarn-site.xml

修改配置文件如下：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata102</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>

输入命令：cp mapred-site.xml.template mapred-site.xml --复制一个模板文件，重命名

打开配置文件：vim mapred-site.xml

修改配置文件如下：

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata101:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata101:19888</value>
</property>
</configuration>

5，输入命令：echo $JAVA_HOME,找到jdk安装目录

输入命令：vim hadoop-env.sh

配置java_home