hadoop伪分布式搭建（2）

需要hadoop安装包，xshell，Linux的jdk，百度搜索下载即可

 

打开xshell，点击文件，新建

 

名称随意，主机填写虚拟机的IP地址（虚拟机要先开机），协议选择ssh输入用户名密码之类的即可连接虚拟机。之后可以通过是shell命令来对虚拟机进行操作

 

 

先创建两个文件夹一个用来放压缩包一个用来放软件，代码：mkdir app  (存放软件)mkdir soft（存放压缩包）

 

 再点击文件新建一个连接：

 

这次上面选择SFTP（用于传文件）

其他照着前面填就行

通过cd命令进入soft目录，再将压缩包拖进来即可

 

 

 

 

 

会到ssh协议建立的选项卡，通过cd命令进入soft目录

 通过ll命令查看，即可看到安装包

通过tar命令将两个压缩包解压到同级目录app中

 

这样，我们jdk和Hadoop就安装ok了，接下里的就是配置问题了。

通过命令sudo vim /etc/profile 配置环境变量

 

 

如图配置

 

JAVA_HOME,HADOOP_HOME填写自己安装的目录

 其他照着填即可

最后是Hadoop的五个配置文件了，配置方法如下：

先进入Hadoop的etc目录的hadoop目录下：

 

通过ll命令即可查看文件

我们需要配置五个文件：

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml 

yarn-site.xml

 

 

1hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

 

2core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop00:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-2.4.1/tmp</value>

</property>

 

3hdfs-site.xml

 

<!-- 指定HDFS副本的数量 -->

<property>

<name>dfs.replication</name>

<value>1</value>

     </property>

 

4mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

     </property>

 

 

5yarn-site.xml

 

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop00：9000</value>

     </property>

<!-- reducer获取数据的方式 -->

     <property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

      </property>

按照上面配置即可，通过vi命令进入文件，将对应的代码填在对应对接的<configrutation></configrutation>中即可.