hadoop单节点伪分布搭建

 hadoop版本：2.7.1 jdk：1.7 OS：ubuntu 14.04

1、开启ssh免密码登录

ssh-keygen -t rsa
cat id_rsa.pub >> authorized_keys

 这里不多做赘述，没有开启的请 google、baidu（搭建java环境也同样）

2、修改core-site.xml（path：etc/hadoop/）

<configuration>
     <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
</configuration>

含义：接收Client连接的RPC端口，用于获取文件系统metadata信息。

3、修改hdfs-site.xml

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
</configuration>

含义：备份只有一份

4、设置环境变量并刷新profile

 

 

 

export JAVA_HOME=/usr/lib/java
export JRE_HOME=${JAVA_HMOME}/jre
export CLASSPATH=.:${JAVA_HMOE}/lib
export HADOOP_HOME=/usr/lib/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${JAVA_HOME}/bin:${PATH}

5、格式化hdfs

hdfs namenode -format

6、启动集群

start-dfs.sh

7、验证

　　可以使用jps命令验证是否有进程

　　

　　可以使用网址访问，端口是50070，例如：10.0.6.206:50070

　　

配置yarn

1、修改 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

 添加配置：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

2、修改yarn-site.xml

  <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

3、启动yarn

start-yarn.xml

4、验证

通过网址验证:

 

后续我会尝试使用docker搭建伪分布以及集群，未完待续。。。