HDFS 完全分布式搭建

搭建完全分布式之前，需先搭建各个节点的环境，并确定每个节点时间是一致的。（因为block的创建是根据时间创建的）

1、ntp同步时间

2、建立主机名通IP 地址的映射

3、配置SSH免密码登录

4、配置hadoop-2.7.2/etc/hadoop/hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_05

5、配置hadoop-2.7.2/etc/hadoop/core-site.xml

<configuration>
<!-- 指定HDFS namenode的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadooptmp</value>
</property>
</configuration>

6、配置hadoop-2.7.2/etc/hadoop/hdfs-site/xml

此处配置的是secondarynamenode节点

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node2:50090</value>
</property>
<property>
    <name>dfs.namenode.secondary.https-address</name>
    <value>node2:50091</value>
</property>
</configuration>

7、配置slaves

node2
node3
node4
node5

8、配置masters

此处配置secondarynamenode主机名

nodse2

9、配置环境变量

配置环境变量的目的是位置在任意目录下执行命令

vim ~/.bash_profile

export HADOOP_HOME=/usr/local/myCluster/hadoop-2.7.2
export PATH=$PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

10、格式化hdfs

./bin/hdfs namenode -format

11、启动集群

start-dfs.sh

浏览器中 输入  node1:50070 查看是否安装成功

注意：

　　1、hadoop解压目录中 hadoop-2.7.2\share\doc\hadoop\index.html有官方完整的说明教程

　　2、index页面的配置文件中有hdfs各项配置参数的详细列表（目前貌似只有火狐可以打开）

　　　　

　　　　

 

　　3、需要在自己的计算机中配置主机名与IP地址映射，否则每次在浏览器中只能输入IP地址查看HDFS状态

　　　　配置C:\Windows\System32\drivers\etc\hosts