部署Hadoop集群,三个节点

操作系统:CentOS 6.2

Hadoop版本:1.0.3


接上一篇:http://www.cnblogs.com/bigfanofcpp/archive/2012/05/31/2871840.html


第一步:

ssh在三个节点之间已经实现无障碍通信,不需要输入密码


第二步:

三个节点的Hosts配置:vim /etc/hosts

namenode的ip地址 master

datanode的ip地址 slave1

datanode的ip地址 slave2


第三步:

配置Hadoop的环境变量:vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export PATH=$HADOOP_HOME/bin:$PATH

别忘记设置Java的环境变量(不赘述)

配置生效:source /etc/profile


第四步:

配置Hadoop/conf目录下的:hadoop-env.sh

设置JAVA_HOME

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的:core-site.xml

<property>
    <name>fs.default.name</name>
    <value>hdfs://master:8888</value>
</property>

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的mapred-site.xml

<property>
    <name>mapred.job.tracker</name>
    <value>hdfs://master:9000</value>
</property>
然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的:hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

然后通过scp命令同步到slave1,slave2,保证三个节点一致


配置Hadoop/conf目录下的masters:

master

配置Hadoop/conf目录下的slaves:

slave1

slave2

然后通过scp命令同步到slave1,slave2,保证三个节点一致


第五步:

到master的Hadoop/bin目录,

执行./hadoop namenode -format

执行./start-all.sh


完毕。













posted on 2012-06-01 16:57  哥是技术人  阅读(535)  评论(0)    收藏  举报

导航