设置hadoop集群的相关配置文件

一、设置相关配置属性
进入hadoop/conf
masters
slaves

core-site.xml
// 配置临时文件
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.92.10:9000</value>
</property>

mapred-site.xml
// 配置namenode节点
<property>
<name>mapred.job.tracker</name>
<value>http://192.168.92.10:9001</value>
</property>

hdfs-site.xml
// 数据在hdfs存储的副本数
<property>
<name>dfs.replication</name>
<value>3</value>
</property>

hadoop-env.sh
// 配置环境变量
export JAVA_HOME=/usr/local/src/jdk1.6.0_45

vim /etc/hosts
// 配置几个集群服务器别名可通过别名访问
192.168.92.10 master
192.168.92.11 slave1
192.168.92.12 slave2

hostname master 临时生效的
hostname

vim /etc/sysconfig/network // 指定永久的别名

/etc/init.d/iptables stop // 关闭防火墙
setenforce 0 关闭
getenforce
-
二、建立互信关系
ssh-keygen（机器之间免密码）
cd ~/.ssh/ 把每个节点的公钥放入 authorized_keys
authorized_keys每个hadoop conf保存一份

三、启动
cd bin
./hadoop namenode -format
./start-all.sh
jps
./hadoop fs -ls / 查看
./hadoop fs -put /etc/passwd / 上传文件至hdfs 如果没报错则OK
./hadoop fs -cat /passwd 查看此文件