HADOOP配置

一、Hadoop基本配置

1、设置主机名

vi  /etc/sysconfing/network

NETWORKING=yes

HOSTNAME=localhost1

 

2、配置IP、主机名映射

vi  /etc/hosts

ip地址（ifconfig）  主机名（自己设置localhost1）

 

3、查看主机名

cat  /etc/hosts

 

4、ping  localhost1

5、配置ssh免密登陆

生成ssh免密登陆密钥

ssh-keygen  -t rsa(四个回车)

执行玩这个命令后，会生成id_rsa(秘钥)、id_rsa.pub（公钥）

将公钥拷贝到要免密登陆的目标机器上

ssh-copy-id  要登陆的主机名

6、测试免密登陆

ssh localhost1

 

7、配置防火墙

1)、查看防火墙状态

service iptables status

2)、关闭防火墙

Service iptables stop

3)、查看防火墙开机启动状态

chkconfig iptables -list

4)、关闭防火墙开机启动

chkconfig iptables off

二、Hadoop文件及环境变量配置

Hadoop-2.7.6/etc/hadoop

（一）Hadoop配置文件修改

1、hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=jdk目录

保存

2、core-site.xml

vi core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>一个相对安全的目录（所有数据都存在这个目录下）</value>

</property>

3、hdfs-site.xml

vi hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>2(副本个数，防止datanode节点瘫痪不能使用)</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>localhost1:50090（备份到datanode位置）</value>

</property>

4、mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5、yarn-site.xml

vi yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6、slaves

vi slaves

写出主机名（一行写一个）

localhost1

 

（二）Hadoop配置环境变量

vi  /etc/bashrc

export  HADOOP_HOME=Hadoop-2.7.6目录

export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source  /etc/bashrc

（三）拷贝到其他机器

scp -r /hadoop-2.7.6目录/  root@其他机器名称:/目标位置目录/

 

 

关于hadoop配置文件

***-default.xml 这里面配置了hadoop默认配置选项

如果用户没有更改，那么这里面的选项将会生效

****-site.xml 这里面配置了用户需要自定义的配置选项

site中配置选项优先级大于default中的，如果有配置的话，就会覆盖默认的配置选项