Hadoop分布式搭建

1、安装jdk

我的版本是jdk-7u80-linux-x64.tar.gz，放到/usr/local/src目录下。

开始解压：tar -zxvf jdk-7u80-linux-x64.tar.gz

配置环境变量：vim ~/.bash_profile

export JAVA_HOME=/usr/local/src/jdk1.7.0_80
export PATH=$JAVA_HOME/bin

文件生效：source  ~/.bash_profile

检查路径jdk是否安装成功，键入命令：java -version

修改本机hostname为master！

给其他三台都安装jdk

分别更改hostname为slave1、slave2、slave3.   

vim /etc/sysconfig/network

hostname slave1

统一更改hosts文件vim /etc/hosts

IP master
IP slave1
IP slave2
IP slave3

vim /etc/sysconfig/selinux

配置

关闭防火墙

/etc/init.d/iptables stop

setenforce 0

getenforce

完成ssh免密登陆配置:将master公钥拷贝到3个节点~/.ssh文件夹下

scp authorized_keys slave1:~/.ssh

2、安装hadoop

个人使用版本是hadoop-2.6.5.tar.gz，同样放在/usr/local/src目录下。

开始解压：tar -zxvf hadoop-2.6.5.tar.gz

配置环境变量：vim ~/.bash_profile

export HADOOP_home=/usr/local/src/hadoop-2.6.5
export PATH=$PATH:$HADOOP_home/bin:$HADOOP_home/sbin

配置文件：vim hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.7.0_80

vim mapred-env.sh

export JAVA_HOME=/usr/local/src/jdk1.7.0_80

vim yarn-env.sh

export JAVA_HOME=/usr/local/src/jdk1.7.0_80

vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
　　　　　　<name>hadoop.tmp.dir</name>
　　　　　　<value>/usr/local/src/hadoop-2.6.5/tmp</value>
　　</property>
</configuration>

vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
　　</property>
　　<property>
　　　　　　<name>dfs.namenode.secondary.http-address</name>
　　　　　　<value>master:50090</value>
　　</property>
</configuration>

vim slaves

　　slave1

　　slave2

　slave3

分发hadoop包

scp -r hadoop slave1:/usr/local/src

格式化：hdfs namenode -format
启动hadoop：start-all.sh

jps检查

 

观察错误，看日志

谁没起来区那个目录找日志 tail -100 hadoop-root-datanode-slave1.log

50070浏览器节点(如果无法访问，可能是防火墙没有关闭）

分享一下hadoop官方文档地址：https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/ClusterSetup.html