Centos7 +Hadoop3.2

Hadoop3.2 地址 http://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-3.2.1/
hadoop2.x版本的。发现无法访问50070.其实在hadoop3.x之后，UI页面的地址发生了变化：http://localhost:9870/
1. CentOS7查看和关闭防火墙 与设置开机自动连接网络

开机自动连接网络， 在安装的时候，选择自动连接。 或修改 vim /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=no 修改成yes 。
查看防火墙状态 firewall-cmd --state
停止firewall systemctl stop firewalld.service
禁止firewall开机启动 systemctl disable firewalld.service
添加用户 [root@hadoop-master ~]# groupadd hadoop
[root@hadoop-master ~]# useradd -d /usr/hadoop -g hadoop -m hadoop
[root@hadoop-master ~]# passwd hadoop
配置/etc/hosts文件
#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.254.150 master
192.168.254.135 slave1
192.168.254.151 slave2

2. java 安装
cd /usr/ mkdir java cd java
download wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1534129356_6b3ac55c6a38ba5a54c912855deb6a22
解压：使用tar -zxvf 文件名进行解压。 这时候，在 java文件夹里 有一个 jdk的文件夹
配置环境变量 vi /etc/profile
#java
export JAVA_HOME=/usr/java/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib
source /etc/profile
java -version

cd java
3. 设置ssh无密码登录

sudo su - hadoop

1）首先在master里生成一个公钥：ssh-keygen -t rsa(一路回车)
2）主目录下多了一个隐藏目录.ssh，进入该目录，可以看到文件id_rsa.pub，cat查看文件内容，生成了master的公钥。
3）在master中将自己的公钥复制成一个文件 cp id_rsa.pub authorized_keys

chmod 0600 ~/.ssh/authorized_keys

4）在slave里执行同样的操作。
5）在master中发送：scp authorized_keys hadoop@192.168.18.143:~/.ssh/authorized_keys
6）在slave1 追加到文件authorized_keys中cat id_rsa.pub >> authorized_keys
7）把 slave的authorized_keys 文件覆盖master
8） 设置authorized_keys权限 chmod 600 authorized_keys
4、下载并安装hadoop。
1） 下载后解压
2）在各节点指定HDFS文件存储的位置（默认是/tmp）
Master节点： namenode 创建目录并赋予权限
Su - root
mkdir -p /usr/local/hadoop-2.7.5/tmp/dfs/name
chmod -R 777 /usr/local/hadoop-2.7.5/tmp
chown -R hadoop:hadoop /usr/local/hadoop-2.7.5
Slave节点：datanode 创建目录并赋予权限，改变所有者
Su - root
mkdir -p /usr/local/hadoop-2.7.5/tmp/dfs/data
chmod -R 777 /usr/local/hadoop-2.7.5/tmp
chown -R hadoop:hadoop /usr/local/hadoop-2.7.5
5、配置hadoop环境变量。
1. 配置环境变量
vim /etc/profile 在/etc/profile下追加：
HADOOP_HOME=/usr/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

source /etc/profile

然后可以确认一下  版本

[root@centos141 hadoop]# hadoop version
Hadoop 3.2.1

2. 在vim /usr/hadoop/etc/hadoop/hadoop-env.sh 下追加： java home
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_102
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.5
3. 修改 /usr/hadoop/etc/hadoop/core-site.xml 文件
修改路径 <value>/usr/local/hadoop-2.7.5/tmp</value>
修改主机名<value>hdfs://hadoop-master:9000</value>
3. 修改 /usr/hadoop/etc/hadoop/hdfs-site.xml
设置replication 数量 <value>3</value>
设置name 的路径，<value>/usr/local/hadoop-2.7.5/tmp/dfs/namenode</value>
设置data 的路径，<value>/usr/local/hadoop-2.7.5/tmp/dfs/data</value>
4. 修改 mapred-site.xml.template mapred-site.xml
设置map reduce 用的 framework <value>yarn</value>
5. 修改 /usr/hadoop/etc/hadoop/yarn-site.xml
设置yarn resouce 用的服务器名称 <value>hadoop-master</value>
<name>yarn.nodemanager.aux-services</name>，<value>mapreduce_shuffle</value>
6. 修改 /usr/hadoop/etc/hadoop/slaves 文件（ 3.0 后， 叫works好像是），添加
192.168.3.135 #slave1和slave2的ip地址
192.168.3.136

7. 将Master的文件分发至slave1节点
scp -r /usr/local/hadoop/etc/hadoop hadoop@centos143:/usr/local/hadoop/etc/
6、 启动
1. 格式化master，只能格式化一次！！！
hdfs namenode -format
2. 启动hadoop集群，在master中执行语句
start-all.sh

stop-all.sh

3. jsp查看服务情况
4. web访问页面

7 使用
1. 创建HDFS
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/test22
2. 拷贝input文件到HDFS目录下
hdfs dfs -put etc/hadoop/*.sh /user/test22

3.查看 hdfs dfs -ls /user/test22/input
4. 执行hadoop job
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount /user/test22 output
5.结果 hdfs dfs -cat output/*