Hadoop生态 - 001 准备工作

1，设置主机名

 

hostnamectl  set-hostname 主机名
例如：
hostnamectl  set-hostname hadoop001

备注：不能包含 .  _  /

 

2、配置ip地址等信息在/etc/sysconfig/network-scripts/ifcfg-ens33文件里做如下配置：

vi   /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"   # 网络类型为以太网
BOOTPROTO="static"  # 手动分配ip
NAME="ens33"  # 网卡设备名，设备名一定要跟文件名一致
DEVICE="ens33"  # 网卡设备名，设备名一定要跟文件名一致
ONBOOT="yes"  # 该网卡是否随网络服务启动
IPADDR="192.168.1.111"  # 该网卡ip地址就是你要配置的固定IP，如果你要用xshell等工具连接，220这个网段最好和你自己的电脑网段一致，否则有可能用xshell连接失败
NETMASK="255.255.255.0"   # 子网掩码
GATEWAY="192.168.1.1"   # 网关（和NDS地址一样）
DNS1="192.168.1.1"    #DNS服务器地址可以看装虚拟机的机器的DNS地址（和网关地址一样）

 

3，Ip和主机名映射

vim /etc/hosts

192.168.1.111 hadoop001
192.168.1.112 hadoop002

 

4，配置yum源

http://note.youdao.com/s/Y7wFaewk

 

5，配置SSH

#安装ssh，如果已安装可以跳过
yum install openssh-clients
yum install openssh-server

#测试
ssh localhost

#授权
exit       # 退出刚才的 ssh localhost
cd ~/.ssh/      # 若提示没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa    # 会有提示，都按回车即可
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限

 

6，配置jdk

1.查看CentOS自带JDK是否已安装:yum list installed | grep java

2.假使存在自带的jdk，删除centos自带的JDK

   yum -y remove java-1.8.0-openjdk*

   yum -y remove tzdata-java.noarch
   
3,安装文件上传工具
yum -y install lrzsz 
上传使用 rz 命令，会跳出文件选择窗口，下载使用 sz 命令
3.1，上传jdk-8u251-linux-x64.tar.gz
4，解压
tar -zxvf jdk-8u251-linux-x64.tar.gz -C /opt/module

5，配置环境变量
vi /etc/profile
按shift+g到最后一行，添加下面内容

export JAVA_HOME=/opt/module/jdk1.8.0_251
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH



执行命令生效：
source /etc/profile

 

 

7，安装hadoop

1，上传安装包 hadoop-3.1.2.tar.gz

2，解压
tar -zxvf hadoop-3.1.2.tar.gz -C /opt/module

3，配置环境变量
vim /etc/profile
按shift+g到最后一行，添加下面内容

export HADOOP_HOME=/opt/module/hadoop-3.1.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRAY_PATH=$HADOOP_HOME/lib/native
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

执行命令生效：
source /etc/profile

 

8，测试hadoop

vi /opt/module/test   随便输入一些文字


cd /opt/module/hadoop-3.1.2/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-3.1.2.jar wordcount /opt/module/test /opt/module/out

备注：
    hadoop-mapreduce-examples-3.1.2.jar 官方测试包
    wordcount  主类名
    /opt/module/test  输入文件
    /opt/module/out   输出文件目录
    
cat /opt/module/out/part-r-00000