Hadoop分布式的部署和linux部分操作

目前安装位
/usr/java/jdk1.8.0_261-amd64/bin
/usr/local/hadoop-2.6.0
-------------------------------------------------------
查看主机名 hostname
查看网路 ip addr
网络地址 /etc/sysconfig/network-scripts/ifcfg-ens33(不定)
添加内容：
IPADDR=预设IP地址
NETMASK=255.255.255.0(子网掩码)
GATEWAY=网关地址
DNS1=8.8.8.8/114.114.114.114/网关
关闭防火墙 systemctl stop firewalld
systemctl disable firewalld（永久）
编写&创建文档 vi
i 进入编写
esc 返回
：wq 保存退出
创建文件夹 mkdir
安装指令
rpm -ivh（rpm文件安装）
tar -zxvf（tar.gz文件安装）
环境变量： vi /etc/profile/
JDK:export JAVA_HOME=/java存放路径
export PATH=$PATH:JAVA_HOME/bin
重启环境变量:source /etc/profile
java -version查看java配置
主节点包复制到从节点
scp -r 主文件路径 root@从机名:从文件路径
################################################################

HADOOP完全分布式
位置：/usr/local/hadoop-2.6.0/etc/hadoop/....

################################################################

修改core-site.xml(hadooop.tmp.dit是hadoop的临时存放点):
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop/tmp</value>
</property>
</configuration>

修改hadoop-env.sh文件（指定java文件路径位置）:
export JAVA_HOME=/usr/java/.............................(java文件名)

修改yarn-env.sh(指定java文件路径位置):
# export JAVA_HOME=.......................................
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
export JAVA_HOME=/usr/java/........................(java文件名)

修改mapred-site.xml文件(使用yarn框架、jobhistory使用地址以及web地址):

****mapred-site.xml文件是由mapred-site.xml.template文件得到的，复制命令为：
cp mapred-site.xml.template mapred-site.xml
*************************************************************************************
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

修改yarn-site.xml文件（reducer获取数据的方式，指定yarn的resourcemanager的地址{同时也是模拟机名称}）：
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

修改slaves文件（增加虚拟名）：
master
slave1
slave2

修改hdfs-site.xml(namenode存放位置，datanode存放位置，dfs.namenode.secondary.http-address配置secondaynamenode位置，
dfs.reslication配置文件副本数):
<configuration>
<property>
<name>dfs.namenode.name.dit</name>
<value>file:///data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dit</name>
<value>file:///data/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuretion>

---------------------------------------------------|
修改主机下/etc/hosts文件 |
192.168.239.130 master
192.168.239.131 slave1
192.168.239.132 slave2
---------------------------------------------------|

搭建虚拟机 slave1，slave2
第一步
rm -rf /etc/udev/rules.d/70.persistent-net.rules

第二步
/etc/sysconfig/network-scripts/ifcfg-ens33 配置ip

第三步
vi /etc/hostname 添加用户名
Slave01
vi /etc/sysconfig/network 添加IP和hostname对应关系
NETWORKING=yes
HOSTNAME=slave1.centos.com(主机名)
重启reboot生效

.---------------------------------------------------.
ssh协议（主机）
ssh-keygen -t rsa 生成私有密钥
将公钥复制到远程机器中：
ssh-copy-id -i .ssh/id_rsa.pub master //输入yes，在登录root用户
ssh-copy-id -i .ssh/id_rsa.pub slave1
ssh-copy-id -i .ssh/id_rsa.pub slave2
------------------------------------------------------
NTP服务基本配置：
yum install -y ntp 安装NTP服务

设置master节点为NTP服务总节点：
vim /etc/ntp.conf --------打开文件配置,注释掉server的行
再添加:
restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

设置slave1,slave2中的NTP配置，同样修改/etc/ntp.conf文件，并注释掉server的行:
server master

永久关闭防火墙:
service iptables stop&chkconfig iptables off

---------------------------------------------------------
启动NTP服务:
master节点执行命令:
service ntpd start&chkconfig ntpd on

slave1,slave2执行同步时间命令:
ntpdate master

slave1,slave2执行永久启动同步时间命令:
service ntpd start&chkconfig ntpd on
----------------------------------------------------------
启动关闭集群
在所有节点上修改/etc/profile文件，修改完执行命令 source /etc/profile 来生效:
在文件末尾添加
export JAVA_HOME=XXXX(在安装了jdk的前提下，echo $JAVA_HOME可以查看得到)
export HADOOP_HOME=XXX（hadoop的安装路径）
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
格式化命令:hdfs namenode-format

启动&关闭集群命令(主节点)
进入hadoop安装目录：cd $HADOOP_HOME
sbin/start-yarn.sh sbin/stop-yarn.sh 启动&关闭YARN相关服务
sbin/start-dfs.sh sbin/stop-dfs.sh 启动&关闭HDFS相关服务
sbin/mr-jobhistory-daemon.sh start historyserver 启动&关闭日志相关服务
sbin/mr-jobhistory-daemon.sh stop historyserver

监控集群：
修改本地host配置文件：C：\Windows\System32\drivers\etc\host
添加：
192.168.239.130 master master.hostname
192.168.239.131 slave1 slave1.hostname
192.168.239.132 slave2 slave2.hostname

地址输入
http://master:50070 HDFS监控
http://master:8088 YARN监控
http://master:19888 日志监控