集群脚本设置

一键启动集群脚本

首先得切换到自己选择的脚本目录：cd /home/yourRoot/bin
接着编辑脚本文件：vim hadoopstart.sh，文件名随便取

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

注意，以上脚本的主机名可以改成自己的，但是得注意多台虚拟机之间得ssh免密设置
然后，赋予脚本执行权限：chmod +x hadoopstart.sh

一键查看多台服务器进程

同上，切换到脚本目录：cd /home/yourRoot/bin
编辑脚本：vim jpsall.sh

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

同上，赋予脚本权限：chmod +x jpsall

当然，这里会碰到一个问题，就是可能无法找到jpsall和hadoopstart.sh start命令，这是因为在Path路径内没有设置/home/yourRoot/bin的执行命令，在Path路径下加上以下命令就好：export PATH=$PATH:/home/yourRoot/bin，
然后刷新一下source /etc/profile

参考文章：> https://blog.csdn.net/qq_59002046/article/details/127572792

一键关机脚本

这个脚本的意义在于使用外部工具连接虚拟机时，如FinalShell，XShell等，每次都得切换root用户执行init 0来关闭虚拟机，显得很繁琐，对于我来说肯定很烦：vim /home/yourRoot/bin/closevm.sh

#!/bin/bash

# 定义集群主机列表
HOSTS=("hadoop103" "hadoop104")

# 关闭远程（hadoop103, hadoop104）主机
for host in "${HOSTS[@]}"; do
    echo "Shutting down $host..."
    ssh -o ConnectTimeout=5 $host "sudo shutdown -h now"
done

# 关闭本地主机（hadoop102）
echo "Shutting down local host (hadoop102)..."
sudo shutdown -h now

同上，赋予脚本权限：chmod +x closevm.sh
然后直接执行closevm.sh即可

xsync集群分发脚本

创建脚本文件vim xsync

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

同上，赋予脚本权限：chmod +x closevm.sh
将脚本复制到/bin中，以便全局调用：sudo cp xsync /bin/
同步环境变量配置：sudo ./bin/xsync /etc/profile.d/your.sh（自己环境配置文件）
环境变量生效：source /etc/profile

最后可以使用集群分发脚本，将所有脚本分发到其它集群中，就避免重复进行复制粘贴，示例：xsync /home/yourRoot/bin/jpsall，这样，其他集群也能使用这些脚本了