集群分发脚本xsync

集群分发脚本rsync

1）scp（secure copy）安全拷贝

语法：命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

scp -r  $pdir/$fname   $user@host:$pdir/$fname

实操：前提：在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、 /opt/software两个目录，并且已经把这两个目录修改为sy:sy

[root@Hadoop102 opt]# ll
总用量 8
drwxr-xr-x. 4 sy sy 4096 8月   2 12:03 module
drwxr-xr-x. 2 sy sy 4096 8月   2 11:59 software
[root@Hadoop102 opt]# cd 
[root@Hadoop102 ~]# chown sy:sy -R /opt/*

​ a)在Hadoop102 上，将其中的 /opt/module/jdk1.8.0_171目录拷贝到Hadoop103上

[root@Hadoop102 module]# scp -r /opt/module/jdk1.8.0_171/ sy@Hadoop103:/opt/module/

b)在Hadoop103上，将Hadoop102中/opt/module目录下所有目录拷贝到Hadoop104上

[root@Hadoop103 opt]#scp -r sy@Hadoop102:/opt/module/* sy@Hadoop104:/opt/module/* 

2）rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

语法：命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

rsync   -av    $pdir/$fname       $user@$host:$pdir/$fname

实操：

a)删除Hadoop103中

[root@Hadoop103 hadoop-2.7.3]# rm - rf wcinput/

b)同步Hadoop102中

[root@Hadoop102 module]# rsync -av hadoop-2.7.3/ sy@Hadoop103:/opt/module/hadoop-2.7.3/

3）xsync集群分发脚本

循环复制文件到所有节点的相同目录下

期望脚本：

​ xsync 要同步的文件名称

期望脚本在任何路径都能使用（放在声明了全局 环境变量的路径）

[root@Hadoop102 hadoop-2.7.3]# echo $PATH
/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin:/opt/module/jdk1.8.0_171/bin:/opt/module/hadoop-2.7.3/bin:/opt/module/hadoop-2.7.3/sbin:/root/bin:/opt/module/jdk1.8.0_171/bin:/opt/module/hadoop-2.7.3/bin:/opt/module/hadoop-2.7.3/sbin

1)脚本实现

a)在/home/sy/bin目录下创建xsync文件

[root@Hadoop102 opt]$ cd /home/sy
[root@Hadoop102 ~]$ mkdir bin
[root@Hadoop102 ~]$ cd bin
[root@Hadoop102 bin]$ vim xsync

在 xsync 文件中编写：

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

（b）修改脚本 xsync 具有执行权限

[sy@Hadoop102 bin]$ chmod +x xsync

（c）测试脚本

[sy@Hadoop102 ~]$ xsync /home/atguigu/bin

d）将脚本复制到/bin中，以便全局调用

[sy@Hadoop102 bin]$ sudo cp xsync /bin/

（e）同步环境变量配置（root所有者）

[sy@Hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

让环境变量生效

[sy@Hadoop103 bin]$ source /etc/profile
[sy@Hadoop104 opt]$ source /etc/profile