rsync实时备份监控命令(详细大全）

rsync实时备份监控命令(详细大全） 

 

 

一：rsync介绍

1.rsync简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，
rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，
这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。
当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。
但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S   client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

 

2.rsync特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

 

3.rsync应用场景

全量备份
增量备份

 

4.rsync的传输方式

push 推：
客户端将数据从本地推送至服务端
 
pull 拉：
客户端将数据从服务端拉取到本地

 

5.Rsync传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）
2.远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份
：/        :支持推与拉
推：
rsync -avzP ./* root@172.16.1.41:/etc
拉：
rsync -avzP root@172.16.1.41:/opt ./ 
3.守护进程方式（客户端和服务端）
：：        ：是守护进程模式 实现模块，程序运行代码，实时监控，实时备份

 

二：RSYNC使用参数

-a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
-v           #详细模式输出, 打印速率, 文件数量等
-z           #传输时进行压缩以提高效率
-r           #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t           #保持文件时间信息(保持修改时间不变)
-o           #保持文件属主信息
-g           #保持文件属组信息
-p           #保持文件权限(保持文件权限不变)
-l           #保留软连接(是否同步)
-P           #显示同步的过程及传输时的进度等信息
-D           #保持设备文件信息
-L           #保留软连接指向的目标文件(指向)
-e           #使用的信道协议,指定替代rsh的shell程序
--append            # 指定文件接着上次传输中断处继续传输
--append-verify     # 使用参数续传（在断点续传之后，验证一下文件，如果不同，删除重新开始传修复文件）
--exclude=PATTERN   # 指定排除不需要传输的文件
--exclude-from=file # 按照文件指定内容排除
--bwlimit=100       # 限速传输（单位：MB）
解析内容：
--bwlimit=100       # 限速传输（单位：MB）

--delete            # 让目标目录和源目录数据保持一致

--password-file=xxx # 使用密码文件

--port              # 指定端口传输

 

三：参数使用案例

-a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l

    [root@m01 ~]# rsync -a ./2.txt  root@172.16.1.41:/opt/
-v           #详细模式输出, 打印速率, 文件数量等

    [root@m01 ~]# rsync -v ./2.txt  root@172.16.1.41:/opt/
-z           #传输时进行压缩以提高效率

    [root@m01 ~]# rsync -vz ./2.txt  root@172.16.1.41:/opt/
-r           #递归传输目录及子目录，即目录下得所有目录都同样传输。

    [root@m01 ~]# rsync -vzr ./a  root@172.16.1.41:/opt/
-t           #保持文件时间信息(保持修改时间不变)

    [root@m01 ~]# rsync -vzrt ./a/b/c/2.txt  root@172.16.1.41:/opt/
-o           #保持文件属主信息
-g           #保持文件属组信息
    [root@m01 ~]# rsync -vzrtgo  ./a/b/c/2.txt  root@172.16.1.41:/opt/

 

-p           #保持文件权限(保持文件权限不变)

[root@m01 ~]# rsync -vzrtgop  ./a/b/c/2.txt  root@172.16.1.41:/opt/

-l           #保留软连接(是否同步)

[root@m01 ~]# rsync -vzrtgopl  ./*  root@172.16.1.41:/opt/

 

-P           #显示同步的过程及传输时的进度等信息

[root@m01 ~]# rsync -vzrtgoplP  ./*  root@172.16.1.41:/opt/
-D           #保持设备文件信息

[root@m01 dev]# rsync -vzrtgDopl /dev/tty1   root@172.16.1.41:/opt/

 

-L           #保留软连接指向的目标文件(指向)

-e           #使用的信道协议,指定替代rsh的shell程序
--append            # 指定文件接着上次传输中断处继续传输

[root@m01 ~]# rsync -avzP --append ./*  root@172.16.1.41:/opt/
--append-verify     # 使用参数续传（在断点续传之后，验证一下文件，如果不同，删除重新开始传修复文件）

[root@m01 ~]# rsync -avzP --append-verify ./110.txt  root@172.16.1.41:/opt/
--exclude=PATTERN   # 指定排除不需要传输的文件

[root@m01 ~]# rsync -avzP --append-verify --exclude=2.txt  ./* root@172.16.1.41:/opt/
--exclude-from=file # 按照文件指定内容排除

[root@m01 ~]# rsync -avzP --append-verify --exclude-from=/tmp/exclude.txt  ./* root@172.16.1.41:/opt/

 

--bwlimit=100       # 限速传输（单位：MB）

[root@m01 ~]# rsync -avzP --append-verify --bwlimit=10  ./* root@172.16.1.41:/opt/

rsync 实时同步

inotify 的使用

    1、rsync 不支持实时同步
    2、一般用 inotify 软件来监控文件的实时变化
    3、监控到文件发生变化，立刻调用 rsync 传输数据，实现实时同步
复制

 

实现实时同步步骤

1、安装 inotify （装在客户端）

[root@m01 ~]# yum install inotify-tools -y
2、inotify 参数介绍

-m    持续监控
-r    递归
-q    静默，仅打印时间信息
--timefmt    指定输出时间格式
--format    指定事件输出格式
    %Xe 时间
    %w  目录
    %f  文件
-e
    access 访问
    modify 内容修改
    attrib 属性修改
    close_write 修改真实文件内容
    open 打开
    create 创建
    delete 删除
    umount 卸载

 

3、开始监控

    /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root

 

4、实时监控并同步

# 读取监控的信息，循环调用 rsync 传输数据即可进行同步
--delete     # 让目标目录和源目录数据保持一致

    /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
    cd /root
    rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup

# 不要忘记写 ./* 和 done

[root@m01 ~]# /usr/bin/inotifywait -mrq --format "%Xe %w %f" -e create,modify,delete,close_write,attrib /root | while read line;do
> cd /root
> rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
> done