02.Rsync服务

目录

• Rsync服务
  • 1.备份
    • 1.什么是备份？
    • 2.为什么做备份？
    • 3.能不能不做备份?
    • 4.备份的工具
      • 备份方式
        • 全量备份
        • 增量备份
      • scp命令
        • 概念及参数
      • rsync命令
        • 简介
        • rsync的特性
        • 场景
        • 参数
  • Rsync的传输模式
    • 传输模式
    • 本地方式
    • 远程方式
      • 拉数据
      • 推数据
    • 守护进程方式
      • 1.为什么使用守护进程模式
      • 步骤
        • 1、服务端安装修改配置文件
        • 2、创建配置文件运行需要的环境
        • 3、启动服务
        • 4.客户端rsync
          • 客户端推拉数据方法
  • rsync常见报错
  • Rsync结合inotify
    • 安装inotify
    • 常用参数
    • 测试inotify监控目录
    • null

Rsync服务

1.备份

1.什么是备份？

将原有的数据复制一份或几份存起来，以备不时之需

2.为什么做备份？

一般数据比较重要的情况下，数据如果丢失很容易找不回来了的，建议备份。

3.能不能不做备份?

对于重要的数据一定要备份
对于不重要的数据可以不备份或者备份一部分

4.备份的工具

本地备份：cp

远程备份：scp rsync

备份方式

全量备份

将数据完整的复制一份保留下了

增量备份

备份上一此备份后新增的数据

scp命令

1、推数据
将本机的文件上传到其他服务器
scp [参数] [本机文件的路径] [用户]@[ip]:[远程主机的路径]


2、拉数据
将其他服务器上的文件下载到本机
scp [参数] [用户]@[ip]:[远程主机的路径] [本机文件的路径]

概念及参数

Linux scp 命令用于 Linux 之间复制文件和目录。
scp 是 secure copy 的缩写, scp 是 linux 系统下基于 ssh 登陆进行安全的远程文件拷贝命令。
scp 是加密的，rcp 是不加密的，scp 是 rcp 的加强版。
 
选项参数
-1： 强制scp命令使用协议ssh1
-2： 强制scp命令使用协议ssh2
-4： 强制scp命令只使用IPv4寻址
-6： 强制scp命令只使用IPv6寻址
-B： 使用批处理模式（传输过程中不询问传输口令或短语）
-C： 允许压缩。（将-C标志传递给ssh，从而打开压缩功能）
-p：保留原文件的修改时间，访问时间和访问权限。
-q： 不显示传输进度条。
-r： 递归复制整个目录。
-v：详细方式显示输出。scp和ssh(1)会显示出整个过程的调试信息。这些信息用于调试连接，验证和配置问题。
-c cipher： 以cipher将数据传输进行加密，这个选项将直接传递给ssh。
-F ssh_config： 指定一个替代的ssh配置文件，此参数直接传递给ssh。
-i identity_file： 从指定文件中读取传输时使用的密钥文件，此参数直接传递给ssh。
-l limit： 限定用户所能使用的带宽，以Kbit/s为单位。
-o ssh_option： 如果习惯于使用ssh_config(5)中的参数传递方式，
-P port：注意是大写的P, port是指定数据传输用到的端口号 
-S program： 指定加密传输时所使用的程序。此程序必须能够理解ssh(1)的选项。

案例1：将DB01服务器上etc目录中所有的普通文件打包，备份到rsync服务器的/tmp目录中

[root@db01 ~]# tar -czvPf /root/etc.tar.gz $(find /etc -type f | xargs)


[root@db01 ~]# scp /root/etc.tar.gz root@172.16.1.41:/tmp/

rsync命令

rsync是远程增量文件备份工具

简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。
 
rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S   client/server
 
rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

rsync的特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

场景

cron + rsync ： 跟定时任务进行绑定。

rsync + innotify : 以守护进程的方式同步文件

参数

-a           #归档模式传输, 等于-tropgDl    -t -r -o -p -g -D -l
-v           #详细模式输出, 打印速率, 文件数量等
-z           #传输时进行压缩以提高效率
-r           #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t           #保持文件时间信息
-o           #保持文件属主信息
-p           #保持文件权限
-g           #保持文件属组信息
-l           #保留软连接
-P           #显示同步的过程及传输时的进度等信息
-D           #保持设备文件信息
-L           #保留软连接指向的目标文件
-e           #使用的信道协议,指定替代rsh的shell程序
--exclude=PATTERN   #指定排除不需要传输的文件
--exclude-from=file #排除不需要的文件
--bwlimit=100       #限速传输
--partial           #断点续传
--delete            #让目标目录和源目录数据保持一致
--password-file=xxx #使用密码文件
--port  #指定端口传输

Rsync的传输模式

传输模式

1.本地方式（类似于cp，不支持推送和拉取，只是单纯的复制）

2.远程方式（类似于scp，又不同于scp），scp只支持全量备份，rsync支持增量备份和差异备份

3.守护进程方式（客户端和服务端）

本地方式

#语法：
rsync [OPTION]... SRC [SRC]... DEST
命令   选项        源文件       目标地址
 
#语法实例
[root@web01 ~]# rsync -avz 1.txt /tmp/
 
[root@web01 ~]# rsync -avz 1.txt /tmp/
              命令   选项 源文件 目标目录 
 
#命令拆分
rsync               #命令
-avz                #选项
1.txt               #源文件
/tmp/               #目标目录
 
#类似于cp，但是cp是全量复制并且会修改文件属性，rsync是增量复制，会保证文件属性不变

远程方式

拉数据

#语法：
rsync [OPTION]... [USER@]HOST:SRC [DEST]
 
#实例：
[root@web01 ~]# rsync -avz root@172.16.1.41:/tmp/1.txt ./
 
#语法拆分
rsync           #命令
-avz            #选项
root            #远端服务器的系统用户
@               #分隔符
172.16.1.41     #远程主机的地址
:               #分隔符，代表主机下的....
/tmp/1.txt      #远程主机的目录及文件
./              #当前主机的当前目录

推数据

#语法
rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
 
#实例
[root@web01 ~]# rsync -avz ./1.txt root@172.16.1.41:/tmp
 
#语法拆分
rsync               #命令
-avz                #选项
1.txt               #当前服务器的本地文件
root                #远端服务器的系统用户
@                   #分隔符
172.16.1.41         #远端主机的IP地址
:                   #分隔符，代表主机下的....
/tmp                #远程主机的目录

守护进程方式

1.为什么使用守护进程模式

1.rsync传输时，使用的是系统用户和系统用户的密码，非常的不安全
2.使用普通用又会出现权限问题

保证数据安全
数据归档

步骤

1、服务端安装修改配置文件

[root@backup ~]# yum install -y rsync
 
#查找配置文件
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf
 
#编辑配置文件
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
 
#配置文件详解
uid = rsync                         #启动服务的用户id
gid = rsync                         #启动服务用户的组id
port = 873                          #服务默认监听端口
fake super = yes                    #无须使用root用户启动
use chroot = no                     #安全机制
max connections = 200               #最大连接数
timeout = 600                       #超时时间
ignore errors                       #忽略错误
read only = false                   #只读权限
list = false                        #查看模块列表
auth users = rsync_backup            #定义虚拟用户（rsync传输过程使用的用户）
secrets file = /etc/rsync.passwd     #定义虚拟用户的密码
log file = /var/log/rsyncd.log       #日志文件
#####################################
[backup]                                #模块
comment = welcome to oldboyedu backup!     #模块的备注
path = /backup                          #服务器真实的路径

uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

2、创建配置文件运行需要的环境

1.创建用户
[root@backup ~]# useradd -M -s /sbin/nologin rsync
 
2.创建密码文件（一定不能有空格）
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd
 
3.创建备份目录
[root@backup ~]# mkdir /backup
 
4.授权备份目录
[root@backup ~]# chown -R rsync.rsync /backup/

3、启动服务

[root@backup ~]# systemctl start rsyncd
 
#验证启动
[root@backup ~]# netstat -lntp | grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      26370/rsync         
tcp6       0      0 :::873                  :::*                    LISTEN      26370/rsync         
[root@backup ~]# ps -ef | grep rsync
root      26370      1  0 11:08 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root      26408  25098  0 11:09 pts/1    00:00:00 grep --color=auto rsync

4.客户端rsync

#下载安装
yum install -y rsync
 
#创建认证文件并修改权限
echo "123456" >/etc/rsync.passwd
chmod 600 /etc/rsync.passwd

客户端推拉数据方法

方法一：自己输入密码

#输入密码的方式
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
Password: 123456
sending incremental file list
 
sent 55 bytes  received 20 bytes  21.43 bytes/sec
total size is 194  speedup is 2.59
[root@web01 ~]# 

方法二：设置密码文件，运行时读取

#指定密码文件的方式
1.创建密码文件
[root@web01 ~]# echo "123456" > /etc/rsync.passwd
[root@web01 ~]# chmod 600 /etc/rsync.passwd 
 
2.使用参数传输
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
sending incremental file list
rewriteip.sh
 
sent 207 bytes  received 43 bytes  166.67 bytes/sec
total size is 194  speedup is 0.78

方法三：添加环境变量

[root@web01 ~]# export RSYNC_PASSWORD=123456            #临时添加
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
sending incremental file list
 
sent 55 bytes  received 20 bytes  50.00 bytes/sec
total size is 194  speedup is 2.59

rsync常见报错

1.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backu@172.16.1.41::backup
Password: 
@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：1）虚拟用户的用户名或者密码错误，2）服务端密码文件权限不为600
 
2.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.passwd
ERROR: password file must not be other-accessible
rsync error: syntax or usage error (code 1) at authenticate.c(196) [sender=3.1.2]
#原因：客户端密码文件权限不是600
 
3.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backu
@ERROR: Unknown module 'backu'
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：模块名字错误
 
4.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::/backup
ERROR: The remote path must start with a module name not a /
rsync error: error starting client-server protocol (code 5) at main.c(1649) [sender=3.1.2]
#原因：双冒号后面跟的是模块名字，而不是目录名字不要加/
 
5.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): No route to host (113)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：防火墙开启，没有配置防火墙规则
[root@backup ~]# firewall-cmd --add-port=873/tcp
success
 
6.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
Password: 
sending incremental file list
rewriteip.sh
rsync: mkstemp ".rewriteip.sh.vx4Cry" (in backup) failed: Permission denied (13)
 
sent 207 bytes  received 128 bytes  44.67 bytes/sec
total size is 194  speedup is 0.58
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因：selinux没有关闭
 
7.报错内容：
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
sending incremental file list
rsync: delete of stat xattr failed for "rewriteip.sh" (in backup): Permission denied (13)
 
sent 55 bytes  received 114 bytes  338.00 bytes/sec
total size is 194  speedup is 1.15
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1179) [sender=3.1.2]
#原因：服务端备份目录权限不是rsync
 
8.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@172.16.1.41::backup
rsync: failed to connect to 172.16.1.41 (172.16.1.41): Connection refused (111)
rsync error: error in socket IO (code 10) at clientserver.c(125) [sender=3.1.2]
#原因：服务端服务没有启动
 
9.报错内容
[root@web01 ~]# rsync -avz 1.txt rsync_backup@10.0.0.41::backup 
sending incremental file list
rsync: read error: Connection reset by peer (104)
rsync error: error in socket IO (code 10) at io.c(785) [sender=3.1.2]
#原因：服务端配置错误，导致启动问题

Rsync结合inotify

inotify就是实时监控目录中文件的变化

安装inotify

yum -y install inotify-tools

常用参数

-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
    %Xe 事件
    %w 目录
    %f 文件
-e 指定监控的事件
    access 访问
    modify 内容修改
    attrib 属性修改
    close_write 修改真实文件内容
    open 打开
    create 创建
    delete 删除
    umount 卸载

测试inotify监控目录

/usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /backup