rsync——远程同步（备份工具）
rsync——远程同步（备份工具）
备份
1.为什么要做备份？
#1.数据非常的重要
#2.保证数据不丢失
#3.便于快速的恢复
2.能不能不做备份？
#可以，对于不是特别重要的数据可以不考虑
3.备份怎么做？
#完全备份，全备，效率低下。
#增量备份，增备，效率较高。(只备份没有的那部分)
4.用什么工具做备份？
'scp 网络之间的拷贝，全量拷贝的方式 （ssh协议）
'rsync 远程同步（增量）
rsync
1.什么是rsync？
`rsync是一款开源的备份工具，
`可以在不同主机之间进行同步（windows和Linux之间 Mac和Linux Linux和Linux）
`可实现全量备份与增量备份
`因此非常适合用于架构集中式备份或异地备份等应用。
2.备份的方式
#完全备份，每次都进行全部备份 (效率低下, 占用空间)
`#增量备份，仅备份客户端与服务端差异的部分 (提高备份效率,节省空间, 适合异地备份 )
3.rsync数据的同步模式
'推送： 本地将数据上传至备份服务器上 （上传）
'拉取： 备份服务器获取本地服务器的数据 （下载）
4.rsync的数据传输方式
#本地传输（类似于使用cp命令）
`远程传输（通过网络传输 a-->b）
`守护进程（运行一个服务一直在后台）
命令 选项 源文件 目标文件
Local: rsync [OPTION...] SRC... [DEST]
[root@nfs ~]# rsync -avz ./anaconda-ks.cfg /opt/
#拷贝当前目录下的anaconda-ks.cfg文件 到/opt/下
#相当于cp 不常用 就是个本地cp
5.远程传输过程（临时发送数据）
Access via remote shell:'（走的ssh协议）安全协议 安全
拉取 Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]
推送 Push: rsync [OPTION...] SRC... [USER@]HOST:DEST
`推送方式：
##nfs----->推送方
##backup-->接收方
[root@nfs ~]# rsync -avz /etc/passwd root@172.16.1.41:/tmp
将本地的/etc/passwd文件，推送到172.16.1.41服务器的tmp目录下，使用的是41的root用户身份
`拉取方式：
##nfs----->拉取方
##backup-->备份源
[root@nfs ~]# rsync -avz root@172.16.1.41:/etc/services ./
本地nfs服务器下载172.16.1.41服务器/etc/services这个文件，至本地当前目录下，使用的是41的系统用户root身份
#要用绝对路径
Rsync借助SSH协议同步数据存在的'缺陷
1.使用系统用户（不安全）
2.使用普通用户（会导致权限不足情况）
rsync一系列的配置
主机角色 外网IP(NAT) 内网IP(LAN) 主机名称
Rsync服务端 10.0.0.41 172.16.1.41 backup
Rsync客户端 10.0.0.31 172.16.1.31 nfs
'服务端操作配置等
`1.安装
yum install rsync -y
`2.配置
[root@backup ~]# rpm -qc rsync
/etc/rsyncd.conf # 主配置文件
/etc/sysconfig/rsyncd # 选项
[root@backup ~]# cat /etc/rsyncd.conf
uid = rsync
gid = rsync
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
#####################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
--- 配置详解
[root@backup ~]# vim /etc/rsyncd.conf
uid = rsync # 运行进程的用户
gid = rsync # 运行进程的用户组
port = 873 # 监听端口
fake super = yes # 无需让rsync以root身份运行，允许接收文件的完整属性
use chroot = no # 禁锢推送的数据至某个目录, 不允许跳出该目录
max connections = 200 # 最大连接数
timeout = 600 # 超时时间
ignore errors # 忽略错误信息
read only = false # 对备份数据可读写
list = false # 不允许查看模块信息
auth users = rsync_backup # 定义虚拟用户，作为连接认证用户
secrets file = /etc/rsync.passwd # 定义rsync服务用户连接认证密码文件路径
--------------------------------------------------------------------------------------
[backup] # 定义模块信息
comment = commit # 模块注释信息
path = /backup # 定义接收备份数据目录
'后面的是根据上面的配置文件所需要的对应下载'
`3.创建rsync进程启动时需要使用的用户
[root@backup ~]# useradd rsync -M -s /sbin/nologin #不需要家目录
[root@backup ~]# id rsync
uid=1000(rsync) gid=1000(rsync) groups=1000(rsync)
`4.创建密码文件，在密码文件中写入对应的虚拟用户以及虚拟用户的密码
/etc/rsync.passwd---》rsync虚拟用户以及rsync虚拟用户的密码
[root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
[root@backup ~]# chmod 600 /etc/rsync.passwd #权限必须是600(属主可读可写) 不然无法使用
'不记得设置的密码 查看密码 cat /etc/rsync.passwd
`5.创建存储备份数据的目录，并进行授权
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync.rsync /backup/
# backup目录文件所有者变更为rsync.rsync
#打文件名时尽量复制上面的配置文件
`6.启动rsync服务并加入开机自启动
[root@backup ~]# systemctl start rsyncd.service
[root@backup ~]# systemctl enable rsyncd
`7.检查rsync的873端口是否存在
[root@backup ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 11129/rsync
'客户端配置
[root@nfs ~]# echo "rsync_backup:123456" > /etc/rsync.passwd 配置密码
[root@nfs ~]# chmod 600 /etc/rsync.passwd 配置权限
`客户端测试
Access via rsync daemon:
下载 Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
上传 Push: rsync [OPTION...] SRC... [USER@]HOST::DEST
`#客户端nfs推送（注意加/ 和不加/的区别）
[root@nfs ~]# rsync -avz /etc/ rsync_backup(这是上面配置的虚拟用户)@172.16.1.41::backup（这是模块名 不是目录什么的）
#推送/etc/下面的内容
[root@nfs ~]# rsync -avz /etc rsync_backup@172.16.1.41::backup
#推送/etc这个目录
`#客户端拉取
[root@nfs ~]# rsync -avz rsync_backup@172.16.1.41::backup /opt
#拉取服务端172.16.1.41的backup目录下面的所有内容至本地的 /opt目录
注意
注意
'注意事项：
rsync_backup：客户端通过该虚拟用户连接rsync服务
是一个虚拟用户，由服务端的配置文件中定义【auth users】
通常存放在指定的一个文件中，该文件也是有服务端配置文件定义【secrets file】
rsync：【模块对应的目录，必须授权为配置文件中定义的uid和gid的用户】
用于运行rsync服务时需要使用到的系统用户
用于将接收到的数据以自己的身份写入到对应的目录中
rsync实现数据无差异同步
`实现客户端与服务端无差异同步：--delete 危险的操作！！！
#推送方式实现无差异，以客户端为准，客户端有什么服务端就有什么
[root@nfs ~]# rsync -avz --delete /root rsync_backup@172.16.1.41::backup
#拉取方式实现无差异，以服务端为准，服务端有什么客户端就有什么
[root@nfs ~]# rsync -avz --delete rsync_backup@172.16.1.41::backup /opt/
对传输时进行的限速
工作时一定要做限速 避免影响其他工作
对传输时候进行限速：
[root@nfs ~]# dd if=/dev/zero of=./size.disk bs=1M count=500 生成大文件
限制传输的速率为1MB
[root@nfs ~]# rsync -avzP --bwlimit=1 ./size.disk rsync_backup@172.16.1.41::backup
`P显示传输速率 --bwlimit限速
Password:
sending incremental file list
size.disk
118,358,016 22% 1.01MB/s 0:06:33
参数
rsync参数：-avz
-a #归档模式传输, 等于-tropgDl
-v #详细模式输出, 打印速率, 文件数量等
-z #传输时进行压缩以提高效率
-r #递归传输目录及子目录，即目录下得所有目录都同样传输。
-t #保持文件时间信息
-o #保持文件属主信息
-p #保持文件权限
-g #保持文件属组信息
-l #保留软连接
-P #显示同步的过程及传输时的进度等信息
-D #保持设备文件信息
-L #保留软连接指向的目标文件
-e #使用的信道协议,指定替代rsh的shell程序 ssh
--exclude=PATTERN #指定排除不需要传输的文件模式
--exclude-from=file #文件名所在的目录文件
--bwlimit=100 #限速传输
--partial #断点续传
--delete #让目标目录和源目录数据保持一致
取消每次传输时需要输入密码【客户端才会配置】
`方式一：临时
[root@nfs ~]# echo "123456" > /etc/rsync.pass
[root@nfs ~]# chmod 600 /etc/rsync.pass 上该文件找123456
[root@nfs ~]# rsync -avzP --bwlimit=1 ./size.disk rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.pass 主要是后面这一坨 前面是在传输文件的命令
`方式二：写Shell脚本
[root@nfs ~]# export RSYNC_PASSWORD=123456
[root@nfs ~]# rsync -avzP ./size.disk rsync_backup@172.16.1.41::backup
浙公网安备 33010602011771号