linux-rsync备份

rsync

简介

rsync英文称为remote synchronizetion，从软件的名称就可以看出来，rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像、远程备份的功能，这个功能类似于ssh带的scp命令，但是又优于scp命令的功能，scp每次都是全量拷贝，而rsync可以增量拷贝。当然，rsync还可以在本地主机的不同分区或目录之间全量及增量的复制数据，这又类似cp命令。但是同样也优于cp命令，cp每次都是全量拷贝，而rsync可以增量拷贝。

rsync官方地址：https://rsync.samba.org/
rsync监听端口：873
rsync运行模式：C/S client/server

rsync简称叫做远程同步，可以实现不同主机之间的数据同步，还支持全量和增量

特性

支持拷贝特殊文件，如连接文件、设备等。
可以有排除指定文件或目录同步的功能，相当于打包命令tar的排除功能。
可以做到保持原文件或目录的权限、时间、软硬链接、属主、组等所有属性均不改变 –p。
可以实现增量同步，既只同步发生变化的数据，因此数据传输效率很高（tar-N）。
可以使用rcp、rsh、ssh等方式来配合传输文件（rsync本身不对数据加密）。
可以通过socket（进程方式）传输文件和数据（服务端和客户端）*****。
支持匿名的活认证（无需系统用户）的进程模式传输，可以实现方便安全的进行数据备份和镜像。

传输方式

push 推 客户端从本地将数据推送至服务端

rsync 参数 拷贝文件 用户名@ip地址:/路径

pull 拉 客户端将数据从服务端拉取到本地

rsync 参数 用户名@ip地址:拷贝文件  路径

使用

-a 归档模式传输，等于-tropgDl

-v 详细模式输出，打印速率，文件数量等
[root@judyju ~]# rsync -v 1.txt root@172.16.1.41:/tmp
	sent 40 bytes  received 12 bytes  104.00 bytes/sec
	total size is 10  speedup is 0.19
	
-z 传输时进行压缩以提高效率
[root@judyju ~]# rsync -vz ./* root@172.16.1.41:/tmp

-r 递归传输目录以及子目录
[root@judyju ~]# rsync -vzr ./a root@172.16.1.41:/tmp

-t 保持文件的时间信息
[root@judyju ~]# rsync -vzrt ./a/judy.txt root@172.16.1.41:/tmp

-o 保持文件的属主信息
[root@judyju ~]# rsync -vzrot ./a/judy.txt root@172.16.1.41:/tmp

-g 报纸文件的属组信心
[root@judyju ~]# rsync -vzrgot ./a/judy.txt root@172.16.1.41:/tmp

-p（小写） 保持文件权限
[root@judyju ~]# rsync -vzrgopt ./a/judy.txt root@172.16.1.41:/tmp

-D 保持设备文件信息
[root@judyju ~]# rsync -vzrgoDpt /dev/tty2 root@172.16.1.41:/tmp

-L 保留软连接只想的目标文件
[root@judyju ~]# rsync -vzrgoDptL ./* root@172.16.1.41:/tmp

-e 使用信道协议，指定替代rsh的shell程序
-P (大写)显示同步的过程及传输的进度等信息

--append 指定文件接着上次传输中断的地方再次传输
(1)先创建一个大文件
	[root@judyju ~]# dd if=/dev/zero of=./2.txt bs=10M count=100
	下面图片跟上👇

--append-verify 使用参数续传（断点续传之后，会检查一下文件是否完整，否则会修复）<和append差不多>
--exclude=PATTERN 指定排除不需要传输的文件

--exclude-from=file （按照文件指定内容排除）
<和exclude差不多，如果文件名多的话，可以将文件名编辑在文件里>
--bwlimit=100（MB）限速传播
--delete 无差异同步，让目标目录数据和源数据保持一致
--password-file=xxx 使用密码文件
--port 制定端口传输

rsync守护进程

一、服务端

1、安装 
[root@judy-backup ~]# yum install -y rsync
2、修改配置文件
[root@judy-backup ~]# vim /etc/rsyncd.conf 
		uid = rsync
		gid = rsync
		port = 873
		fake super = yes
		use chroot = no
		max connections = 200
		timeout = 600
		ignore errors
		read only = false
		list = false
		auth users = rsync_backup
		secrets file = /etc/rsync.passwd
		log file = /var/log/rsyncd.log
		#####################################
		[backup]
		comment = welcome to backup!
		path = /backup
		[linux]
		comment = welcome to linux!
		path=/tmp/linux
3、创建系统用户
[root@judy-backup ~]# groupadd rsync -g 666
[root@judy-backup ~]# useradd rsync -u 666 -g 666 -M -s /sbin/nologin -r
<-M：不创建用户登入目录，因为rsync不需要用户登入；-r 创建系统用户>
4、创建密码文件
[root@judy-backup ~]# echo "rsync_backup:123456" > /etc/rsync.passwd
<服务端创建密码文件必须是用户名：密码的格式>
5、授权（必须授权为600）
[root@judy-backup ~]# chmod 600 /etc/rsync.passwd 
6、创建备份目录
[root@judy-backup ~]# mkdir /backup
[root@judy-backup ~]# mkdir /tmp/linux
<创建的目录和刚刚配置文件里必须一致>
7、目录授权
[root@judy-backup ~]# chown rsync.rsync /backup
[root@judy-backup ~]# chown rsync.rsync /tmp/linux
<由于我们是在root写创建的文件，那么系统用户对他的权限有限，所以我们将目录的所属更改成rsync>
8、关闭防火墙和selinux
[root@judy-backup ~]# systemctl disable --now firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@judy-backup ~]# setenforce 0
9、启动rsyncd服务
[root@judy-backup ~]# systemctl start rsyncd

二、客户端

方式一、自己输入密码
[root@judyju ~]# rsync -avzP ./* rsync_backup@172.16.1.41::backup
Password: <刚刚自己设置的密码>

rsync_backup：是虚拟用户，只在数据传输时使用
172.16.1.41：backup服务端的IP
backup：模块名称
rsync -avzP ./* rsync_backup@172.16.1.41::backup：模块名称钱必须是双冒号

方式二、设置密码文件
1、编辑密码文件 
[root@judyju ~]# echo "123456" > /etc/rsync.passwd
<客户端编辑密码文件时，只需要密码即可>
2、授权
[root@judyju ~]# chmod 600 /etc/rsync.passwd 
3、链接
[root@judyju ~]# rsync -avzP --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::linux

方式三、更改环境变量
1、定义环境变量
[root@judyju ~]# export RSYNC_PASSWORD=123456
2、同步
[root@judyju ~]# rsync -avzP ./* rsync_backup@172.16.1.41::linux

rsync实时同步

rsync是不支持实时同步的，通常我们借助于inotify这个软件来实时监控文件的变化，一旦监控到文件的变化，则立刻调用rsync进行同步

1、安装inotify（装在客户端）

<安装的时候经常出现yum源提示无软件可装，此时[root@judyju ~]# yum install -y epel-release，下载个拓展源即可>
[root@judyju ~]# yum -y install inotify-tools

2、inotify参数介绍

-m 持续监控
-r 递归
-q 静默，仅打印时间信息
--timefmt 指定输出时间格式
--format 指定事件输出格式
	%Xe 事件
	%w 目录
	%f 文件
-e 指定监控的时间
	access 访问
	modify 内容修改
	attrib 属性修改
	close_write 修改真实文件内容
	open 打开
	create 创建
	delete 删除
	umount 卸载

3、开始监控

/usr/bin/inotifywait  -mrq  --format '%Xe  %w  %f' -e create,modify,delete,attrib,close_write  /root | while read line;do
	cd  /root
	rsync -avzP --delete --password-file=/etc/rsync.passwd ./* rsync_backup@172.16.1.41::backup
done

4、编写脚本放后台执行

(1)创建脚本文件[root@judyju ~]# touch rsync_data.sh 
(2)编辑脚本文件 
[root@judyju ~]# vim rsync_data.sh 

(3)在后台执行文件
 bash /opt/rsync_data.sh &