stat rsync

cat 1.txt

echo >> 1.txt

chmod 777 1.txt

总结：

1）当仅读取或访问文件时，access time 改变，而modify time ，change time 不会改变。

2）当修改文件内容时，modify time ，change time 会改变，access time 不一定改变。

3）当修改文件权限属性时，change time 改变，而access time ，modify time 不会改变。

rsync:

rysnc -az

-a = rlptgoD

只有 modify time 是一致的。其他两个不一致。

touch 修改文件时间：

touch -d "2018-04-18 08:00:00" install.log

-a ：仅修改access time

-c ：仅修改时间，而不建立文件

-d ：后面可以接日期，也可以使用 --date="日期或时间"　

-m ：仅修改mtime

-t ：后面可以接时间，格式为 [YYMMDDhhmm]

rsync url

rsync：

[root@xuexi ~]# rsync /etc/fstab /tmp                # 在本地同步
[root@xuexi ~]# rsync -r /etc 172.16.10.5:/tmp       # 将本地/etc目录拷贝到远程主机的/tmp下，以保证远程/tmp目录和本地/etc保持同步
[root@xuexi ~]# rsync -r 172.16.10.5:/etc /tmp       # 将远程主机的/etc目录拷贝到本地/tmp下，以保证本地/tmp目录和远程/etc保持同步
[root@xuexi ~]# rsync /etc/                          # 列出本地/etc/目录下的文件列表
[root@xuexi ~]# rsync 172.16.10.5:/tmp/              # 列出远程主机上/tmp/目录下的文件列表

rsync 性能测试：

来自：https://blog.51cto.com/mayulin/635017

测试环境

1．1服务器硬件信息

1．2 服务器软件信息

1．3 Rsync所能够支持的功能

（1）支持断点续传

（2）支持使用ssh传输加密

（3）支持128位MD4校验（3.0以后版本使用MD5加密）

（4）支持镜像

（5）支持限速

（6）支持目录层级递归拷贝

1．4常用Rsync参数详解

-a, --archive

It is a quick way of saying you want recursion and want to preserve almost everything.

-r, --recursive

This tells rsync to copy directories recursively.

-t, --times

This tells rsync to transfer modification times along with the files and update them on the remote system

-u, --update

This forces rsync to skip any files for which the destination file already exists and has a date later than the source file

-z, --compress

With this option, rsync compresses any data from the files that it sends to the destination machine

-P

断点续传详细显示传输过程（传输进度）

-c, --checksum

This forces the sender to checksum all files using a 128-bit MD4 checksum before transfer

-n, --dry-run

This tells rsync to not do any file transfers, instead it will just report the actions it would have taken.

--delete

This tells rsync to delete any files on the receiving side that aren't on the sending side

--bwlimit=KBPS

This option allows you to specify a maximum transfer rate in kilobytes per second

--protocol

(隐藏参数)

选择传输时使用的TCP/IP协议字段号

-B

--block-size=SIZE checksum blocking size (default 700)

1．5服务器逻辑

两台服务器相邻，在同一个机房

1．6 rsync server模式配置

1、目标主机(DST)设置:

（1）添加rsyncd.conf配置文件

cat>/etc/rsyncd.conf<<EOF

uid=root

gid=root

secrets file = /etc/rsyncd.secrets

max connections=36000

use chroot=no

log file=/var/log/rsyncd.log

pid file=/var/run/rsyncd.pid

lock file=/var/run/rsyncd.lock

[rsyncDST]

path=/home/work/rsyncDST/share/1/0/

comment = rsync test

ignore errors = no

read only = no

hosts allow =10.0.101.241

hosts deny = *

EOF

（2）配置rsync.secrets认证文件

cat>/etc/rsyncd.secrets<<EOF

rsync:123456

EOF

（3）修改rsync.secrets认证文件权限

chmod 600 /etc/rsyncd.secrets

（4）启动rsync server

/usr/local/rsync/bin/rsync --daemon

Rsync传输测试

2．1初始化

（1）将两台机器加入监控

（2）将两台服务器建立SSH信任关系

2．2 传输压缩测试

1、SSH隧道加密传输，启用压缩，不启用数据校验

2、SSH隧道加密传输，未启用压缩，不启用数据校验

3、数据分析：

Rsync在传输时，不启用压缩，比启用压缩要快将近10倍

压缩使用的场合：低带宽，或对带宽有要求。传输文件压缩比率大

非压缩适用的场合：带宽充足，传输文件比较大，传输文件压缩比率小

建议不启用压缩

2．3 传输数据校验测试

1、SSH隧道加密传输，未启用压缩，不启用数据校验

2、SSH隧道加密传输，未启用压缩，启用数据校验

3、数据分析：

Rsync在传输时，启用数据校验，比不启用数据校验多耗时30%

文件校验使用的场合：对文件完整性要求高

非文件校验适用的场合：对文件完整性要求低

建议使用文件校验

2．4 传输方式测试

1、SSH隧道加密传输，未启用压缩，启用数据校验

2、rsync server传输，未启用压缩，启用数据校验

3、数据分析：

SSH隧道传输，速度比rsync server要快，但CPU资源消耗比较高，加密耗时较多

SSH隧道传输适用的场合：安全性要求比较高，对CPU资源消耗要求低

rsync server适用的场合：对安全性要求比较低，对CPU资源消耗要求高。

建议使用SSH加密隧道模式传输

2．5 其他影响传输速度的因素

1、SSH加密算法影响文件传输速度

注：以上文件传输测试过程中未启用压缩，未启用数据校验

使用SSH加密隧道传输时，如果希望数据传输较快，建议使用arcfour弱加密算法

2、修改TCP/IP协议字段，--protocol=29

（1）SSH隧道加密传输，未启用压缩，启用数据校验，不修改TCP/IP协议字段

（2）SSH隧道加密传输，未启用压缩，启用数据校验，修改TCP/IP协议字段为29

（3）数据分析：

修改TCP/IP协议字段，传输速度有了明显的提升。但是由于使用SSH加密隧道，程序运行耗时依旧很多。

建议修改TCP/IP协议字段为29

附： TCP/IP协议字段号

3、其他

rsync server模式，未启用压缩，启用数据校验，修改TCP/IP协议字段为29。

传输平均速度在120MB/S以上。传输耗时3m2.584s

rsync server模式，未启用压缩，未启用数据校验，修改TCP/IP协议字段为29。

传输平均速度在122MB/S以上。传输耗时2m14.185s

测试过程中，调节—block-size参数等于512，可以缩短checksum时间，总传输时间可节省大概3s左右

结论

根据当前生产环境，以及测试数据，我得出的结论如下：

1、如果对数据安全性要求低，建议选择rsync server模式，未启用压缩，启用数据校验，修改TCP/IP协议字段号为29。

2、如果对数据安全性要求高，建议选择SSH隧道加密传输，arcfour弱加密算法，未启用压缩，启用数据校验，修改TCP/IP协议字段号为29

3、如果是第一次推送数据，建议加上-W参数，意思是不检查文件更新，直接传送整个文件，这样可以减少文件检测时间，节省程序总运行时间。

4、如果想进一步节省程序运行时间，可在使用checksum的同时，加上—block-size=512这个参数（默认是700）。数值建议是500以上，并且是2的N次方，最大不超过2048。推荐512，1024，2048这三个值。

5、在传输数据时，为了不影响线上正常业务，建议根据线上实际情况，通过—bwlimit=KPBS参数对带宽进行限制
-----------------------------------

2．4 传输方式测试

1、SSH隧道加密传输，未启用压缩，启用数据校验

2、rsync server传输，未启用压缩，启用数据校验

3、数据分析：

SSH隧道传输，速度比rsync server要快，但CPU资源消耗比较高，加密耗时较多

SSH隧道传输适用的场合：安全性要求比较高，对CPU资源消耗要求低

rsync server适用的场合：对安全性要求比较低，对CPU资源消耗要求高。

建议使用SSH加密隧道模式传输

3、其他

rsync server模式，未启用压缩，启用数据校验，修改TCP/IP协议字段为29。

传输平均速度在120MB/S以上。传输耗时3m2.584s

rsync server模式，未启用压缩，未启用数据校验，修改TCP/IP协议字段为29。

传输平均速度在122MB/S以上。传输耗时2m14.185s

测试过程中，调节—block-size参数等于512，可以缩短checksum时间，总传输时间可节省大概3s左右

其他替代方案：

scp rcp ftp

sersync优点：

https://www.cnblogs.com/bill2014/p/7416289.html

rsync+sersync多线程实时同步

一、sersync优点

1）使用c++编写，对linux系统文件产生的临时文件和重复文件操作会进行过滤，在结合rsync同步的时候，会减少运行时消耗的本地及网络资源，因此速度更快。

2）相比较inotify-tools，sersync配置起来简单，https://code.google.com/archive/p/sersync/downloads下载源码，其中bin目录下是已经编译好的二进制文件，配合bin目录下的xml文件直接使用即可。

3）使用多线程同步（可以并发同步多个不同的文件），尤其在同步较大文件时，能够保证多个服务器实时保持同步状态。

4）sersync自带出错处理机制，通过失败队列对出错的文件重新同步，如果仍旧失败，则每若干个小时对同步失败的文件再重新同步。

5）sersync自带crontab功能，只需在xml配置文件中开启，即可按预先的配置，隔一段时间整体同步一次。

6）sersync自带socket与http的协议扩展，可以满足有特殊需求的公司的二次开发。

7）当同步的目录数据量不大时，建议使用rsync+inotify；当同步的目录数据量很大时（几百G甚至1T以上）文件很多时，建议使用rsync+sersync

二、分析

1）线程组线程是等待线程队列的守护线程，当事件队列中有事件产生的时候，线程组守护线程就会逐个唤醒同步线程，当队列中inotify事件较多的时候，同步线程就会被全部唤醒一起工作。这样设计的目的是能够同时处理多个inotify事件，从而提升服务器的并发能力（核数*2+2）。之所以称之为线程组，是因为每个线程在工作的时候，会根据服务器上新写入文件的数量建立子线程，子线程可以保证所有的文件与各个服务器同时同步，当要同步的文件较大的时候，这样设计可以保证各个远程服务器可以同时获得要同步的文件。

2）服务线程的作用有三个：

　　a)首先是处理同步失败的文件，将这些文件再次同步，对于再次同步失败的文件会生成rsync_fail_log.sh脚本，记录失败的事件。

　　b)每隔10隔小时执行脚本一次，同时清空脚本。

　　c)第三个作用是crontab功能，可以每隔一定时间，将所有路径整体同步一次。

3）过滤队列的建立是为了过滤短时间内产生的重复的inofity信息，例如在删除文件夹的时候，inotify就会同时产生删除文件夹里的文件与文件夹的事件，通过过滤队列，当删除文件夹事件产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹的事件，从而减轻了同步的负担。同时对于修改文件的操作的时候，会产生临时文件的重复操作，过滤队列也会过滤掉这些临时文件。

三、rsync服务，下面只有关于这个项目的一些简单配置，具体请看http://www.cnblogs.com/bill2014/p/7398760.html

1)服务端的rsyncd.conf

sersync(√)、inotify+rsync,通常我们会选择sersync,因为sersync是国人基于rsync+inotify基础之上开发的工具，不仅保留了其优点同时还强化了实时监控，文件过滤，简化配置等功能，帮助用户提高运行效率，sersync项目地址

https://blog.csdn.net/m0_52804748/article/details/124122230

sersync项目：https://github.com/generals-space/sersync

sersync 项目只有 tar包

linux下不同服务器间数据传输(rcp,scp,rsync,ftp,sftp,lftp,wget,curl)

https://blog.51cto.com/whluwit/1432157

rcp
rcp不是一种安全的的传输文件的方式，rcp通过rsh（rsh见下面）来执行远程命令，要使用rcp必须经过一些配置，现在rcp已经被scp取代了，常用scp来进行文件传输。要使用rcp，需要具备以下条件：

（1）如果系统中有/etc/hosts 文件，应确保该文件包含要与之进行通信的远程主机信息：internet_address official_name alias。例如：1．186．10.*** blade1.ibm.com.cnblade

（2）.rhosts 文件：.rhosts 文件位于远程系统的根目录下，其中包含本地系统的名称和本地登录名。例如，远程系统的 .rhosts 文件中的项可能是：blade1 root；其中，blade1 是本地系统的名称，root 是本地登录名。这样，blade1 上的 root 即可在包含 .rhosts 文件的远程系统中来回复制文件。

配置过程：

（1）在双方root用户根目录下建立.rhosts文件,并将双方的hostname加进去.在此之前应在双方的 /etc/hosts文件中加入对方的IP和hostname

（2）把rsh服务启动起来,redhat默认是不启动的。方法：用执行ntsysv命令，在rsh选项前用空格键选中,确定退出。然后执行：service xinetd restart即可。如果没有rsh，请见下面rsh部分

（3）到/etc/pam.d/目录下,把rsh文件中的auth required /lib/security/pam_securetty.so一行用“#”注释掉即可。（只有注释掉这一行，才能用root用户登录）

命令使用：

rcp [options] [[user@]host1:]file1 ...[[user@]host2:]file2

options:　

-r 递归地把源目录中的所有内容拷贝到目的目录中。

-p 试图保留源文件的修改时间和模式，忽略umask。

rsh（remote shell，它不够安全）：rsh使用条件同rcp，rsh配置过程（以root为例）

（1）在服务器上运行/urs/bin/ntsysv选中rexec,rlogin,rsh三项服务。

（2）运行#/sbin/service xinetd restart启动该三项服务。

（3）运行echo"rexec">>/etc/securetty; echo"rlogin">>/etc/securetty; echo"rsh">>/etc/securetty

（4）在服务器上运行echo"你的ip地址root">>/root/.rhosts或者echo"你的主机名root">>/root/.rhosts且确保在服务器上的/etc/hosts中有主机名和ip地址的映射关系

（5）到/etc/pam.d/目录下,把rexec, rlongin, rsh文件中的auth required /lib/security/pam_securetty.so 一行用“#”注释掉即可。（只有注释掉这一行，才能用root用户登录）

（6） rsh命令用法：rshremote-sytem-neame Linux-command，例如：rsh blade1 ls /home/root

scp
scp 命令是 SSH中最方便有用的命令了，scp就是secure copy，是用来进行远程文件拷贝的。数据传输使用 ssh，并且和ssh 使用相同的认证方式，提供相同的安全保证。与rcp 不同的是，scp 在需要进行验证时会要求你输入密码或口令。

scp [options] [本地用户名@IP地址:]file1 [远程用户名 @IP 地址 :] file2

options:

-v 用来显示进度，可以用来查看连接，认证，或是配置错误。

-C 使能压缩选项。

-c 选择使用那个加密算法（具体对应到ssh的-c cipher-spec，这个参数值会被传给ssh，可选择值3des，blowfish，des），使用blowfish会快很多，可以参看man ssh 中的-c cipher-spec

-P 选择端口

-r 递归拷贝整个目录

-l 限制使用带宽，Kbit/s

-o 指定传给ssh的一些参数值，比如Compression=yes

-p 保留文件的修改时间等信息。

rsync
rsync是rcp的替代品之一，rsync 是一款高效的远程数据备份和镜象工具，可快速地同步多台主机间的文件，其具有如下特性：

l 支持链接、所有者、组信息以及权限信息的拷贝；

l 通过远程 shell（ssh, rsh）进行传输；

l 无须特殊权限即可安装使用；

l 流水线式文件传输模式，文件传输效率高；

l 支持匿名操作；

需要提及的是 rsync 以其优越的性能优势区别于其它几种 Linux 文件传输方法，其同步文件的速度相当快，这主要归功于 rsync 所使用的传输算法。简而言之 rsync 算法能在相当短的时间内计算出需要备份的数据，只对源文件与目标文件的不同之处进行传输，从而降低网络中传输的数据量，以此达到快速备份镜像的目的。下面通过一典型应用场景来描述 rsync 算法的基本原理：主机 A 与主机 B 均有对同一文件的拷贝，用户对主机 A 上的拷贝进行更新，主机 B 通过 rsync 算法对更新后的文件进行同步。以下是该算法的实现步骤：

（1）主机 B 将原始拷贝划分成大小为 N 的不重合的若干块（文件末尾部分分块大小可能不足 N），并对这些数据块进行两种不同方式的校验：32 位的滚动弱校验、128 位的 MD4 强校验。弱校验较之强校验计算速度快。

（2）主机 B 将每个数据块的弱校验、强校验结果发送给主机 A 。

（3）主机 A 对更新后的文件拷贝中的每个长度为 N 的数据块进行弱校验并与从 B 接收到的弱校验值进行匹配，若相同再进行强校验匹配。由于弱校验的滚动特性可以快速地筛选出需要进行同步的数据块。该算法的运算量主要集中在主机 A 上。

通过上述计算，主机 A 将文件的不同部分发送给 B，B 接收到两个拷贝之间的不同之处，从而同步得到更新后的文件。通过如上方式，rsync 避免了对相同数据的传输，减少了网络带宽的浪费。在时间上整个过程中需一个往返，从某种程度上也保证了 rsync 的优越性能。

Rsync可以通过两种方式来连接远程服务器，一种是通过类shell命令的方式，一种是通过rsync daemon的方式，rsync daemon需要进行安装和配置，具体如下：

可从官方网站http://rsync.samba.org/ 上下载安装 rsync 的最新版本。使用时需将 rsync 分别安装于服务端和客户端，服务端和客户端使用同一个 rsync 软件包来实现远程镜像和定期同步更新。需要说明的是一个 rsync 服务端可同时备份多个客户端的数据；多个服务端备份一个客户端的数据。 rsync 默认端口为 873，服务器在该端口接收客户的匿名或者认证方式的备份请求。

rsync 服务端在使用之前需要进行必要的配置，其配置文件为 /etc/rsyncd.conf，进行认证、访问、日志记录等控制。配置文件包括全局参数、模块参数的设置。 rsyncd.conf 文件中 [module] 之前的所有参数为全局参数，也可以在全局参数部分定义模块参数，在这种情况下该参数的值就是所有模块的默认值。全局参数设置程序使用的端口号，指定消息文件、日志文件 pid 文件以及发送日志消息的级别。模块参数主要定义服务端哪个目录需要被同步。用户可根据不同的需要指定多个模块，每个模块对应需要备份的一个目录树，即若有 N 个需要备份的目录树，则需要 N 个模块与之对应。模块中可以定义许多参数，常见参数如下。

l Comment 模块信息描述，该描述连同模块名在客户连接得到模块列表时显示给客户。默认没有描述定义。

l Path 指定供备份的目录路径，必须指定该参数。

l max connections 指定最大并发连接数以保护服务器，超过限制的连接请求将被告知随后再试。默认值为 0，即没有限制。

l log file 指定日志文件

l read only 设定是否允许客户上载文件。若为 true 任何上载请求均会失败，若为 false 且客户端拥有服务器目录读写权限则可以上载。默认值为 true 。

l write only 设定是否允许客户下载文件。若为 true 任何下载请求均会失败，默认值为 false 。

l List 设定当客户请求可以使用的模块列表时，是否列出该模块。若为 false，则创建隐藏的模块。默认值为 true 。

l fake super 允许文件享有所有权限，而无需后台服务以 root 权限进行操作。

l Filter 设置过滤列表以决定哪些文件可由客户端访问。

l hosts allow 指定允许客户连接的 IP 地址。可以为单个 IP 地址或整个网段。多个 IP或网段需要以空格隔开。默认是允许所有主机连接。

l dont compress 指定不进行压缩处理即可传输的文件，默认值是 *.gz *.tgz *.zip *.z *.rpm *.deb *.iso *.bz2 *.tbz

l pre-xfer exec, post-xfer exec 设置可在文件传输前／后执行的命令。若在文件传输前执行的命令失败，则取消本次传输操作。

需要注意的是服务器端启动：/usr/bin/rsync--daemon --config=/etc/rsyncd/rsyncd.conf

连接远程服务器的两种方式的基本语法

（1）通过远程 shell 方式：

l rsync [OPTION] [USER@]HOST:SRC DEST：用远程 shell（如 ssh, rsh）实现将远程机器的内容拷贝到本地机器。 SRC 地址路径中以单个冒号 ":" 进行分隔。

l rsync [OPTION] SRC [USER@]HOST:DEST：使用远程 shell（如 rsh、ssh）实现本地机器的内容拷贝到远程机器。 DEST 地址路径中以单个冒号 ":" 进行分隔。

（2）通过 rsync daemon 方式：

l rsync [OPTION] [USER@]HOST::SRC DEST 或rsync [OPTION]rsync://[USER@]HOST[:PORT]/SRC [DEST]：从远程 rsync 服务器中拷贝文件到本地机。SRC 地址路径中以双冒号 "::" 进行分隔。

l rsync [OPTION] SRC [USER@]HOST::DEST 或rsync [OPTION] SRCrsync://[USER@]HOST[:PORT]/DEST：从本地机器拷贝文件到远程 rsync 服务器中。 DEST 地址路径中以双冒号 "::" 进行分隔。

如果 rsync 命令中只指定 SRC 参数而不指定 DEST 参数，则意为显示源文件列表而非进行同步拷贝。

Options:

options:

-v,--verbose 详细模式输出

-q,--quiet 精简输出模式

-c,--checksum 打开校验开关，强制对文件传输进行校验

-a,--archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD

-r,--recursive 对子目录以递归模式处理

-R,--relative 使用相对路径信息

-b,--backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。

--backup-dir将备份文件(如~filename)存放在在目录下。

-suffix=SUFFIX定义备份文件前缀

-u,--update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件)

-l,--links 保留软链结

-L,--copy-links 想对待常规文件一样处理软链结

--copy-unsafe-links仅仅拷贝指向SRC路径目录树以外的链结

--safe-links忽略指向SRC路径目录树以外的链结

-H,--hard-links 保留硬链结

-p,--perms 保持文件权限

-o,--owner 保持文件属主信息

-g, --group 保持文件属组信息

-D,--devices 保持设备文件信息

-t,--times 保持文件时间信息

-S,--sparse 对稀疏文件进行特殊处理以节省DST的空间

-n,--dry-run现实哪些文件将被传输

-W,--whole-file 拷贝文件，不进行增量检测

-x,--one-file-system 不要跨越文件系统边界

-B,--block-size=SIZE 检验算法使用的块尺寸，默认是700字节

-e,--rsh=COMMAND 指定使用rsh、ssh方式进行数据同步

--rsync-path=PATH指定远程服务器上的rsync命令所在路径信息

-C,--cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件

--existing仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件

--delete删除那些DST中SRC没有的文件

--delete-excluded同样删除接收端那些被该选项指定排除的文件

--delete-after传输结束以后再删除

--ignore-errors及时出现IO错误也进行删除

--max-delete=NUM最多删除NUM个文件

--partial保留那些因故没有完全传输的文件，以是加快随后的再次传输

--force强制删除目录，即使不为空

--numeric-ids不将数字的用户和组ID匹配为用户名和组名

--timeout=TIMEIP超时时间，单位为秒

-I,--ignore-times 不跳过那些有同样的时间和长度的文件

--size-only当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间

--modify-window=NUM决定文件是否时间相同时使用的时间戳窗口，默认为0

-T--temp-dir=DIR 在DIR中创建临时文件

--compare-dest=DIR同样比较DIR中的文件来决定是否需要备份

-P等同于 --partial

--progress显示备份过程

-z,--compress 对备份的文件在传输时进行压缩处理

--exclude=PATTERN指定排除不需要传输的文件模式

--include=PATTERN指定不排除而需要传输的文件模式

--exclude-from=FILE排除FILE中指定模式的文件

--include-from=FILE不排除FILE指定模式匹配的文件

--version打印版本信息

--address绑定到特定的地址

--config=FILE指定其他的配置文件，不使用默认的rsyncd.conf文件

--port=PORT指定其他的rsync服务端口

--blocking-io对远程shell使用阻塞IO

-stats给出某些文件的传输状态

--progress在传输时现实传输过程

--log-format=formAT指定日志文件格式

--password-file=FILE从FILE中得到密码

--bwlimit=KBPS限制I/O带宽，KBytes per second

-h,--help 显示帮助信息

实例：

（1）查看服务端文件及列表：

l rsync 9.186.110.53::查看服务端可用的模块列表以及注释信息；rsync ibmuser@9.186.110.53::www/查看服务端 www 模块中的目录及文件列表（使用 rsyncd 用户认证方式）

l rsync ibmuser@9.186.110.53:/var/www/html/查看服务端/var/www/html 目录中的内容（使用服务端的系统用户进行验证，如 ibmuser）

（2）保持客户端与服务端的数据同步：

l rsync -avz ibmuser@9.186.110.53::www/ /backup1/使用后台服务方式将服务端www 模块下的内容备份到本地 /backup1 目录中，备份时保留原有权限、属性、属主及符号连接等，并使用压缩方式加快数据传输。

l rsync – avzibmuser@9.186.110.53:/var/www/html /backup2/使用 ssh 方式将远程的/var/www/html 目录备份到本地 /backup2/ 目录下

l rsync -avz --deleteibmuser@9.186.110.53::www/ /backup3/将远程 www 模块备份到本地/backup3/ 目录中，同时进行同步目录，删除本地目录中多余的文件。

（3）当服务端的数据出现问题时，需要通过客户端的数据对服务端进行恢复，只要客户端有服务端的写入权限，即可通过调换 rsync 命令的 SRC、DEST 参数进行恢复。

ftp
ftp命令使用文件传输协议(FileTransfer Protocol ,FTP)在本地主机和远程主机之间或者两个远程主机之间进行文件传输。FTP 协议允许数据在不同文件系统的主机之间传输。尽管这个协议在传输数据上提供了高适应性，但是它并没有尝试去保留一个特定文件系统上的文件属性（例如一个文件的保护模式或者修改次数）。而且 FTP 协议很少对一个文件系统的整体结构作假定，也不提供这样的功能，比如递归的拷贝子目录。在使用 ftp 命令时，需要注意 FTP 协议的这些特性。当需要保留文件属性或者需要递归的拷贝子目录时，可以使用 rcp/scp 等命令。

如果需要将文件以ftp传输到目的服务器上，必须在目的服务器上安装ftp server，基本的安装和启动过程如下：

根据服务对象的不同，FTP服务可以分为两类：一类是系统FTP服务器，它只允许系统上的合法用户使用；另一类是匿名FTP服务器，它允许任何人登录到FTP服务器，和服务器连接后，在登录提示中输入Anonymous，即可访问服务器。

Yum list *ftp* （找到可用的Ftp包）

sudo yum install ftp包

手工启动和关闭：启动：/usr/sbin/ftprestart 关闭：/usr/sbin/ftpshut

FTP服务器的配置：为了确保FTP服务器安全，必须设置一些重要的配置文件，以更好地控制用户的访问权限。这些配置文件是：/etc/ftpusers；/etc/ftpconversions；/etc/ftp-groups；/etc/ftpphosts；/etc/ftpaccess。利用这些文件，能够非常精确地控制哪些人、在什么时间、从什么地点可以连接服务器，并且可以对他们连接后所做的工作进行检查跟踪。

（1） /etc/ftpusers：该文件夹中包含的用户不能通过FTP登录服务器，有时将需要禁止的用户账号写入文件/etc/ftpuser中，这样就可以禁止一些用户使用FTP服务。

（2） /etc/ftpconversions：用来配置压缩/解压缩程序。

（3） /etc/ftpgroups：创建用户组，这个组中的成员预先定义可以访问FTP服务器。

（4） /etc/ftpphosts：用来根据禁止或允许远程主机对特定账户的访问，例如：allow czc 192.168.0.0/24 deny cdd 10.0.0.0/8（表示允许czc用户从192.168.0这个网段连线访问，拒绝cdd从10.这个网段连线访问）。

（5） /etc/ftpaccess：是非常重要的一个配置文件，用来控制存取权限，文件中的每一行定义一个属性，并对属性的值进行设置。下面对它的一些常用配置做一点介绍：

l 定义用户类别：格式：class[类名] [real/guest/anonymous][IP地址] 功能：这个指令的功能设定FTP服务器上用户的类别。并可对客户端的IP地址进行限制，允许特定或者全部的IP地址访问FTP服务器。

l 登录重试次数：在命令行中输入：loginfails 10，这表明如果10次还没有登录成功就切断连线。

l 密码检查：格式：passwd-check〈strictness〉 warn。是对匿名用户的密码使用方式的检查，其中〈strictness〉是三个可能的字符串之一：None、Trivial、RFC822。若选None，表示将不对口令做任何检查；若选Trivial，表示对口令有一定的要求，它需要在口令中至少要有一个@符号；若选RFC822，则表示最严格，要求E-mail地址必须遵守RFC822报文标题标准（如：czc@domain.com ）。例如：passwd-check rfc822 warn，表明密码的要求很严格，当密码不符合规定时出现警告信息。

l 登录人数的限制：格式：limit[类别] [人数] [时间] [文件名]。设置指定类别在约定时间内可以登录FTP的人数。例如：limit remote Any/etc/many.msg，说明类别Remote类别在任何时间内登录人数不超过20个人，否则会显示Many.msg警告信息。

安装、配置好FTP服务器后，只需要在命令提示符后输入：FTP Servername，用主机名或希望连接的FTP服务器的IP地址代替Servername，按照提示输入用户名和口令，然后用标准的Linux上移或下移FTP服务器目录结构。另外，也可以采用图形化FTP程序，包括窗口式gFTP，可以借助Web浏览器去访问FTP服务器。

在登录上ftp后，可以使用如下ftp命令进行操作：

l FTP> ! 从 ftp 子系统退出到外壳

l FTP> ? 显示 ftp 命令说明，和 help 相同，格式:? [command]说明:[command]指定需要帮助的命令名称。假如没有指定 command,linux ftp命令参数将显示全部命令的列表。

l FTP> append 使用当前文档类型配置将本地文档附加到远程电脑上的文档。格式:append local-file [remote-file]，说明:local-file 指定要添加的本地文档，remote-file指定要添加 local-file 的远程电脑上的文档。假如省略了 remote-file,本地文档名将被用作远程文档名。

l FTP> ascii 将文档传送类型配置为默认的 ASCII。说明:linux ftp命令参数支持两种文档传送类型,ASCII 码和二进制图像，在传送文本文档时应该使用ASCII。

l FTP> bell 转换响铃以在每个文档传送命令完成后响铃??默认情况下,铃声是关闭的。

l FTP> binary(或bi) 将文档传送类型配置为二进制

l FTP> bye(或by) 结束和远程电脑的linux ftp命令参数会话并退出linux ftp命令参数。

l FTP> cd 更改远程电脑上的工作目录。格式:cd remote-directory，说明:remote-directory 指定要更改的远程电脑上的目录。

l FTP> close 结束和远程服务器的linux ftp命令参数会话并返回命令解释程式。

l FTP> debug 转换调试。当调试打开时,发送到远程电脑的每个命令都打印,前面是字符串">"。默认情况下,调试是关闭的。

l FTP> delete 删除远程电脑上的文档。格式:delete remote-file，说明:remote-file 指定要删除的文档。

l FTP> dir 显示远程目录文档和子目录列表。格式:dir [remote-directory] [local-file]，说明:remote-directory 指定要查看其列表的目录。假如没有指定目录,将使用远程电脑中的当前工作目录。Local-file 指定要存储列表的本地文档。假如没有指定,输出将显示在屏幕上。

l FTP> disconnect 从远程电脑断开,保留linux ftp命令参数提示。

l FTP> get 使用当前文档转换类型将远程文档复制到本地，格式:get remote-file [local-file]，说明:remote-file 指定要复制的远程文档，Local-file指定要在本地电脑上使用的名称，假如没有指定,文档将命名为 remote-file。

l FTP>glob 转换文档名组合，组合允许在内部文档或路径名中使用通配符(*和?)，默认情况下,组合是打开的。

l FTP>hash 转换已传输的每个数据块的数字签名 (#) 打印，数据块的大小是2048 字节，默认情况下,散列符号打印是关闭的。

l FTP>help 显示linux ftp命令参数命令说明。格式:help [command]，　　说明:command 指定需要有关说明的命令的名称，假如没有指定 command,linux ftp命令参数将显示全部命令的列表。

l FTP>lcd 更改本地电脑上的工作目录，默认情况下,工作目录是启动linux ftp命令参数的目录。格式:lcd [directory]，说明:directory 指定要更改的本地电脑上的目录，假如没有指定directory,将显示本地电脑中当前的工作目录。

l FTP>literal 将参数逐字发送到远程linux ftp命令参数服务器，将返回单个的linux ftp命令参数回复代码，格式:literal argument [ ...]，说明:argument 指定要发送到linuxftp命令参数服务器的参数。

l FTP>ls 显示远程目录文档和子目录的缩写列表，格式:ls [remote-directory] [local-file]，说明:remote-directory 指定要查看其列表的目录，假如没有指定目录,将使用远程电脑中的当前工作目录，local-file 指定要存储列表的本地文档??假如没有指定,输出将显示在屏幕上。

l FTP>mdelete 删除远程电脑上的文档，格式:mdelete remote-files [ ...]，说明:remote-files 指定要删除的远程文档。

l FTP>mdir 显示远程目录文档和子目录列表，能够使用 mdir 指定多个文档，格式:mdir remote-files [ ...] local-file，说明:remote-files 指定要查看列表的目录，必须指定 remote-files，请键入 - 使用远程电脑上的当前工作目录。local-file 指定要还原列表的本地文档，请键入- 在屏幕上显示列表。

l FTP>mget 使用当前文档传送类型将远程文档复制到本地电脑，格式:mget remote-files [ ...]，说明:remote-files 指定要复制到本地电脑的远程文档。

l FTP>mkdir 创建远程目录，格式:mkdir directory，说明:directory 指定新的远程目录的名称。

l FTP>mls 显示远程目录文档和子目录的缩写列表，格式:mls remote-files [ ...] local-file，说明:remote-files 指定要查看列表的文档??必须指定remote-files;，请键入- 使用远程电脑上的当前工作目录。local-file 指定要存储列表的本地文档，请键入 - 以在屏幕上显示列表。

l FTP>mput 使用当前文档传送类型将本地文档复制到远程电脑上。格式:mput local-files [ ...]，说明:local-files 指定要复制到远程电脑的本地文档。

l FTP>open 和指定的linux ftp命令参数服务器连接，格式:open computer [port]，说明:computer 指定要连接的远程电脑??能够通过 IP 地址或电脑名称指定电脑(DNS 或主机文档必须可用)，假如自动登录打开(默认),ftp 还将尝试自动将用户登录到linux ftp命令参数服务器port 指定用来联系linux ftp命令参数服务器的端口号。

l FTP>prompt 转换提示，假如关闭提示时 mget 及 mput 传送任何文档,linux ftp命令参数在多文档传送过程中将提示允许您有选择地检索或存储文档，默认情况下,提示是打开的。

l FTP>put 使用当前文档传送类型将本地文档复制到远程电脑上，格式:put local-file [remote-file]，说明:local-file 指定要复制的本地文档，remote-file指定要在远程电脑上使用的名称??假如没有指定,文档将命名为 local-file。　　

l FTP>pwd 显示远程电脑上的当前目录。

l FTP>quit 结束和远程电脑的linux ftp命令参数会话并退出linux ftp命令参数。

l FTP>quote 将参数逐字发送到远程linux ftp命令参数服务器，将返回单个的linux ftp命令参数回复代码。

l FTP>recv 使用当前文档传送类型将远程文档复制到本地电脑，Recv 和 get相同。格式:recv remote-file [local-file]，说明:remote-file 指定要复制的远程文档，local-file指定要在本地电脑上使用的名称，假如没有指定,文档将命名为 remote-file。

l FTP>remotehelp 显示远程命令帮助，格式:remotehelp [command]，说明:command 指定需要帮助的命令的名称，假如没有指定 command,linux ftp命令参数将显示全部远程命令的列表。

l FTP>rename 重命名远程文档，格式:rename filename newfilename，说明:filename 指定要重命名的文档，newfilename指定新的文档名。

l FTP>rmdir 删除远程目录，格式:rmdir directory，说明:directory 指定要删除的远程目录的名称。

l FTP>send 使用当前文档传送类型将本地文档复制到远程电脑上，Send 和put 相同，格式:send local-file [remote-file]，说明:local-file 指定要复制的本地文档，remote-file指定要在远程电脑上使用的名称，假如没有指定,文档将命名为 local-file。

l FTP>status 显示linux ftp命令参数连接和转换的当前状态。

l FTP>trace 转换数据包跟踪，Trace 在运行linux ftp命令参数命令时显示每个数据包的路由。

l FTP>type 配置或显示文档传送类型，格式:type [type-name]，说明:type-name 指定文档传送类型，默认配置为 ascii，假如没有指定type-name,将显示当前的类型。

l FTP>user 指定远程电脑的用户，格式:user username [password] [account]，说明:user-name 指定登录到远程电脑所使用的用户名，password 指定 user-name 的密码，假如没有指定,但必须指定,linux ftp命令参数会提示输入密码。account 指定登录到远程电脑所使用的帐户，假如没有指定account,但是需要指定,linux ftp命令参数会提示您输入帐户。

l FTP>verbose 转换 verbose 模式，假如打开,将显示任何 linux ftp命令参数响应，在文档传送完成后,将同时显示和传送效率有关的统计信息，默认情况下,verbose 是打开的。

sftp
sftp（安全文件传输协议）与ftp 有着几乎一样的语法和功能。FTP 为 SSH的一部份，是一种传输档案至 Blogger 伺服器的安全方式。它并不使用ftp守护进程（ftpd或wu-ftpd）来进行连接，而是有意义地增强系统的安全性。实际上，通过监视一些系统中的log文件，可以注意到很多攻击是针对于ftpd守护进程的。sftp避免了这些攻击从而可以停止在wu-ftpd上潜在的危险。SFTP本身没有单独的守护进程，它必须使用sshd守护进程（端口号默认是22）来完成相应的连接操作。使用SFTP是非常安全的。但是，由于这种传输方式使用了加密/解密技术，所以传输效率比普通的FTP要低得多，如果您对网络安全性要求更高时，可以使用SFTP代替FTP。

用法举例：

（1） sftproot@10.48.30.192:/root/test.sh（直接将192上的文件复制到本地）

（2） sftproot@10.48.30.192:/root （直接连接到192的root目录下，这样就可以使用getput等命令了）

sftp使用在数据连接上使用ssh2，所以文件的传输是尽可能地安全。使用sftp代替ftp两个主要的的原因是：

（1） password从不用明文传输，防止sniffer（嗅探器）的攻击。

（2）数据在传输时被加密，使用刺探和修改连接非常困难。

使用sftp2是非常简单的。让我们假设你使用了你的帐户：myname通过sftp连按上了主机host1。可以使用命令：sftp myname@host1。当sftp2准备好了来接受连接时，它将显示一个状态提示符 sftp>。在sftp手册中有完整的用户可以使用的命令列表；其中有：

l quit：从这个应用程序中退出。

l cd directory：改变当前的远程工作目录。

l lcd directory：改变当前的本地工作目录。

l ls [ -r ] [ -l ] [ file ... ]：列出在远地服务器上的文件名。如果是目录，则列出目录的内容。当命令行中指定了-r，则递归地显示目录树。（默认情况下，子目录并不被访问）。当命令行中指定了-l，文件与目录的权限，属主，大小和修改时间被列出。当没有参数被指定，则.（当前目录）的内容被列出。普通情况下选项-r和-l是互相不兼容的。

l lls [ -r ] [ -l ] [ file ... ]：与ls一样，但是是对于本地文件操作。

l get [file ...]：从远程端传送指定的文件到本地端。目录内容被递归地复制。

l put [ file ... ]：从本地端传送指定的文件到远地端。目录内容被递归地复制。

l mkdir dir (rmdir dir)：尝试建立或删除参数中指定的目录。

l 通配符对于ls,lls,get和put是支持的。格式在sshregex手册中有描述。

从sftp使用加密技术以来，一直有一个障碍：连接速度慢（有2-3倍），但是这一点对于非常好的安全性来讲只能放在一边了。在一个测试中，局域网上的sniffer可以在一个小时中捉住ftp连接上的4个password.。sftp的使用可以从网络上传送文件并且除去这些安全问题。

lftp
lftp 是一个功能强大的下载工具，它支持访问文件的协议: ftp, ftps, http, https, hftp, fish.(其中ftps和https需要在编译的时候包含openssl库)。llftp非常像一个shell: 有命令补全，历史记录，允许多个后台任务执行等功能，使用起来非常方便。它还有书签、排队、镜像、断点续传、多进程下载等功能。

命令行语法

(1) lftp [-d] [-e cmd] [-p port][-u user[,pass]] [site]

-e在选择后执行命令

-u [,] 使用指定的用户名/口令进行验证

-p 连接指定的端口

Site:主机名，URL 或书签的名字

(2) lftp -f script_file

执行文件中的命令后退出

(3) lftp -c commands

执行命令后退出

(4) lftp –version

显示 lftp 版本后退出

(5) lftp --help

显示帮助信息后退出

例子：

（1）如果在命令行中输入的站点名称，lftp将直接登录站点，比如

lftp ftp://.............

（2）如果在命令行不输入站点名称，则必须在进入到lftp界面后用open命令打开

Lftp

lftp :~> open ftp://...................

常用命令

l 下载单个文件和一组文件，断点续传用-c参数

lftp ................:/> get -c ls-lR.txt

lftp ...............:/> mget *.txt

l 镜像(反镜像即上传)一个目录，可以用多个线程并行镜像一个目录(--parallel=N)

lftp ................:/> mirror incoming local_name

lftp ................:/> mirror -R local_name

lftp ................:/> mirror --parallel=3 incominglocal_name

l 多线程下载，类似网络蚂蚁的功能;缺省是5个线程

lftp ................:/> pget -n 4 ls-lR.txt

l 后台任务管理

缺省情况下，按 Ctrl+z,正在执行的任务将转为后台执行，也可以在命令行末尾加&符号使任务在后台执行。用jobs命令可以查看所有的后台进程。用queue命令可以排队新的任务。如果退出lftp是还有任务在后台执行，lftp将转为后台执行。

l 其它用法

lftp支持类似bash的管道操作，例如用下面的命令可以将ftp服务器上的特定目录下(也可以是整个站点)所有文件的大小存到本地的文件ls.txt中

lftp ................:/> du incoming > ls.txt

选项

-v, --verbose 详细模式输出。
-q, --quiet 精简输出模式。
-c, --checksum 打开校验开关，强制对文件传输进行校验。
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD。
-r, --recursive 对子目录以递归模式处理。
-R, --relative 使用相对路径信息。
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。
--backup-dir 将备份文件(如~filename)存放在在目录下。
-suffix=SUFFIX 定义备份文件前缀。
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件，不覆盖更新的文件。
-l, --links 保留软链结。
-L, --copy-links 想对待常规文件一样处理软链结。
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结。
--safe-links 忽略指向SRC路径目录树以外的链结。
-H, --hard-links 保留硬链结。
-p, --perms 保持文件权限。
-o, --owner 保持文件属主信息。
-g, --group 保持文件属组信息。
-D, --devices 保持设备文件信息。
-t, --times 保持文件时间信息。
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间。
-n, --dry-run 显示哪些文件将被传输。
-w, --whole-file 拷贝文件，不进行增量检测。
-x, --one-file-system 不要跨越文件系统边界。
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节。
-e, --rsh=command 指定使用rsh、ssh方式进行数据同步。
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息。
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件。
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件。
--delete 删除那些DST中SRC没有的文件。
--delete-excluded 同样删除接收端那些被该选项指定排除的文件。
--delete-after 传输结束以后再删除。
--ignore-errors 及时出现IO错误也进行删除。
--max-delete=NUM 最多删除NUM个文件。
--partial 保留那些因故没有完全传输的文件，以是加快随后的再次传输。
--force 强制删除目录，即使不为空。
--numeric-ids 不将数字的用户和组id匹配为用户名和组名。
--timeout=time ip超时时间，单位为秒。
-I, --ignore-times 不跳过那些有同样的时间和长度的文件。
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间。
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0。
-T --temp-dir=DIR 在DIR中创建临时文件。
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份。
-P 等同于 --partial。
--progress 显示备份过程。
-z, --compress 对备份的文件在传输时进行压缩处理。
--exclude=PATTERN 指定排除不需要传输的文件模式。
--include=PATTERN 指定不排除而需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件。
--version 打印版本信息。
--address 绑定到特定的地址。
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件。
--port=PORT 指定其他的rsync服务端口。
--blocking-io 对远程shell使用阻塞IO。
-stats 给出某些文件的传输状态。
--progress 在传输时显示传输过程。
--log-format=formAT 指定日志文件格式。
--password-file=FILE 从FILE中得到密码。
--bwlimit=KBPS 限制I/O带宽，KBytes per second。
-h, --help 显示帮助信息。

参考：

https://www.cnblogs.com/f-ck-need-u/p/7220009.html

https://blog.51cto.com/mayulin/635017

https://www.cnblogs.com/bill2014/p/7416289.html

https://blog.csdn.net/m0_52804748/article/details/124122230

https://blog.51cto.com/whluwit/1432157

https://wangchujiang.com/linux-command/c/rsync.html

posted @ 2021-11-25 10:40 redrobot 阅读(51) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

redrobot

stat rsync

rsync+sersync多线程实时同步

选项

公告