烂泥:linux文件同步之rsync学习(一)

本文由秀依林枫提供友情赞助,首发于烂泥行天下

这几天刚好有空就打算开始学习linux下的文件同步软件rsync,在学习rsync时,我们可以分以下几个步骤进行:

1、 rsync是什么

2、 rsync的工作原理

3、 rsync优点

4、 rsync认证方式

5、 安装rsync

6、 rsync命令参数详解

7、 配置rsync

8、 rsync的启动与关闭

9、 rsync同步实例

说明:rsync服务器与客户端使用的OS均为:centos 6.5 64bit。

clip_image001

一、rsync是什么

在开始正式学习rsync之前,我们先来回答这个问题:rsync是什么。

rsync(remote synchronize)是Liunx/Unix下的一个远程数据同步工具。它可通过LAN/WAN快速同步多台主机间的文件和目录,并适当利用rsync算法(差分编码)以减少数据的传输。

rsync算法并不是每一次都整份传输,而是只传输两个文件的不同部分,因此其传输速度相当快。

除此之外,rsync可拷贝、显示目录属性,以及拷贝文件,并可选择性的压缩以及递归拷贝。

二、rsync的工作原理

1、客户端构造FileList,FileList包含了需要与服务器同步的所有文件信息对name->id(id用来唯一表示文件例如MD5)。

2、客户端将FileList发送到服务器。

3、服务器上rsync处理客户端发过来的FileList,构建新的NewFileList。其中根据MD5值比较,删除服务器上已经存在的文件信息对,只保留服务器上不存在或变化的文件。

4、客户端得到服务器发送过来的NewFileList,然后把NewFileList中的文件重新传输到服务器。

三、rsync优点

rsync有以下几个优点:

1)可以镜像保存整个目录树和文件系统。

2)可以很容易做到保持原来文件的权限、时间、软硬连接等。

3)无需特殊权限即可安装。

4)拥有优化的流程和比较高的文件传输效率。

5)可以使用shell(rsh、ssh)方式来传输文件。

6)支持匿名运行。

7)与scp相比,rsync传输速度绝对远远超过scp的传输速度。

我们在局域网中经常用rsync和scp传输大量mysql数据库文件,发现rsync传输文件速度至少要比scp快20倍以上。

所以如果需要在Liunx/Unix服务器之间互传海量数据时,建议选择rsync进行传输。

四、rsync认证方式

rsync有两种常用的认证方式,一种是rsync-daemon方式,另外一种是ssh方式。在平时使用过程,我们使用最多的是rsync-daemon方式。

注意:在使用rsync时,服务器和客户端都必须安装rsync程序

4.1 rsync-daemon认证

rsync在rsync-daemon认证方式下,默认监听TCP的873端口。

rsync-daemon认证方式是rsync的主要认证方式,这个也是我们经常使用的认证方式。并且也只有在此种模式下,rsync才可以把密码写入到一个文件中。

注意:rsync-daemon认证方式,需要服务器和客户端都安装rsync服务,并且只需要rsync服务器端启动rsync,同时配置rsync配置文件。客户端启动不启动rsync服务,都不影响同步的正常进行。

4.2 ssh认证

rsync在ssh认证方式下,可通过系统用户进行认证,即在rsync上通过ssh隧道进行传输,类似于scp工具。此时同步操作不在局限于rsync中定义的同步文件夹。

注意:ssh认证方式,不需要服务器和客户端配置rsync配置文件,只需要双方都安装rsync服务,并且也不需要双方启动rsync。

若rsync服务端SSH为标准端口,此时rsync使用方式如下:

rsync -avz /root/test root@192.168.199.248:/root/

clip_image002

若rsync服务端SSH为非标准端口,可通过rsync的-e参数进行端口指定。使用方式如下:

rsync -avz /root/test -e 'ssh -p1234' root@192.168.199.248:/root/

clip_image003

五、安装rsync

安装rsync,我们可以分为两种方式:源码方式安装和RPM方式安装。

注意:rsync软件无论是服务器端还是客户端都是同一个软件包。

下面我们就一一讲解,这两种方式的安装方法。

5.1 源码方式安装

源码方式安装rsync,我们需要到其官网下载对应的安装包。rsync官网:rsync.samba.org。如下:

clip_image004

clip_image005

我们使用wget进行下载,如下:

wget http://rsync.samba.org/ftp/rsync/rsync-3.1.1.tar.gz

clip_image006

安装包下载完毕后,我们开始解压并安装。如下:

tar -xf rsync-3.1.1.tar.gz

./configure

make &&make install

clip_image006[1]

clip_image007

clip_image008

注意:源码安装rsync时,其编译时所需要的gcc库文件尽量提前安装完毕。

rsync源码安装会把rsync默认安装到/usr/local/目录下,我们可以通过相关帮助进行查看到。如下:

./configure --help

clip_image009

rsync安装完毕后,我们可以查看rsync的使用帮助。我们此时需要切换到/usr/local/bin目录下,如下:

/usr/local/bin

rsync -h

clip_image010

源码方式安装的rsync,要使其开机启动的话。我们可以直接把启动命令放入到rc.local文件中。如下:

echo "/usr/local/bin/rsync --daemon --config=/etc/rsyncd.conf">>/etc/rc.local

也可以写成:

echo "/usr/local/bin/rsync --daemon">>/etc/rc.local

cat /etc/rc.local

clip_image011

5.2 RPM方式安装

RPM方式安装rsync比较简单,直接使用yum进行安装即可。如下:

yum -y install rsync

clip_image012

查看rsync安装的位置,如下:

rpm -ql rsync-3.0.6-12.el6.x86_64

clip_image013

通过上图可以看到RPM方式安装的rsync是把rsync安装到/usr/bin目录下的,并且还生成一个/etc/xinetd.d/rsync文件。

查看安装时产生的帮助文档,如下:

more /usr/share/doc/rsync-3.0.6/README

clip_image014

安装结束后,我们可以查看下rsync命令所在的目录以及rsync的帮助。如下:

which rsync

rsync –-help

clip_image015

通过上图可以很明显的看到rsync确实被安装到了/usr/bin目录下。

RPM方式安装的rsync,要使其开机启动的话,我们也可以让其与源码方式安装的一样进行开机启动。

除此之外还有一种方法,可以使其开机启动。如果你注意观察的话,会发现rsync在安装时生成的/etc/xinetd.d/rsync文件。

在centos下rsync默认以xinetd方式运行rsync服务。所以RPM方式安装的话rsync,我们只需启动xinet服务即可。

但是在启动xinetd服务之前,我们还需要配置文件/etc/xinetd.d/rsync,如下:

vi /etc/xinetd.d/rsync

clip_image016

配置完毕后,我们还需要安装xinetd软件包,否则无法启动xinetd服务。如下:

yum -y install xinetd

/etc/init.d/xinetd start

chkconfig xinetd on

netstat -tunlp |grep 873

clip_image017

clip_image018

六、rsync命令参数详解

rsync安装完毕后,我们来查看下rsync命令的帮助,如下:

rsync --help

clip_image019

6.1 rsync几个重要参数

我们先在此大致介绍下经常使用的几个参数:-v,-a,-z,有关这些参数的具体说明详见这篇文章《烂泥:【转】rsync命令参数详解》。

-v, --verbose详细模式输出。

-a, --archive归档模式,表示以递归方式传输文件,并保持所有文件属性不变。

-z, --compress对备份的文件在传输时进行压缩处理。

--delete:删除那些DST中存在而在SRC中没有的文件。

6.2 rsync六种工作模式

除此上述几个参数之外,我们还注意到上图中rsync的七个命令格式:如下:

1)rsync [OPTION]... SRC [SRC]... DEST

2)rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

3)rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

4)rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST

5)rsync [OPTION]... [USER@]HOST:SRC [DEST]

6)rsync [OPTION]... [USER@]HOST::SRC [DEST]

7)rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

这七个命令格式就是代表rsync六种不同的工作模式,其中第四种和第七种模式没有多大的区别。在这几种模式中第三种和第六种模式是我们经常使用的,特别是第三种模式。

这六种模式总体上可以用两个词进行区分:推送、拉取。

推送就是在客户端上执行rsync命令,目的是把客户端需要同步的文件推送到服务器上。

拉取也是在客户端上执行rsync命令,目的是把服务器上的文件拉取到本地。

注意:无论是推送和拉取,rsync命令都是在客户端执行,只是命令的格式不同而已。

1) rsync [OPTION]... SRC [SRC]... DEST

同步本地文件,从一个目录同步到另外一个目录。如:rsync -avz /data /backup,表示把本地/data目录下的文件同步到本地/backup目录下。

2) rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST

使用一个远程shell程序(如rsh、ssh)来实现把本地的文件同步到远程机器上。此种方式属于推送方式如:rsync -avz /data test@192.168.199.247:/backup,表示把本地/data目录下的文件同步到服务器192.168.199.247的/backup目录下。

3) rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

把本地的文件同步到远程服务器上其中DEST表示的是rsync服务器的认证模块名。此种方式属于推送方式如:rsync -avz /data test@192.168.199.247::backup --password-file=/etc/rsyncd.password,表示把本地/data目录下的文件同步到服务器192.168.199.247的backup模块下path路径下。

4) rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST

列出远程机器的文件列表。这类似于ls命令,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://test@192.168.199.247/backup,表示在本机列出服务器192.168.199.247的/backup目录下的内容,如下:

clip_image020

5) rsync [OPTION]... [USER@]HOST:SRC [DEST]

把远程机器的文件同步到本地,此种方式属于拉取方式。如:rsync -avz test@192.168.199.247:/backup /data,表示把192.168.199.247的/backup目录下文件同步到本地/data目录下。

6) rsync [OPTION]... [USER@]HOST::SRC [DEST]

把远程机器的文件同步到本地,此种方式属于拉取方式。如:rsync -avz test@192.168.199.247::backup --password-file=/etc/rsyncd.password /data,表示把192.168.199.247的backup模块path路径下的文件同步到本地/data目录下。

七、配置rsync

rsync安装完毕后,我们就需要配置rsync。而对于rsync服务器来说,最重要和最复杂的就是它的配置了。

rsync的配置分为服务器端和客户端,下面我们分开一一讲解。

7.1 rsync服务器端配置

rsync服务器端需要两个配置文件:rsyncd.conf、rsyncd.password。

其中rsyncd.conf默认存放在/etc/目录下,同时它也是rsync服务器的主配置文件。该文件配置了rsync服务器的控制认证、访问、日志记录等等。而rsyncd.password主要用于存储rsync用户名和密码。

但是在rsync安装完毕后后是不会生成以上这两个配置文件的,需要我们手工进行创建。

rsyncd.conf配置文件内容如下:

cat /etc/rsyncd.conf

uid = root

gid = root

user chroot = no

max connections = 200

timeout = 600

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsyncd.lock

log file = /var/run/rsyncd.log

[backup]

path = /backup/

ignore errors

read only = no

list = no

hosts allow = 192.168.199.0/255.255.255.0

auth users = test

secrets file = /etc/rsyncd.password

[www]

path = /www/

ignore errors

read only = no

list = no

hosts allow = 192.168.199.0/255.255.255.0

auth users = apache

secrets file = /etc/rsyncd.password

clip_image021

有关rsync配置文件的详细讲解,看下篇文章《烂泥:rsync配置文件详解》。

rsync默认是在nobody用户下运行的,但是我们为了以后同步时不为各种权限的事情烦恼,就让其在root用户下运行。

配置文件创建完毕后,我们来创建密码文件。如下:

echo "test:test">>/etc/rsyncd.password

echo "apache:apache">>/etc/rsyncd.password

cat /etc/rsyncd.password

clip_image022

注意:该密码文件中的用户和密码可以进行自定义,同时该用户不一定要在服务器中的系统用户存在。

clip_image023

密码文件创建完毕后,要把其权限要设置为600,否则会在以后同步时提示验证出错。如下:

chmod 600 /etc/rsyncd.password

clip_image024

一个rsync配置文件中可以包含多个认证模块,同时一个密码文件中也可以存放多个用户和其对应的密码。其中每一个认证模块可以对应不同的客户端。

以上两个文件创建完毕后,我们来创建其对应的目录并授权,如下:

mkdir /{backup,www}

chown root:root –R /backup/

chown root:root –R /www/

clip_image025

clip_image026

以上就是rsync服务器端的配置。

7.2 rsync客户端配置

rsync客户端配置与服务器端相比差别还是比较大的。

在客户端安装完毕rsync服务后,是不需要启动rsync服务的。我们只需要在客户端创建连接rsync服务器时,验证码用户所需要的密码文件即可。

该密码文件中的密码要与rsync服务器上的密码文件中的密码对应,并且也要与rsync服务器rsyncd.conf配置文件中的认证模块中的用户匹配。

当然该密码文件不创建也是可以的,不创建的话。我们在执行rsync操作时,就需要输入rsync的对应用户的密码。如下:

echo "apache">>/etc/rsyncd.password

chmod 600 /etc/rsyncd.password

clip_image027

注意:该密码文件中只能存放一个用户的密码,并且该文件与rsync服务器端的密码文件一样也需要把其权限设置为600。

以上就是rsync客户端的配置。

八、rsync的启动与关闭

rsync服务器端与客户端都配置完毕后,我们就可以来启动rsync服务器,并且也可以关闭rsync服务。

8.1 启动rsync服务

在前面我们讲过rsync-daemon认证方式,需要服务器和客户端都安装rsync服务,并且只需要rsync服务器端启动rsync,同时配置rsync配置文件,客户端启动不启动rsync服务。

在此我们只讲解rsync-daemon认证方式的启动。有关rsync使用ssh方式认证,我们就不在此讲解了,如果有想了解的童鞋,可以看看6.2章节的rsync六种工作模式。

如果是源码方式安装的rsync,我们可以使用rsync –daemon来启动rsync。如下:

echo PATH=$PATH:/usr/local/bin/>>/etc/profile

source /etc/profile

rsync --daemon

ps aux |grep rsync

netstat -tunlp |grep 873

clip_image028

注意:上述命令行中,只有rsync --daemon才是启动rsync的命令。并且该命令启动时,会默认加载/etc/rsyncd.conf文件。

所以如果rsync的配置文件不在/etc目录下或者rsync配置文件名不为rsyncd.conf,那么我们在启动rsync服务时,就要手工加上该配置文件的完整路径。方法如下:

rsync --daemon --config=/etc/rsyncd.conf

clip_image029

有关如何加载该配置文件,我们可以通过rsync --daemon --help进行查看。如下:

rsync --daemon --help

clip_image030

如果是RPM方式安装的rsync,我们在5.2章节RPM方式安装rsync中已经讲解过了,可以通过启动xinetd服务来启动rsync。如下:

/etc/init.d/xinetd start

clip_image031

以上就是rsync服务的启动,下面我们开始介绍如何关闭rsync服务。

8.2 关闭rsync服务

要关闭rsync服务,如果是源码方式安装的,我们可以直接通过pkill rsync命令进行关闭。如下:

pkill rsync

clip_image032

如果是通过yum方式进行安装的,我们可以通过关闭xinetd服务来达到关闭rsync服务的目的。如下:

/etc/init.d/xinetd stop

clip_image033

除了以上两种方法之外,我们还可以通过比较暴力的方法关闭rsync服务。如下:

kill -9 6780

clip_image034

九、rsync同步实例

rsync服务正常启动后,我们就要切换到客户端来实际同步一个文件。

现在rsync服务器是192.168.199.247,rsync客户端为192.168.199.248。

首先在rsync服务器192.168.199.247的www模块下/www/目录下新建一个文件ilanni247,内容如下:

ifconfig eth1|grep "inet addr"|awk '{print $2}'|cut -d: -f2

vi /www/ilanni247

this is server 247 www.

clip_image035

然后在rsync客户端192.168.199.248的/root下新建一个www目录,并在此目录下创建一个文件ilanni248,内容如下:

ifconfig eth1|grep "inet addr"|awk '{print $2}'|cut -d: -f2

mkdir www

vi /www/ilanni248

this is client 248 www.

clip_image036

9.1 把248文件推送到247上

要把rsync客户端192.168.199.248文件推送到rsync服务器192.168.199.247上,我们需要使用到rsync帮助命令中的第三种命令,如下:

rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST

有关这个命令的作用,我们在前面已经介绍过了,就是把本地的文件同步到远程服务器上。

具体使用方法,如下:

rsync -avz /root/www/* apache@192.168.199.247::www --password-file=/etc/rsyncd.password

clip_image037

clip_image038

这条命令的作用是把/root/www目录下的所有文件同步到192.168.199.247服务器的www模块下。

如果要把/root/www/ilannidir目录本身同步到192.168.199.247服务器的www模块下的话,命令如下:

rsync -azv /root/www/ilannidir apache@192.168.199.247::www --password-file=/etc/rsyncd.password

或者:

rsync -azv /root/www/ilannidir apache@192.168.199.247::www --password-file=/etc/rsyncd.password

clip_image039

clip_image040

通过上图,我们可以看到本地确实已经把文件与目录同步到rsync服务器上了。

9.2 把247文件拉取到248上

要把rsync服务器192.168.199.247的文件拉取到rsync客户端192.168.199.248上,我们需要使用到rsync帮助命令中的第六个命令,如下:

rsync [OPTION]... [USER@]HOST::SRC [DEST]

有关这个命令的作用,我们在前面已经介绍过了,就是把远程机器的文件同步到本地。

具体使用方法,如下:

rsync -avz apache@192.168.199.247::www --password-file=/etc/rsyncd.password /root/www/

clip_image041

这条命令的作用是把192.168.199.247服务器的www模块下所有文件同步到本机的/root/www/目录下。

posted @ 2015-01-14 11:22  烂泥行天下  阅读(11833)  评论(1编辑  收藏  举报
秀依林枫http://xiuylf.taobao.com㊣烂泥行天下http://www.ilanni.com