服务器&集群之间的文件复制与拷贝

安全拷贝：scp（secure copy）

scp可以实现服务器与服务器之间的数据拷贝（from server1 to server2）

命令 递归 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

1：cdh1 文件 拷贝到 cdh2

[root@cdh1 home]# scp -r WordCount.jar root@cdh2:/home/
WordCount.jar                                                                                                    100%   12KB   3.5MB/s   00:00

[root@cdh2 home]# ll
total 20
drwx------. 15 admin admin  4096 Feb 27 12:08 admin
drwxr-xr-x.  9 root  root    139 Mar  5 19:23 tools
-rw-r--r--   1 root  root  12528 May 23 20:27 WordCount.jar

2：cdh1 拷贝cdh2文件 到cdh3

[root@cdh1 home]# scp -r root@cdh2:/home/WordCount.jar root@cdh3:/home/
WordCount.jar                                                                                                100%   12KB   4.5MB/s   00:00    
Connection to cdh2 closed.

[root@cdh3 home]# ll
total 20
drwx------. 15 admin admin  4096 Apr 10 14:05 admin
drwxr-xr-x.  9 root  root    139 Mar  5 19:22 tools
-rw-r--r--   1 root  root  12528 May 23 20:32 WordCount.jar

远程同步工具：rsync

rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点

命令 选项参数 要拷贝的文件路径/名称 目的用户@主机:目的路径/名称

参数：-a 归档拷贝  -v 显示复制过程

cdh1文件夹 同步到 cdh2

[root@cdh1 home]# rsync -av DataDemo/ root@cdh2:/home/DataDemo
sending incremental file list
./
Demo2.txt
Demo3.txt

sent 269 bytes  received 69 bytes  676.00 bytes/sec
total size is 118  speedup is 0.35

[root@cdh2 home]# ll DataDemo/
total 8
-rw-r--r-- 1 root root 87 May 23 20:49 Demo2.txt
-rw-r--r-- 1 root root 31 May 22 21:53 Demo3.txt

总结：

1：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。
2：scp是把所有文件都复制过去

-- 附上用shell命令解决集群文件相互复制

Linux集群分发脚本xsync - uestc2007 - 博客园 (cnblogs.com)