2017年3月14日
使用distcp并行拷贝大数据文件
摘要： 以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。 distcp的典型应用就是在两个HDFS集群中拷贝文件，如果两个集群使用的Hadoop版本相同，可以使用hdfs标识符： % hadoop distcp hdfs:// 阅读全文
posted @ 2017-03-14 18:22 大葱拌豆腐 阅读(708) 评论(0) 推荐(0)