1 2 1

HDFS文件下载 

  1 //文件下载
  2 @Test
  3 	public void testCopyToLocalFile() throws IOException,InterruptedException,URISyntaxException{
  4 
  5 		//1.获取文件系统
  6 		Configuration configuration = new Configuration();
  7 		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.12.161:9000"), configuration, "hadoop");
  8 		//2.执行下载操作
  9 		//boolean delSrc 指是否将原文件删除
 10 		//Path src 值要下载的文件路径
 11 		//Path dst 指将文件下载到的路径
 12 		//boolean useRawLocalFileSystem 是否开启文件校验
 13 		fs.copyToLocalFile(false, new Path("/qiuyun.txt"),new Path("d:/Hadoop/HDFS/nanzhou.txt"));
 14 		//3.关闭资源
 15 		fs.close();
 16 	}

*特别注意是 copyToLocalFile 而不是 copyFromLocalFile

  在 fs.copyToLocalFile(false, new Path("/qiuyun.txt"),new Path("d:/Hadoop/HDFS/nanzhou.txt")); 中，第一个 new Path 路径是指向hdfs上的路径，第二个 new Path 路径是指向本机存放的路径

  在第二个new path后面可以添加 true ，采用本地模式，文件下载后就不会有crc文件出现

校验文件

posted @ 2019-10-08 14:59  NotFound-404  阅读(255)  评论(0)    收藏  举报