HDFS-客户端操作（三）通过IO流操作HDFS

HDFS-客户端操作（三）通过IO流操作HDFS

一、通过IO流上传文件到HDFS

/**
     * 一、IO流方式上传到HDFS
     */
    @Test
    public void putFileToHDFSIO(){
        //1.创建配置信息对象 Configuration:配置
        Configuration conf = new Configuration();

        //2.找到文件系统
        FileSystem fs = null;
        try {
            fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

        //3.创建输入流
        FileInputStream fis = null;
        try {
            fis = new FileInputStream(new File("D:/f1.txt"));
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }

        //4.输出路径
                                                 // 注意： 需要指定一个名字
        Path writePath = new Path("hdfs://bigdata111:9000/A/123");
        FSDataOutputStream fos = null;
        try {
            fos = fs.create(writePath);
        } catch (IOException e) {
            e.printStackTrace();
        }

        //5.流对接
        //InputStream in：输入流
        //OutputStream out：输出流
        //int buffSize：缓冲区大小
        //boolean close：是否关闭
        try {
            IOUtils.copyBytes(fis,fos,4*1024,false);
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(fis);
            IOUtils.closeStream(fos);
        }
    }

二、IO方式读取HDFS文件到控制台

    /**
     * 二、IO方式读取HDFS到控制台
     * @throws Exception
     */
    @Test
    public void getFileFromHDFSIO() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.连接文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.读取路径
        Path readPath = new Path("hdfs://bigdata111:9000/A/123");

        //4.输入
        FSDataInputStream fis = fs.open(readPath);

        //5.输出到控制台
        //InputStream in：输入流
        //OutputStream out：输出流
        //int buffSize：缓冲区大小
        //boolean close：是否关闭
        IOUtils.copyBytes(fis,System.out,4*1024,false);
    }

三、定位文件读取

    /**
     * 三、定位文件读取（一）
     * @throws Exception
     */
    @Test
    public void readFileSeek1() throws Exception {
        //1.创建配置文件信息
        Configuration conf = new Configuration();

        //2.获取文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000"), conf, "root");

        //3.输入路径
        Path path = new Path("hdfs://bigdata111:9000/A/hadoop-2.7.2.rar");
        FSDataInputStream fis = fs.open(path);

        //4.输出
        FileOutputStream fos = new FileOutputStream("D:/HDFS/A1");

        //5.流对接
        byte[] buf= new byte[1024];
        for(int i=0;i<128*1024;i++){
            fis.read(buf);
            fos.write(buf);
        }
        //6.关闭流
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
    }

    /**
     * 三、定位文件读取（二）
     * @throws Exception
     */
    @Test
    public void readFileSeek2() throws Exception {
        //1.创建配置文件信息
        Configuration conf = new Configuration();

        //2.获取文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000"), conf, "root");

        //3.输入路径、输出流
        Path path = new Path("hdfs://bigdata111:9000/A/hadoop-2.7.2.rar");
        FSDataInputStream fis = fs.open(path);

        //4.输出
        FileOutputStream fos = new FileOutputStream("D:/HDFS/A2");

        //5.定位偏移量/offse/游标/读取进展（目的：找到第一块的尾巴，第二块的开头）
        fis.seek(128*1024*1024);

        //6.流对接
        IOUtils.copyBytes(fis,fos,1024);

        //7.关闭流
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
    }

合并文件

在window命令窗口-cmd中执行

type A2 >> A1  然后更改后缀为rar即可

查看A1的大小变为204MB-源文件的总大小