HDFS-客户端操作（二）通过API操作HDFS

HDFS-客户端操作（二）通过API操作HDFS

一、HDFS获取文件系统

详细代码

package Day01;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.junit.Test;

import java.io.IOException;

public class HDFSAPI {

    /**
     * IO的方式写代码
     * 打印本地Hadoop地址值
     * @throws IOException
     */
    @Test
    public void intiHDFS() throws IOException {
        //下面的这些方法参数都是关于：org,apache,hadoop,fs
        //1.创建配置信息对象   后推前自动补全：ctrl+alt+v
        Configuration conf = new Configuration();

        //2.获取文件系统
        //f2:快速定位错误  alt+enter:自动找错误
        FileSystem fs = FileSystem.get(conf); //选第一个---抛出异常

        //3.打印文件系统
        System.out.println(fs.toString());
        
    }
}

二、HDFS文件上传

/**
 * 本地上传文件到HDFS
 * @throws Exception
 */
@Test
    public void putFileToHDFS() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.设置部分参数  ctrl+p：给予参数提示
          //1）set()的name看：
            // # cd /opt/module/hadoop-2.8.4/etc/hadoop/
            // # vi hdfs-site.xml 中的数据冗余数<name>：dfs.replication
          //2）set()的value-备份数，设为2
        conf.set("dfs.replication","2");

        //3.找到HDFS的地址
                                      //new URI(java.net--集群的地址)     ，配置   ，用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"),conf,"root");

        //4.上传本地文件的路径
        Path src = new Path("D:/tunshu2.jpg");

        //5.要上传到HDFS的路径
        Path dst = new Path("hdfs://bigdata111:9000/");

        //6.以拷贝的方式上传  从src-->dst
        fs.copyFromLocalFile(src,dst);

        //7.关闭
        fs.close(); //抛异常，并将IO去掉
        System.out.println("OK!");
    }

一个数据库块默认是128MB

下面上传一个204MB的文件

/**
     * 本地上传文件到HDFS
     * 注意：如果上传的内容大于128MB则为两个数据块
     */
    @Test
    public void putFileToHDFS() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.设置部分参数  ctrl+p：给予参数提示
          //1）set()的name看：
            // # cd /opt/module/hadoop-2.8.4/etc/hadoop/
            // # vi hdfs-site.xml 中的数据冗余数<name>：dfs.replication
          //2）set()的value-备份数，设为2
        conf.set("dfs.replication","2");

        //3.找到HDFS的地址
                                      //new URI(java.net--集群的地址)     ，配置   ，用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"),conf,"root");

        //4.上传本地文件的路径
        Path src = new Path("D:\\idealC\\Hadoop\\hadoop-2.7.2.rar");

        //5.要上传到HDFS的路径
        Path dst = new Path("hdfs://bigdata111:9000/A");

        //6.以拷贝的方式上传  从src-->dst
        fs.copyFromLocalFile(src,dst);

        //7.关闭
        fs.close(); //抛异常，并将IO去掉
        System.out.println("OK!");
    }

上传成功后点击上传好的hadoop-2.7.2.rar文件--》查看Block information里面有两个Block（0和1）-->分别点进去并将里面信息的Size项相加再连除两次1024得到的就是204MB这个文件的大小。也就是说它是用两个块来储存的。

三、HDFS文件下载

/**
     * 从HDFS下载文件到本地Windows上
     */
    @Test
    public void getFileFromHDFS() throws Exception {
        //1.创建配置信息对象 Configuration:配置
        Configuration conf = new Configuration();

        //2.找到文件系统
        //final URI uri ：HDFS地址
        // final Configuration conf：配置信息
        // String user：Linux用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.下载文件
        //boolean delSrc ：是否将源文件删除
        //Path src：下载的路径
        //Path dst：要下载到哪
        //boolean useRawLocalFileSystem：是否校验文件
        fs.copyToLocalFile(false,new Path("hdfs://bigdata111:9000/README.txt"),
                new Path("D:/HDFS/README.txt"),true);

        //4.关闭fs  alt+enter:找错
        fs.close();  //抛异常-去掉IO
        //ctrl+alt+o：可以去除没有用的导包

        System.out.println("OK!");

    }

 

四、HDFS目录创建

/**
     * 四、创建文件夹
     */
    @Test
    public void mkdirHDFS() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.连接文件系统
        //final URI uri ：HDFS地址
        // final Configuration conf：配置信息
        // String user：Linux用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.创建目录
        fs.mkdirs(new Path("hdfs://bigdata111:9000/Good"));

        //4.关闭
        fs.close(); //抛异常--去掉IO，因为Exception是最高级别异常，避免反复修改
    }

五、HDFS文件夹删除

 /**
     * 五、HDFSAPI 删除文件
     */
    @Test
    public void deleteFromHDFS() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.连接文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.删除文件
        //Path var1 :地址
        //boolean var2：是否递归删除
        fs.delete(new Path("hdfs://bigdata111:9000/Good"),true);

        //4.关闭
        fs.close();

        System.out.println("OK!");
    }

六、HDFS文件名更改

@Test

public void renameAtHDFS() throws Exception{

    // 1 创建配置信息对象

    Configuration configuration = new Configuration();

    

    FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000"),configuration, "itstar");

 

    //2 重命名文件或文件夹

    fs.rename(new Path("hdfs://bigdata111:9000/user/itstar/hello.txt"),new Path("hdfs://bigdata111:9000/user/itstar/hellonihao.txt"));

    fs.close();

}

七、HDFS文件详情查看

查看文件名称、权限、长度、块信息

/**
     *七、查看【文件】名称、权限等
     */
    @Test
    public void readListFiles() throws Exception {
        //1.创建配置信息对象
        Configuration conf = new Configuration();

        //2.连接文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.迭代器-列出所有文件
        //final Path f：路径
        //final boolean recursive: 是否迭代
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

        //4.遍历迭代器
        while (listFiles.hasNext()){
            //一个一个地出
            LocatedFileStatus fileStatus = listFiles.next();
            //名字
            System.out.println("文件名："+fileStatus.getPath().getName());
            //块大小
            System.out.println("块容量："+fileStatus.getBlockSize());
            //权限
            System.out.println("权限："+fileStatus.getPermission());
            //长度
            System.out.println("文件大小："+fileStatus.getLen());

            //针对每一个文件，得到块地址
            BlockLocation[] locations = fileStatus.getBlockLocations();
            //打印出每一块
            for(BlockLocation bl:locations){
                //块所处的位置--.getOffget()偏移量
                System.out.println("-----块的分割线-----");
                System.out.println("块偏移量: "+bl.getOffset());
                System.out.println("此块大小："+bl.getLength());
                //对于每一块，得到主机名
                String [] hosts=bl.getHosts();
                for(String host:hosts) {
                    System.out.println("主机名："+host);
                }
            }
            System.out.println("**********文件的分割线**********");
        }
    }

八、HDFS文件和文件夹判断

/**
     * 八、判断是否是一个文件夹
     */
    @Test
    public void judge() throws Exception {
        //1.创建配置文件信息对象
        Configuration conf = new Configuration();

        //2.获取文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://bigdata111:9000/"), conf, "root");

        //3.遍历所有内容（文件、非文件）
        //listStatus()不支持迭代
        FileStatus[] listStatus = fs.listStatus(new Path("/"));
        for(FileStatus status:listStatus){
            //判断是否是文件
            if(status.isFile()){
                //ctrl+d:复制一行
                //ctrl+s:剪切一行，也可以用来删除一行
                System.out.println(status.getPath().getName()+"是文件");
            }else{
                System.out.println(status.getPath().getName()+"是目录");
            }
        }
    }