Hadoop入门学习笔记---part4

  紧接着《Hadoop入门学习笔记---part3》中的继续了解如何用java在程序中操作HDFS。

      众所周知,对文件的操作无非是创建,查看,下载,删除。下面我们就开始应用java程序进行操作,前提是按照《Hadoop入门学习笔记---part2》中的已经在虚拟机中搭建好了Hadoop伪分布环境;并且确定现在linux操作系统中hadoop的几个进程已经完全启动了。

     好了,废话不多说!实际的例子走起。

   在myeclipse中新建一个java工程:

    在项目工程中新建一个lib包用于存放项目需要的相关jar包,关于build path我就不多说了。相关jar包如下:

    

  1. 创建文件:

public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";   //创建文件的url
    public static void main(String[] args) {
        try {
            URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
            final URL url = new URL(HDFS_PATH);
            final InputStream in = url.openStream();
            IOUtils.copyBytes(in, System.out, 1024, true);
        } catch (Exception e) {
            e.printStackTrace();
        }

 

       在浏览器中查看效果:输入http://hadoop:50070/ 然后点击Browse the filesystem 就可以查看到在HDFS根目录下刚刚新建的那个文件了。

    

  2. 上传文件:首先应该明白的就是上传首先需要在HDFS中创建,然后以流的形式写入。

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
  // 上传文件
 final FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
 final FileInputStream in = new FileInputStream("H:/redTestFileForHadoop");
 IOUtils.copyBytes(in, out, 1024, true);

 

      效果如下:直接在浏览器中打开。

  (上传1)

---------------------------------------分割线---------------------------------------------------------

    (上传2)

  3. 下载文件,直接输出到控制台,也可以单独将这个写入到一个文件里面,这里就不介绍了,代码如下:

public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
 // 下载文件
 final FSDataInputStream in = fileSystem.open(new Path(FILE_PATH));
 IOUtils.copyBytes(in, System.out,1024, true);

      效果图如下:

     

  4. 删除文件:   

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
 fileSystem.delete(new Path(FILE_PATH), true);

 

     效果就不用说了,直接在浏览器中看不到这个文件了。

     很多时候看起来很复杂的东西其实是自己心里面的认可,实际上也没有想象中的那么难!好好体验一下吧。瞬间感觉这个和我们平常用到的云网盘有几分一样了。哈哈,不妨做一个属于自己的云网盘。绝对可以的!

 

作者:itRed                                  邮箱:it_red@sina.com            
博客:http://www.cnblogs.com/itred          个人网站:http://wangxingyu.jd-app.com
***版权声明:本文版权归作者和博客园共有,欢迎转载,但请在文章显眼位置标明文章出处。未经本人书面同意,将其作为他用,本人保留追究责任的所有权利。

 

posted on 2015-01-04 20:59  itRed  阅读(...)  评论(... 编辑 收藏

导航

统计