Hadoop入门学习笔记---part4

　　紧接着《Hadoop入门学习笔记---part3》中的继续了解如何用java在程序中操作HDFS。

      众所周知，对文件的操作无非是创建，查看，下载，删除。下面我们就开始应用java程序进行操作，前提是按照《Hadoop入门学习笔记---part2》中的已经在虚拟机中搭建好了Hadoop伪分布环境；并且确定现在linux操作系统中hadoop的几个进程已经完全启动了。

     好了，废话不多说！实际的例子走起。

   在myeclipse中新建一个java工程：

    在项目工程中新建一个lib包用于存放项目需要的相关jar包，关于build path我就不多说了。相关jar包如下：

　　　　

　　1. 创建文件：

public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";   //创建文件的url
    public static void main(String[] args) {
        try {
            URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
            final URL url = new URL(HDFS_PATH);
            final InputStream in = url.openStream();
            IOUtils.copyBytes(in, System.out, 1024, true);
        } catch (Exception e) {
            e.printStackTrace();
        }

 

       在浏览器中查看效果：输入http://hadoop:50070/ 然后点击Browse the filesystem 就可以查看到在HDFS根目录下刚刚新建的那个文件了。

　　　　

　　2. 上传文件：首先应该明白的就是上传首先需要在HDFS中创建，然后以流的形式写入。

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
  // 上传文件
 final FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
 final FileInputStream in = new FileInputStream("H:/redTestFileForHadoop");
 IOUtils.copyBytes(in, out, 1024, true);

 

      效果如下：直接在浏览器中打开。

　　(上传1)

---------------------------------------分割线---------------------------------------------------------

　　　　(上传2)

　　3. 下载文件，直接输出到控制台，也可以单独将这个写入到一个文件里面，这里就不介绍了，代码如下：

public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
 // 下载文件
 final FSDataInputStream in = fileSystem.open(new Path(FILE_PATH));
 IOUtils.copyBytes(in, System.out,1024, true);

      效果图如下：

 　　　　

　　4. 删除文件：　　　

 public static final String HDFS_PATH = "hdfs://hadoop:9000/";
 final FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
 fileSystem.delete(new Path(FILE_PATH), true);

 

     效果就不用说了，直接在浏览器中看不到这个文件了。

     很多时候看起来很复杂的东西其实是自己心里面的认可，实际上也没有想象中的那么难！好好体验一下吧。瞬间感觉这个和我们平常用到的云网盘有几分一样了。哈哈，不妨做一个属于自己的云网盘。绝对可以的！

 

作者：itRed                                  邮箱：it_red@sina.com            
博客：http://www.cnblogs.com/itred          个人网站：http://wangxingyu.jd-app.com
***版权声明：本文版权归作者和博客园共有，欢迎转载，但请在文章显眼位置标明文章出处。未经本人书面同意，将其作为他用，本人保留追究责任的所有权利。

 

posted on 2015-01-04 20:59  itRed  阅读(855)  评论(0)  编辑  收藏  举报

导航