2012年12月11日

得到mapper task所处理的文件的文件名
摘要： 有时候，当我们在使用hadoop处理数据时，我们想知道mapper所处理的这个file chunk（文件块）在hdfs中的文件名是什么。将下面的代码加入你的mapper中，可以得到当前mapper所处理输入文件的文件名:1 FileSplit fileSplit = (FileSplit)context.getInputSplit();2 String filename = fileSplit.getPath().getName();3 System.out.println("File name "+filename);4 System.out.println(" 阅读全文
posted @ 2012-12-11 13:14 brainworm 阅读(262) 评论(0) 推荐(0)
读取hdfs文件系统里的文件
摘要： hadoop的文件系统在程序代码里面用起来就如我们本地的文件系统一样，可以从里面读取文件，存入文件，等等。下面我们来演示一个从hdfs中的一个目录里，读取这个目录下所有文件的文件名的程序。 1 import org.apache.hadoop.conf.Configuration; 2 import org.apache.hadoop.fs.*; 3 import org.apache.hadoop.mapreduce.lib.input.FileSplit; 4 import org.junit.Test; 5 6 import java.io.IOException; 7 import . 阅读全文
posted @ 2012-12-11 10:27 brainworm 阅读(580) 评论(0) 推荐(0)

导航