摘要：主要设置参数：mapred.task.profile 是否对任务进行profiling，调用java内置的profile功能，打出相关性能信息mapred.task.profile.{maps|reduces} 对几个map或reduce进行profiling。非常影响速度，建议在小数据量上尝试... 阅读全文

摘要：启用Heap DumpIn each script, there is an export for *_OPTS, which contains the options passed to the JVM. For example, in the hadoop-env.sh script, the ... 阅读全文

摘要：public class SequenceFilesTest { @Test public void testSeqFileReadWrite() throws IOException { Configuration conf = new Configuration(); FileS... 阅读全文

摘要：前言在本文档中，你将了解到如何用Java接口读写Hadoop分布式系统中的文件，以及编码的转换等问题。其中有些细节，在你不知道的时候，是非常容易出错的。这边读写文件分以下三种情况：1. 在非Map Reduce过程中读写分布式文件系统中的文件比如说，你想自己遍历一个文件，想截断一个文件，都属于这种方... 阅读全文