呆雁

摘要： Map/Reduce这部分文档为用户将会面临的Map/Reduce框架中的各个环节提供了适当的细节。这应该会帮助用户更细粒度地去实现、配置和调优作业。然而，请注意每个类/接口的javadoc文档提供最全面的文档；本文只是想起到指南的作用。我们会先看看Mapper和Reducer接口。应用程序通常会通... 阅读全文

摘要： eclipse中的 调试运行 及 “run on hadoop”默认只是运行在单机上的，因为要想在集群中让程序分布式运行还要经历上传类文件、分发到各个节点等过程，一个简单的“run on hadoop”只是启动了本地hadoop类库来运行你的程序而已，在Hadoop cluster的web管理页面（... 阅读全文

摘要： 问题描述： 在hadoop中运行应用，出现了running beyond virtual memory错误。提示如下：Container [pid=28920,containerID=container_1389136889967_0001_01_000121] is running beyond ... 阅读全文

摘要： 问题描述： 在hadoop中处理多个文件，其中每个文件一个map。 我使用的方法为生成一个文件，文件中包含所有要压缩的文件在HDFS上的完整路径。每个map 任务获得一个路径名作为输入。 在eclipse中调试时，map中处理hdfs上的文件用到的FileSystem对象为整个class... 阅读全文