摘要：http://blog.csdn.net/xw13106209/article/details/6862480需要说明的有以下几点。1.如果wordcount程序不含层次，即没有package那么使用如下命令：[cpp]view plaincopyhadoopjarwordcount.jarWordCount2/home/hadoop/input/20418.txt/home/hadoop/output/wordcount2-6该命令行的意思大致是：执行hadoop 程序，该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件，分别是WordCount.j 阅读全文

摘要：http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html虽说现在用Eclipse下开发hadoop程序很方便了，但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记，记录下来以备查。 1. 经典的WordCound程序（WordCount.java），可参见hadoop0.18文档import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.ut. 阅读全文

摘要：https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/前言在上一篇文章：“用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署”中，介绍了 MapReduce 计算模型，分布式文件系统 HDFS，分布式并行计算等的基本原理, 并且详细介绍了如何安装 Hadoop，如何运行基于 Hadoop 的并行程序。在本文中，将针对一个具体的计算任务，介绍如何基于 Hadoop 编写并行程序，如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。回页首分析 Word 阅读全文

摘要：原文地址：http://book.51cto.com/art/201211/363795.htmqueue的有效性很依赖在JobTracker中通过mapreduce.jobtracker.taskscheduler设置的调度规则（scheduler）。一些调度算法可能只需要一个queue，不过有些调度算法可能很复杂，需要设置很多queue。对queue大部分设置的更改都不需要重新启动MapReduce系统就可以生效，不过也有一些更改需要重启系统才能有效，具体如表2-5所示。conf/mapred-queues.xml的文件配置与其他文件略有不同，配置格式如下：<queues aclsE 阅读全文

摘要：本书能满足读者全面学习最新的Hadoop技术及其相关技术（Hive、HBase等）的需求，是一本系统且极具实践指导意义的Hadoop工具书和参考书。第1版上市后广受好评，被誉为学习Hadoop技术的经典著作之一。与第1版相比，第2版技术更新颖，所有技术都针对最新版进行了更新；内容更全面，几乎每一个章节都增加了新内容，而且增加了新的章节；实战性更强，案例更丰富；细节更完美，对第1版中存在的缺陷和不足进行了修正。本书内容全面，对Hadoop整个技术体系进行了全面的讲解，不仅包括HDFS、MapReduce、YARN等核心内容，而且还包括Hive、HBase、Mahout、Pig、ZooKeeper 阅读全文