2013年1月30日

命令行运行hadoop实例wordcount程序

摘要： http://blog.csdn.net/xw13106209/article/details/6862480需要说明的有以下几点。1.如果wordcount程序不含层次，即没有package那么使用如下命令：[cpp]view plaincopyhadoopjarwordcount.jarWordCount2/home/hadoop/input/20418.txt/home/hadoop/output/wordcount2-6该命令行的意思大致是：执行hadoop 程序，该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件，分别是WordCount.j 阅读全文

posted @ 2013-01-30 12:41 imkun 阅读(1452) 评论(0) 推荐(0) 编辑

hadoop实例WordCount程序一步一步运行

摘要： http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html虽说现在用Eclipse下开发hadoop程序很方便了，但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记，记录下来以备查。 1. 经典的WordCound程序（WordCount.java），可参见hadoop0.18文档import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.ut. 阅读全文

posted @ 2013-01-30 12:39 imkun 阅读(477) 评论(0) 推荐(0) 编辑

用 Hadoop 进行分布式并行编程

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/前言在上一篇文章：“用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署”中，介绍了 MapReduce 计算模型，分布式文件系统 HDFS，分布式并行计算等的基本原理, 并且详细介绍了如何安装 Hadoop，如何运行基于 Hadoop 的并行程序。在本文中，将针对一个具体的计算任务，介绍如何基于 Hadoop 编写并行程序，如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。回页首分析 Word 阅读全文

posted @ 2013-01-30 12:36 imkun 阅读(1441) 评论(0) 推荐(0) 编辑

Hadoop建立Cluster实例

摘要： 原文地址：http://book.51cto.com/art/201211/363795.htmqueue的有效性很依赖在JobTracker中通过mapreduce.jobtracker.taskscheduler设置的调度规则（scheduler）。一些调度算法可能只需要一个queue，不过有些调度算法可能很复杂，需要设置很多queue。对queue大部分设置的更改都不需要重新启动MapReduce系统就可以生效，不过也有一些更改需要重启系统才能有效，具体如表2-5所示。conf/mapred-queues.xml的文件配置与其他文件略有不同，配置格式如下：<queues aclsE 阅读全文

posted @ 2013-01-30 10:18 imkun 阅读(675) 评论(0) 推荐(0) 编辑

导航