2013年1月30日

命令行运行hadoop实例wordcount程序

摘要: http://blog.csdn.net/xw13106209/article/details/6862480需要说明的有以下几点。1.如果wordcount程序不含层次,即没有package那么使用如下命令:[cpp]view plaincopyhadoopjarwordcount.jarWordCount2/home/hadoop/input/20418.txt/home/hadoop/output/wordcount2-6该命令行的意思大致是:执行hadoop 程序,该程序在wordcount.jar中。该wordcount.jar包含以下几个class文件,分别是WordCount.j 阅读全文

posted @ 2013-01-30 12:41 imkun 阅读(1451) 评论(0) 推荐(0) 编辑

hadoop实例WordCount程序一步一步运行

摘要: http://www.cnblogs.com/flying5/archive/2011/05/04/2078408.html虽说现在用Eclipse下开发hadoop程序很方便了,但是命令行方式对于小程序开发验证很方便。这是初学hadoop时的笔记,记录下来以备查。 1. 经典的WordCound程序(WordCount.java),可参见hadoop0.18文档import java.io.IOException;import java.util.ArrayList;import java.util.Iterator;import java.util.List;import java.ut. 阅读全文

posted @ 2013-01-30 12:39 imkun 阅读(477) 评论(0) 推荐(0) 编辑

用 Hadoop 进行分布式并行编程

摘要: https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop2/前言在上一篇文章:“用 Hadoop 进行分布式并行编程 第一部分 基本概念与安装部署”中,介绍了 MapReduce 计算模型,分布式文件系统 HDFS,分布式并行计算等的基本原理, 并且详细介绍了如何安装 Hadoop,如何运行基于 Hadoop 的并行程序。在本文中,将针对一个具体的计算任务,介绍如何基于 Hadoop 编写并行程序,如何使用 IBM 开发的 Hadoop Eclipse plugin 在 Eclipse 环境中编译并运行程序。回页首分析 Word 阅读全文

posted @ 2013-01-30 12:36 imkun 阅读(1439) 评论(0) 推荐(0) 编辑

Hadoop建立Cluster实例

摘要: 原文地址:http://book.51cto.com/art/201211/363795.htmqueue的有效性很依赖在JobTracker中通过mapreduce.jobtracker.taskscheduler设置的调度规则(scheduler)。一些调度算法可能只需要一个queue,不过有些调度算法可能很复杂,需要设置很多queue。对queue大部分设置的更改都不需要重新启动MapReduce系统就可以生效,不过也有一些更改需要重启系统才能有效,具体如表2-5所示。conf/mapred-queues.xml的文件配置与其他文件略有不同,配置格式如下:<queues aclsE 阅读全文

posted @ 2013-01-30 10:18 imkun 阅读(674) 评论(0) 推荐(0) 编辑

2013年1月29日

Hadoop实战(第2版)

摘要: 本书能满足读者全面学习最新的Hadoop技术及其相关技术(Hive、HBase等)的需求,是一本系统且极具实践指导意义的Hadoop工具书和参考书。第1版上市后广受好评,被誉为学习Hadoop技术的经典著作之一。与第1版相比,第2版技术更新颖,所有技术都针对最新版进行了更新;内容更全面,几乎每一个章节都增加了新内容,而且增加了新的章节;实战性更强,案例更丰富;细节更完美,对第1版中存在的缺陷和不足进行了修正。本书内容全面,对Hadoop整个技术体系进行了全面的讲解,不仅包括HDFS、MapReduce、YARN等核心内容,而且还包括Hive、HBase、Mahout、Pig、ZooKeeper 阅读全文

posted @ 2013-01-29 17:44 imkun 阅读(295) 评论(0) 推荐(0) 编辑

2012年11月18日

Linux(CentOS)挂载移动硬盘,实现文件拷贝、备份 .

摘要: Linux(CentOS)挂载移动硬盘,实现文件拷贝、备份常常我们需要备份服务器上的某些数据,今天在这里跟大家分享一下如何使用移动硬盘备份CentOS上的文件。一、挂载移动硬盘(挂载NTFS格式分区)1. 安装ntfs3g工具wget http://tuxera.com/opensource/ntfs-3g_ntfsprogs-2011.4.12.tgztar zxf ntfs-3g_ntfsprogs-2011.4.12.tgzcd ntfs-3g_ntfsprogs-2011.4.12./configure --prefix=/usr/local/ntf3gmake&&ma 阅读全文

posted @ 2012-11-18 14:14 imkun 阅读(542) 评论(0) 推荐(0) 编辑

2012年11月1日

PHP页面运行时间计时类

摘要: 收集一下,有时有用<?php class runtime{ var $StartTime = 0; var $StopTime = 0; function get_microtime() { list($usec, $sec) = explode(' ', microtime()); return ((float)$usec + (float)$sec); } function start() { $this->StartTime = $this->get_microtime(); ... 阅读全文

posted @ 2012-11-01 17:29 imkun 阅读(2071) 评论(0) 推荐(0) 编辑

用ssh-keygen来设置ssh无密码登录

摘要: 在linux系统中,ssh是远程登录的默认工具,因为该工具的协议使用了RSA/DSA的加密算法.该工具做linux系统的远程管理是非常安全的。telnet,因为其不安全性,在linux系统中被搁置使用了。ssh有一套很有用的工具,其中的ssh-keygen可以用来生成private和public密钥.将生成的public密钥拷贝到远程机器后,可以使ssh到另外一台机器的登陆不用密码.具体方法如下.1) 在本地机器中的~/.ssh/目录下执行下命令,ssh-keygen -t dsa将生成两个文件,id_dsa和id_dsa.pub.2) 将id_dsa.pub拷贝到远程机器,并且将id_dsa 阅读全文

posted @ 2012-11-01 15:18 imkun 阅读(248) 评论(0) 推荐(0) 编辑

2012年9月23日

[转载]PHP合并数组运算符+与array_merge的区别

摘要: 原文地址:http://www.cnblogs.com/ixqbar/archive/2010/07/28/1786727.htmlPHP中两个数组合并可以使用+或者array_merge,但之间还是有区别的,而且这些区别如果了解不清楚项目中会要命的!主要区别是两个或者多个数组中如果出现相同键名,键名分为字符串或者数字,需要注意1)键名为数字时,array_merge()不会覆盖掉原来的值,但+合并数组则会把最先出现的值作为最终结果返回,而把后面的数组拥有相同键名的那些值“抛弃”掉(不是覆盖)2)键名为字符时,+仍然把最先出现的值作为最终结果返回,而把后面的数组拥有相同键名的那些值“抛弃”掉, 阅读全文

posted @ 2012-09-23 22:33 imkun 阅读(417) 评论(0) 推荐(0) 编辑

lampp开机启动

摘要: 安装好之后,输入以下命令即可:ln -s /opt/lampp/lampp /etc/rc.d/rc3.d/S99lamppln -s /opt/lampp/lampp /etc/rc.d/rc4.d/S99lamppln -s /opt/lampp/lampp /etc/rc.d/rc5.d/S99lampp 阅读全文

posted @ 2012-09-23 22:26 imkun 阅读(343) 评论(0) 推荐(0) 编辑

导航