摘要：鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦，也可以用这种办法从一个节点通过ssh进入另一个节点。。。设要使master进入slave是免密码的，则可以在master（ip为192.168.169.9）中如下操作：命令：ssh-keygen -t rsa 然后一路回车（该命令... 阅读全文

摘要：from：http://blog.cloudera.com/blog/2013/05/how-to-configure-eclipse-for-hadoop-contributions/Contributing to Apache Hadoop or writing custom pluggable modules requires modifying Hadoop’s source code. While it is perfectly fine to use a text editor to modify Java source, modern IDEs simplify navigati 阅读全文

摘要：转自：http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.htmlHadoop 2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是 apache 的开源 项目，开发的主要目的是为了构建可靠，可拓展 scalable ，分布式的系 统， hadoop 是一系列的子工程的 总和，其中包含1. hadoop common ： 为其他项目提供基础设施2. HDFS ：分布式的文件系 统3. MapReduce ： A software framework for distributed processing of large 阅读全文

摘要：之前成功的安装过hadoop2.1.0，但是这次安装又出现了很多问题，主要问题都是出现在版本之间的问题上。首先是安装protobuf出现了一些问题，由于要求版本要是2.5.0以上，所以出现很多由于版本不够高的错误，下载链接：https://code.google.com/p/protobuf/dow... 阅读全文

摘要：来源：http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多，终于搭建好最新版本hadoop2.2集群，期间遇到各种问题，作为菜鸟真心被各种折磨，不过当wordcount给出结果的那一刻，兴奋的不得了~~（文当中若有错误之处或疑问欢迎指正，互相学习）另外：欢迎配置过程中遇到问题的朋友留言，相互讨论，并且能够把解决方法共享给大家。下面评论中有几个朋友遇到的问题和解决方法，欢迎参考！第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了li... 阅读全文

摘要：http://svn.apache.org/repos/asf/hadoop/common/tags/ 阅读全文

摘要：sudo apt-get remove maven2The whole process I came up with is as follows:sudo -H gedit /etc/apt/sources.listAdd the following line the sources.list file:debhttp://ppa.launchpad.net/natecarlson/maven3/ubuntuprecise maindeb-srchttp://ppa.launchpad.net/natecarlson/maven3/ubuntuprecise mainsudo apt-get 阅读全文

摘要：Extract the distribution archive, i.e.apache-maven-3.1.1-bin.tar.gzto the directory you wish to install Maven 3.1.1. These instructions assume you chose/usr/local/apache-maven. The subdirectoryapache-maven-3.1.1will be created from the archive.In a command terminal, add theM2_HOMEenvironment variabl 阅读全文

摘要：一 MapReduce概述Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的 阅读全文

摘要：在Ubuntu下安装hadoop2.1.0之前，首先需要安装如下程序：|- JDK 1.6 or later|- SSH（安全协议外壳）。 要装这两个程序的原因： 1. Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式，Hadoop会采用与集群相同的处理方式，即依次序启动文件conf/slaves中记载 的主机上的进程，只不过伪分布式中salve为loc... 阅读全文

摘要：hadoop 源码编译以前写过一篇《yarn hadoop mapreduce 2.0 编译》，环境准备和那一篇一样。本篇直接从svn下载最新源码，进行编译。下载源码：从subversion库check out：[zhouhh@Hadoop48 hsrc]$ svn co http://svn.apache.org/repos/asf/hadoop/common/trunk[zhouhh@Hadoop48 hsrc]$ cd trunk/[zhouhh@Hadoop48 trunk]$ lsBUILDING.txt hadoop-assemblies hadoop-common-project 阅读全文

摘要：安装protobuf 下载地址：http://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.4.1.tar.gz&can=2&q= 安装过程:tar zxvf protobuf-2.4.1.tar.gzcd protobuf-2.4.1./configuremakemake checkmake install查看是否安装成功：protoc --version 阅读全文

摘要：编辑器加载中...http://www.cnblogs.com/xia520pi/archive/2012/04/22/2464934.html 阅读全文

摘要：见链接：http://www.cnblogs.com/iusmile/archive/2012/11/06/2757779.html 阅读全文

摘要：Hadoop最早是为了在Linux平台上使用而开发的，但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过，在Windows上运行Hadoop稍显复杂，首先必须安装Cygwin以模拟Linux环境，然后才能安装Hadoop。Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此下面不会对其进行详细介绍。在Linux上安装与配置Hadoop在Linux上安装Hadoop之前，需要先安装两个程序：1. JDK 1.6或更高版本;2. SSH(安全外壳协议)，推荐安装OpenSSH。下面简述 阅读全文

摘要：from:http://wiki.apache.org/hadoop/HowToContribute How to Contribute to Hadoop CommonThis page describes the mechanics of how to contribute software to Hadoop Common. For ideas about what you might contribute, please see the ProjectSuggestions page. Setting upHere are some things you will need to bu 阅读全文