随笔分类 -  hadoop

Hadoop0.21.0部署安装以及mapreduce测试
摘要:鉴于hadoop的需要。。。但是并不限于此。。。有时候闲输入密码麻烦,也可以用这种办法从一个节点通过ssh进入另一个节点。。。设要使master进入slave是免密码的,则可以在master(ip为192.168.169.9)中如下操作:命令:ssh-keygen -t rsa 然后一路回车(该命令... 阅读全文

posted @ 2014-06-20 20:55 高董 阅读(412) 评论(0) 推荐(0)

How-to: Configure Eclipse for Hadoop Contributions
摘要:from:http://blog.cloudera.com/blog/2013/05/how-to-configure-eclipse-for-hadoop-contributions/Contributing to Apache Hadoop or writing custom pluggable modules requires modifying Hadoop’s source code. While it is perfectly fine to use a text editor to modify Java source, modern IDEs simplify navigati 阅读全文

posted @ 2014-01-16 22:48 高董 阅读(373) 评论(0) 推荐(0)

hadoop2.0集群配置
摘要:转自:http://www.cnblogs.com/scotoma/archive/2012/09/18/2689902.htmlHadoop 2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包含1. hadoop common : 为其他项目提供基础设施2. HDFS :分布式的文件系 统3. MapReduce : A software framework for distributed processing of large 阅读全文

posted @ 2014-01-10 16:03 高董 阅读(342) 评论(0) 推荐(0)

在Ubuntu上安装hadoop2.2.0的一些记录
摘要:之前成功的安装过hadoop2.1.0,但是这次安装又出现了很多问题,主要问题都是出现在版本之间的问题上。首先是安装protobuf出现了一些问题,由于要求版本要是2.5.0以上,所以出现很多由于版本不够高的错误,下载链接:https://code.google.com/p/protobuf/dow... 阅读全文

posted @ 2013-12-08 22:11 高董 阅读(576) 评论(1) 推荐(0)

Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
摘要:来源:http://blog.csdn.net/licongcong_0224/article/details/12972889历时一周多,终于搭建好最新版本hadoop2.2集群,期间遇到各种问题,作为菜鸟真心被各种折磨,不过当wordcount给出结果的那一刻,兴奋的不得了~~(文当中若有错误之处或疑问欢迎指正,互相学习)另外:欢迎配置过程中遇到问题的朋友留言,相互讨论,并且能够把解决方法共享给大家。下面评论中有几个朋友遇到的问题和解决方法,欢迎参考!第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了li... 阅读全文

posted @ 2013-12-08 21:10 高董 阅读(288) 评论(0) 推荐(0)

获得hadoop源码网址
摘要:http://svn.apache.org/repos/asf/hadoop/common/tags/ 阅读全文

posted @ 2013-12-08 16:16 高董 阅读(113) 评论(0) 推荐(0)

How to install Maven 3 on Ubuntu 12.04/12.10/13.04 by using apt-get
摘要:sudo apt-get remove maven2The whole process I came up with is as follows:sudo -H gedit /etc/apt/sources.listAdd the following line the sources.list file:debhttp://ppa.launchpad.net/natecarlson/maven3/ubuntuprecise maindeb-srchttp://ppa.launchpad.net/natecarlson/maven3/ubuntuprecise mainsudo apt-get 阅读全文

posted @ 2013-12-08 16:10 高董 阅读(392) 评论(0) 推荐(0)

在Linux上安装与配置Maven
摘要:Extract the distribution archive, i.e.apache-maven-3.1.1-bin.tar.gzto the directory you wish to install Maven 3.1.1. These instructions assume you chose/usr/local/apache-maven. The subdirectoryapache-maven-3.1.1will be created from the archive.In a command terminal, add theM2_HOMEenvironment variabl 阅读全文

posted @ 2013-12-08 14:28 高董 阅读(240) 评论(0) 推荐(0)

MapReduce源码分析总结
摘要:一 MapReduce概述Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是,Map/Reduce是一个编程模型(programming model),是一个用于处理和生成大规模数据集(processing and generating large data sets)的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对,再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的 阅读全文

posted @ 2013-11-28 09:23 高董 阅读(277) 评论(0) 推荐(0)

hadoop2.1.0在ubuntu下的安装配置
摘要:在Ubuntu下安装hadoop2.1.0之前,首先需要安装如下程序:|- JDK 1.6 or later|- SSH(安全协议外壳)。 要装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。 2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式,Hadoop会采用与集群相同的处理方式,即依次序启动文件conf/slaves中记载 的主机上的进程,只不过伪分布式中salve为loc... 阅读全文

posted @ 2013-09-27 22:04 高董 阅读(1193) 评论(0) 推荐(0)

hadoop源码编译
摘要:hadoop 源码编译以前写过一篇《yarn hadoop mapreduce 2.0 编译》,环境准备和那一篇一样。本篇直接从svn下载最新源码,进行编译。下载源码:从subversion库check out:[zhouhh@Hadoop48 hsrc]$ svn co http://svn.apache.org/repos/asf/hadoop/common/trunk[zhouhh@Hadoop48 hsrc]$ cd trunk/[zhouhh@Hadoop48 trunk]$ lsBUILDING.txt hadoop-assemblies hadoop-common-project 阅读全文

posted @ 2013-09-22 15:18 高董 阅读(708) 评论(0) 推荐(1)

protocbuf的安装
摘要:安装protobuf 下载地址:http://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.4.1.tar.gz&can=2&q= 安装过程:tar zxvf protobuf-2.4.1.tar.gzcd protobuf-2.4.1./configuremakemake checkmake install查看是否安装成功:protoc --version 阅读全文

posted @ 2013-09-22 15:08 高董 阅读(476) 评论(0) 推荐(1)

学习hadoop不错的一些文章
摘要:编辑器加载中...http://www.cnblogs.com/xia520pi/archive/2012/04/22/2464934.html 阅读全文

posted @ 2013-09-15 20:42 高董 阅读(149) 评论(0) 推荐(0)

moven的安装
摘要:见链接:http://www.cnblogs.com/iusmile/archive/2012/11/06/2757779.html 阅读全文

posted @ 2013-09-14 22:46 高董 阅读(204) 评论(0) 推荐(0)

在Linux上安装与配置Hadoop
摘要:Hadoop最早是为了在Linux平台上使用而开发的,但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过,在Windows上运行Hadoop稍显复杂,首先必须安装Cygwin以模拟Linux环境,然后才能安装Hadoop。Hadoop的安装非常简单,大家可以在官网上下载到最近的几个版本,在Unix上安装Hadoop的过程与在Linux上安装基本相同,因此下面不会对其进行详细介绍。在Linux上安装与配置Hadoop在Linux上安装Hadoop之前,需要先安装两个程序:1. JDK 1.6或更高版本;2. SSH(安全外壳协议),推荐安装OpenSSH。下面简述 阅读全文

posted @ 2013-09-14 20:56 高董 阅读(849) 评论(0) 推荐(0)

How to contribute to hadoop common
摘要:from:http://wiki.apache.org/hadoop/HowToContribute How to Contribute to Hadoop CommonThis page describes the mechanics of how to contribute software to Hadoop Common. For ideas about what you might contribute, please see the ProjectSuggestions page. Setting upHere are some things you will need to bu 阅读全文

posted @ 2013-09-14 14:43 高董 阅读(473) 评论(0) 推荐(0)

导航