09 2013 档案

hadoop2.1.0在ubuntu下的安装配置
摘要:在Ubuntu下安装hadoop2.1.0之前,首先需要安装如下程序:|- JDK 1.6 or later|- SSH(安全协议外壳)。 要装这两个程序的原因: 1. Hadoop是用Java开发的,Hadoop的编译及MapReduce的运行都需要使用JDK。 2. Hadoop需要通过SSH来启动salve列表中各台主机的守护进程,因此SSH也是必须安装的,即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。对于伪分布式,Hadoop会采用与集群相同的处理方式,即依次序启动文件conf/slaves中记载 的主机上的进程,只不过伪分布式中salve为loc... 阅读全文

posted @ 2013-09-27 22:04 高董 阅读(1196) 评论(0) 推荐(0)

hadoop源码编译
摘要:hadoop 源码编译以前写过一篇《yarn hadoop mapreduce 2.0 编译》,环境准备和那一篇一样。本篇直接从svn下载最新源码,进行编译。下载源码:从subversion库check out:[zhouhh@Hadoop48 hsrc]$ svn co http://svn.apache.org/repos/asf/hadoop/common/trunk[zhouhh@Hadoop48 hsrc]$ cd trunk/[zhouhh@Hadoop48 trunk]$ lsBUILDING.txt hadoop-assemblies hadoop-common-project 阅读全文

posted @ 2013-09-22 15:18 高董 阅读(708) 评论(0) 推荐(1)

protocbuf的安装
摘要:安装protobuf 下载地址:http://code.google.com/p/protobuf/downloads/detail?name=protobuf-2.4.1.tar.gz&can=2&q= 安装过程:tar zxvf protobuf-2.4.1.tar.gzcd protobuf-2.4.1./configuremakemake checkmake install查看是否安装成功:protoc --version 阅读全文

posted @ 2013-09-22 15:08 高董 阅读(481) 评论(0) 推荐(1)

学习hadoop不错的一些文章
摘要:编辑器加载中...http://www.cnblogs.com/xia520pi/archive/2012/04/22/2464934.html 阅读全文

posted @ 2013-09-15 20:42 高董 阅读(151) 评论(0) 推荐(0)

moven的安装
摘要:见链接:http://www.cnblogs.com/iusmile/archive/2012/11/06/2757779.html 阅读全文

posted @ 2013-09-14 22:46 高董 阅读(204) 评论(0) 推荐(0)

在Linux上安装与配置Hadoop
摘要:Hadoop最早是为了在Linux平台上使用而开发的,但是Hadoop在UNIX、Windows和Mac OS X系统上也运行良好。不过,在Windows上运行Hadoop稍显复杂,首先必须安装Cygwin以模拟Linux环境,然后才能安装Hadoop。Hadoop的安装非常简单,大家可以在官网上下载到最近的几个版本,在Unix上安装Hadoop的过程与在Linux上安装基本相同,因此下面不会对其进行详细介绍。在Linux上安装与配置Hadoop在Linux上安装Hadoop之前,需要先安装两个程序:1. JDK 1.6或更高版本;2. SSH(安全外壳协议),推荐安装OpenSSH。下面简述 阅读全文

posted @ 2013-09-14 20:56 高董 阅读(854) 评论(0) 推荐(0)

linux tar命令详解
摘要:Linux下最常用的打包程序就是tar了,使用tar程序打出来的包我们常称为tar包,tar包文件的命令通常都是以.tar结尾的。生成tar包后,就可以用其它的程序来进行压缩了,所以首先就来讲讲tar命令的基本用法: tar命令的选项有很多(用man tar可以查看到),但常用的就那么几个选项,下面来举例说明一下: # tar -cf all.tar *.jpg 这条命令是将所有.jpg的文件打成一个名为all.tar的包。-c是表示产生新的包,-f指定包的文件名。 # tar -rf all.tar *.gif 这条命令是将所有.gif的文件增加到all.tar的包里面去。-r是表... 阅读全文

posted @ 2013-09-14 16:05 高董 阅读(249) 评论(0) 推荐(0)

How to contribute to hadoop common
摘要:from:http://wiki.apache.org/hadoop/HowToContribute How to Contribute to Hadoop CommonThis page describes the mechanics of how to contribute software to Hadoop Common. For ideas about what you might contribute, please see the ProjectSuggestions page. Setting upHere are some things you will need to bu 阅读全文

posted @ 2013-09-14 14:43 高董 阅读(478) 评论(0) 推荐(0)

Ubuntu下SVN的安装
摘要:Ubuntu Packages (maintained by Ubuntu Project; client and server; svnserve is part of the subversion package, mod_dav_svn is in the separate libapache2-svn package) $ apt-get install subversion $ apt-get install libapache2-svn 阅读全文

posted @ 2013-09-14 14:42 高董 阅读(134) 评论(0) 推荐(0)

Manual installation of Oracle Java JDK on Ubuntu
摘要:In the evening I installed the Oracle Java JDK on Ubuntu Lucid Lynx. Since Oracle Java is no longer available via the default repositories I decided to manually install Java instead of adding a repository and possibly installing an older version. Since I need Java to run programs like Apache Ant, Ap 阅读全文

posted @ 2013-09-14 14:31 高董 阅读(319) 评论(0) 推荐(0)

Ubuntu 12.04中文输入法的安装
摘要:Ubuntu上的输入法主要有小小输入平台(支持拼音/二笔/五笔等),Fcitx,Ibus,Scim等。其中Scim和Ibus是输入法框架。在Ubuntu的中文系统中自带了中文输入法,通过Ctrl+Space可切换中英文输入法。这里我们主要说下Ubuntu英文系统中,中文输入法的安装。安装输入法的第一步,是安装语言包。我们选择System Settings-->Language Support-->Install/Remove Languages输入密码后,系统会安装简体中文语言包。第二步,安装IBus框架,在终端输入以下命令:sudo apt-get install ibus ib 阅读全文

posted @ 2013-09-14 14:29 高董 阅读(481) 评论(0) 推荐(0)

ubuntu下共享windows下的目录
摘要:在Windows 7下安装了VirtualBox,然后通过VirtualBox虚拟安装了ubuntu10.10,现在想在ubuntu10.10下访问Windows中的一些文件,需要在VirtualBox中配置数据空间:VirtualBox 4.1.10[root@zuantianyang-lnx ~]# lsb_release -aLSB Version: :core-4.0-amd64:core-4.0-ia32:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-amd6 阅读全文

posted @ 2013-09-13 15:49 高董 阅读(395) 评论(0) 推荐(0)

Linux软连接和硬链接
摘要:Linux软连接和硬链接1.Linux链接概念Linux链接分两种,一种被称为硬链接(Hard Link),另一种被称为符号链接(Symbolic Link)。默认情况下,ln命令产生硬链接。【硬连接】硬连接指通过索引节点来进行连接。在Linux的文件系统中,保存在磁盘分区中的文件不管是什么类型都给它分配一个编号,称为索引节点号(Inode Index)。在Linux中,多个文件名指向同一索引节点是存在的。一般这种连接就是硬连接。硬连接的作用是允许一个文件拥有多个有效路径名,这样用户就可以建立硬连接到重要文件,以防止“误删”的功能。其原因如上所述,因为对应该目录的索引节点有一个以上的连接。只删 阅读全文

posted @ 2013-09-07 19:49 高董 阅读(189) 评论(0) 推荐(0)

导航