单台服务器上部署伪分布式hadoop

以前写过少量hadoop代码，但自己部从未署过相应的环境，所以决定自己搭建一下hadoop环境。

准备工作：

1. 在win7上安装vmware虚拟机；

2. 在虚拟机上安装了redhat enterprise Linux5系统；

3. 在windows上安装了File-Zilla作为在linux系统和windows系统之间传送文件的ftp软件；

4. 安装putty，一个远程登录的终端，可以在windows上登陆linux，操作比较方便；

5. 安装java，我安装的是java1.6.0_17，参考了http://www.blogjava.net/flyingis/archive/2005/10/28/17191.aspx中的内容，需要注意：

• 修改etc/profile的内容时，在最后一行之前加入

  #set java environment
  JAVA_HOME=/usr/java/jdk-1_5_0_02
  CLASSPATH=.:＄JAVA_HOME/lib.tools.jar
  PATH=＄JAVA_HOME/bin:＄PATH
  export JAVA_HOME CLASSPATH PATH

• 修改后需要执行source /etc/profile才能生效
• 安装java后需要用java -version看下当前的版本是否是你安装的版本，因为系统可能会自带一个低版本的java，而这个低版本的java可能会在你部署hadoop时出问题

部署hadoop环境

主要参考了http://rdc.taobao.com/team/top/2011/03/16/single_node_hadoop_and_hive_in_15_mins/#comment-16中的内容，有一个地方需要注意：

修改# export JAVA_HOME=/usr/lib/j2sdk1.5-sun时需要注意，需要知道自己的java路径，可以echo $PATH找到相应的java路径然后把/bin前面的内容复制到"export JAVA_HOME="后面，搞错会在格式化namenode时出现"unrecoginzed class file version"这样的问题。

运行一个例子

我在eclipse下安装了hadoop插件（之前需要安装一下cygwin），使用了hadoop自带的wordcount例子，然后打包，使用相应的命令上传jar包到hdfs上，运行后把结果传回本地，就ok。这方面我主要参考了博客

http://hi.baidu.com/weiqi228/blog/item/1a0916fac3a50f19a8d31116.html和博客http://blog.sina.com.cn/s/blog_61c463090100m13w.html中的内容