hadoop单机安装

其实hadoop单机版（包括用于实验的集群版）的安装还是非常简单的，虽然这个结论是被各种小问题恶心了好几天后得出来的。。。

操作系统安装：

系统使用redhat enterprise server 6.0版本（32位），安装的时候因为对linux的操作程度不够熟练，所以选择还是安装了桌面。本来安装基本服务器只有600个软件包左右，但是加了桌面就接近1100个包了。

中间遇到的问题：

1.vbox无法使用自动调整显示尺寸。这个需要安装扩展包，并且要安装linux kernel-devel。后来选用vmware 8.

系统部署：

1.安装java（本次使用jdk 7）。这里直接下载的rpm包，在redhat下默认安装。输入

java -version显示：

java version "1.7.0_01"
Java(TM) SE Runtime Environment (build 1.7.0_01-b08)
Java HotSpot(TM) Client VM (build 21.1-b02, mixed mode, sharing)

2.新建一个专门用于hadoop的用户组如：hadoop-user,然后在该用户组下创建不同的用户。可在安装系统的时候创建，也可以在安装好之后用如下命令创建：

groupadd hadoop-user

useradd -g hadoop-user -d /home/hadoop hadoop

“hadoop”是所创建的用户名, -d指明“ hadoop”用户的home目录是/home/hadoop ）

passwd hadoop

3.安装hadoop

mkdir ~/hadoop_installs

进入目录，解压—hadoop-0.21.0.tar.gz（请自己从官方下载）

tar –zxvf hadoop-0.21.0.tar.gz

4.配置环境变量(/etc/profile)

  PATH=$PATH:$HOME/bin

    export  JAVA_HOME=/usr/java/jdk1.7.0_01

     export  HADOOP_HOME=/home/hadoop/hadoop_installs/hadoop-0.21.0

     export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

    export  CLASSPATH=$JAVA_HOME/lib:.

  ps:这里其实你会发现一个问题，因为我是在vmware虚拟机里面配置的，所以当我从本机中将hadoop系统拖进来的时候，造成整个文件夹的权限非常小，将所有文件chmod 755 *

hadoop部署：

编辑conf文件夹下面的master和slaves文件：

master 为主节点的地址：192.168.153.128

salves 的内容为所有slave节点的地址：

192.168.153.128

编辑core-site.xml文件：主要完成namenode的IP和端口设置

<configuration>

     <property>

         <name>fs.default.name</name>

         <value>hdfs://localhost:9000</value>

     </property>

</configuration>

编辑hdfs-site.xml文件：主要完成hdfs的数据块副本等参数设置

<configuration>

     <property>

         <name>dfs.replication</name>

         <value>1</value>

     </property>

</configuration>

编辑mapred-site.xml文件：主要完成jobtracker IP和端口的设置

<configuration>

     <property>

         <name>mapred.job.tracker</name>

         <value>localhost:9001</value>

     </property>

</configuration>

编辑hadoop-env.sh文件：hadoop环境变量设置

这个部分最少要设置java的路径。同时还可以自己设定包括log的路径等等。