Hadoop 实战 安装配置

1.编辑host文件增加

 vim /etc/hosts

192.168.40.240     master
192.168.40.246     slave1
192.168.40.247     slave2

2.添加hadoop帐号
 useradd  -m hadoop
 passwd hadoop

更改bash显示
 vi /etc/passwd
hadoop:x:1002:1002::/home/hadoop:/bin/bash
  su - hadoop

3.安装java环境
 下载java
 wget http://download.oracle.com/otn-pub/java/jdk/6u27-b07/jdk-6u27-linux-x64.bin
 安装java
    cd /usr
    mkdir java
    cd
    cp jdk-6u27-linux-x64.bin /usr/java/
    chmod u+x /usr/java/jdk-6u27-linux-x64.bin
    alias ls='ls --color'
    cd /usr/java
    ls
    ./jdk-6u27-linux-x64.bin
    配置profile
   vim /etc/profile
     export JAVA_HOME=/usr/java/jdk1.6.0_27
     export PATH=$JAVA_HOME/bin:$PATH
     export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
     export HADOOP_HOME=/home/hadoop/hadoop-1.0.0
     export PATH=$PATH:$HADOOP_HOME/bin

4.免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

再把各个机器authorized_keys汇总到一个authorized_keys文件，替换掉各台机器的authorized_keys

验证ssh master

        ssh slave1

         ssh slave2无需输入密码

 

5.hadoop安装

    下载hadoop

     http://www.apache.org/dyn/closer.cgi/hadoop/common/

     tar -xzvf hadoop-1.0.1.tar.gz

     新建文件夹 

     mkdir -p /hadoopDATA/name

     mkdir -p /hadoopDATA/data

     mkdir -p /hadoopDATA/tmp

     chown -R hadoop:hadoop /hadoopDATA/

    

 

        master 上   编缉配置文件夹

   hdfs-site.xml

     <configuration>

        <property>

                <name>dfs.name.dir</name>

                <value>/hadoopDATA/name</value>

        </property>

        <property>

                <name>dfs.data.dir</name>

                <value>/hadoopDATA/data</value>

        </property>

        <property>

                <name>fs.replication</name>

                <value>2</value>

        </property>

   </configuration>

            

 

 

   core-site.xml

      <configuration>

        <!-- global properties -->

        <property>

        <name>hadoop.tmp.dir</name>

        <value>/root/hadoopDATA/tmp</value>

        </property>

    <!-- file system properties -->

        <property>

        <name>fs.default.name</name>

        <value>hdfs://master:9000</value>

        </property>

    </configuration>

     

     hadoop-env.sh

      export JAVA_HOME=/usr/lib/jvm/java-6-sun

 

       masters

        master

 

       slaves

        slave1

        slave2

        master

 

复制hadoop到各个集群

scp -r hadoop-1.0.1/ hadoop@slave1:/home/hadoop/

scp -r hadoop-1.0.1/ hadoop@slave2:/home/hadoop/

 

执行

格式化一个新的分布式文件系统：
$ bin/hadoop namenode -format

启动Hadoop守护进程：
$ bin/start-all.sh

http://192.168.40.240:50070       

http://192.168.40.240:50030