Hadoop单机环境安装与配置

一、安装JDK

     安装前需要保证机器中已经装了JDK，如未安装，参考jdk 安装及配置（for linux）

二、修改机器名

     这部分的作用主要是通过为每台机器取不同的名称，从而为以后在集群中能够容易分辨各服务器提供便利。机器名的修改过程参看：Linux修改hosts文件 解决/etc/hosts中指定的主机名映射失效

三、安装ssh服务并建立ssh无密码登陆本机

     虽说我安装的是单机版的hadoop，但是由于Hadoop本来就是分布系统，使用SSH通讯，此处还是安装了SSH。

        (1)安装ssh

?

1	sudo apt-get install ssh

        (2)设置不用登录密码

$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""

$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

  完成后登录不用输入密码，第一次需要输入回车键。        

?

1 2 3 4

$ ssh localhost $ exit $ ssh localhost $ exit

四、安装hadoop并配置

       (1)下载解压Hadoop，到http://hadoop.apache.org/common/releases.html#Download下载stable版本0.20.2.并解压到/Home路径

       (2)修改hadoop-env.sh 。在本人机器上解压路径是/home/viki/hadoop-0.20.2，进入刚才所解压的文件夹，修改之(需要root权限)。

?

1 2	cd hadoop-0.20.2  gedit conf/hadoop-env.sh

         将以下java环境copy进去。

?

1	export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22

       (3)设置xml文件，需要设置conf文件夹下的三个文件core-site.xml, hdfs-site.xml, mapred-site.xml。

?

1	gedit  conf/core-site.xml

         将下面内容copy进该文件中：

?

1 2 3 4 5 6 7 8 9 10

<configuration> <property>     <name>fs.default.name</name>     <value>hdfs://localhost:9000</value>   </property>   <property>     <name>hadoop.tmp.dir</name>     <value>/var/hadoop/hadoop-\${user.name}</value>   </property> </configuration>

   保存退出，继续修改另外一个文件hdfs-site.xml

?

1	gedit  conf/hdfs-site.xml

    将下面内容copy进该文件

?

1 2 3 4 5 6

<configuration>   <property>     <name>dfs.replication</name>     <value>1</value>   </property> </configuration>

  保存退出，修改最后一个文件 

?

1	gedit mapred-site.xml

 将下面内容copy进该文件 

?

1 2 3 4 5 6

<configuration>   <property>     <name>mapred.job.tracker</name>     <value>localhost:9001</value>   </property> </configuration>

经历以上步骤，所有文件修改完毕，已经设置好Hadoop单机测试环境，下面将是启动Hadoop服务。 

 

       (4)设置masters和slaves文件。

修改conf/masters文件，内容如下：

?

1

localhost

修改conf/slaves件，内容如下：

?

1

localhost

五、在单机上运行hadoop

初次运行hadoop时，一定要格式化格式化hdfs文件系统。

     （1）格式化Namenode

1	bin/hadoop namenode -format

会出现下面画面：

 

     （2）启动所有hadoop服务 

?

1	bin/start-all.sh

会出现下面画面： 

     （3）查看服务状态。一定要同时出现如下5个线程（NameNode、SecondaryNameNode、TaskTracker、DataNode、JobTracker），否则配置过程存在错误，去logs/下面查看log，寻找错误。