ubuntu下安装hadoop

ubuntu 版本 13.10

hadoop 版本 0.21.0

jdk版本 1.7.0_45

eclipse  版本  3.8.2

本文假设已经安装好jdk，笔者的jdk安装目录为 /usr/local/java/jdk1.7.0_45

一. 在Ubuntu下创建hadoop用户组和用户;

1. 创建hadoop用户组

sudo addgroup hadoop

2. 创建hadoop用户

sudo adduser -ingroup hadoop hadoop

3. 给hadoop用户添加权限

sudo gedit /etc/sudoers

   在root   ALL=(ALL:ALL)   ALL下添加

hadoop   ALL=(ALL:ALL)  ALL

二. 安装ssh服务

1. 安装openssh-server

sudo apt-get install openssh-server

三. 建立ssh无密码登录本机

1. 转换成hadoop用户

su - hadoop

2. 创建ssh-key

ssh-keygen -t rsa -P ""

3. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中

cd ~/.ssh
cat id_rsa.pub >> authorized_keys

4. 登录localhost

ssh localhost

如果不需要密码就可以了

5. 执行退出命令

exit

四. 安装hadoop

 默认将安装包放在主文件夹里

1. 将它移动到安装目录 /usr/local/下

sudo mv hadoop-0.21.0.tar.gz /usr/local/

2. 解压hadoop-0.21.0.tar.gz

cd /usr/local
sudo tar -zxvf hadoop-0.21.0.tar.gz

3. 将解压出的文件夹改名为hadoop

sudo mv hadoop-0.21.0 hadoop

4. 将该hadoop文件夹的属主用户设为hadoop

sudo chown -R hadoop:hadoop hadoop

5. 配置conf/hadoop-env.sh（找到#export JAVA_HOME=...,去掉#，然后加上本机jdk的路径）

sudo gedit hadoop/conf/hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.7.0_45

6. 打开conf/core-site.xml文件;

sudo gedit hadoop/conf/core-site.xml

编辑如下

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                               
<!-- Put site-specific property overrides in this file. -->
                                                                                                               
<configuration> 
<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property>   
</configuration>

7. 打开conf/mapred-site.xml文件;

sudo gedit hadoop/conf/mapred-site.xml

编辑如下

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                            
<!-- Put site-specific property overrides in this file. -->
                                                                                                            
<configuration>   
  <property>    
  <name>mapred.job.tracker</name>   
  <value>localhost:9001</value>    
  </property>   
</configuration>

 

8. 打开conf/hdfs-site.xml文件;

sudo gedit hadoop/conf/hdfs-site.xml

编辑如下

<configuration> 
<property> 
<name>dfs.name.dir</name> 
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> 
</property> 
<property> 
<name>dfs.replication</name> 
<value>2</value> 
</property> 
</configuration>

五. 运行hadoop

建议使用root权限执行

1. 进入hadoop目录下，格式化hdfs文件系统，初次运行hadoop时一定要有该操作

cd /usr/local/hadoop/
bin/hadoop namenode -format

2. 启动bin/start-all.sh

bin/start-all.sh

3. 检测hadoop是否启动成功

jps

如果屏幕上启动了5个进程(Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker)，那么恭喜你安装成功了。

　

参考博客：http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html

；