第二篇：Hadoop 在Ubuntu Kylin系统上的搭建[图解]

前言

       本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台。

配置

1. 操作系统: Ubuntu Kylin 14.04

2. 编程语言: JDK 1.8

3. 通信协议: SSH

4. 云计算项目版本: Hadoop 1.2.1

第一步：安装最新版本的JDK (若已经安装过请忽略这一步)

1. 去官网下载JDK1.8并解压 (当前安装包为:jdk-8u25-linux-x64.gz)

2. 将解压后的安装包复制到 /usr/lib/jvm 目录下 (jvm目录需要自行创建)

3. 以管理员方式打开 /etc/profile 文件并在文件底部添加以下代码：

#set Java Environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/bin:$PATH"

4. 执行以下命令使配置文件立即生效：

source /etc/profile

5. 执行以下命令验证JDK是否安装成功：

java -version

       若显示以下信息表示安装完成：

       

第二步：配置SSH免密码登陆

1. 执行以下命令安装SSH：

sudo app-get install ssh

2. 检查用户目录下是不是有个名为.ssh的隐藏文件夹，没有的话就自己创建一个。

3. 执行以下命令配置SSH无密码登陆 (这几行代码的功能请参考SSH使用文档):

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4. 执行以下命令验证SSH是否安装配置成功：

ssh localhost

出现提示输入yes，若终端显示以下信息，表示SSH配置成功：

　　

第三步：安装并运行Hadoop

　　说明：Hadoop有三种运行方式 - 单机模式，伪分布式和完全分布式。

       其中，前两者主要用于程序的测试和调试，这里要讲的是伪分布式的配置，配置完全分布式的方法将在以后讲解。

1. 下载并解压最新版本的Hadoop到当前目录下 (当前安装包为:hadoop-1.2.1.tar.gz)

2. 进入conf子目录中，修改如下配置文件：

a. hadoop-env.sh (设置JAVA路径)

在末尾添加：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

b. core-site.xml (配置HDFS地址及端口号)

配置为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

c. hdfs-site.xml (修改备份方式，单机版本需要将其改为1)

配置为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

d. mapred-site.xml (设置JobTracker地址及端口)

配置为:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>

3. 进入Hadoop文件夹执行以下命令以格式化Hadoop文件系统HDFS：

bin/hadoop namenode -format

4. 执行以下命令以启动所有Hadoop进程：

bin/start-all.sh

5. 验证Hadoop是否安装成功

a. 打开浏览器，输入网址 http://localhost:50030 以查看MapReduce的Web页面：

              

b. 打开浏览器，输入网址 http://localhost:50070 以查看HDFS的Web页面：

              

              如果显示正常，那么Hadoop环境便搭建好了。

小结

1. 伪分布式的架构，机制和真实分布式其实是一样的，不过伪分布式中，Master和Slave都是一台机器。

2. 关于真实分布式环境的搭建，将在以后介绍。到时会在虚拟机上组建一个虚拟网络，跑真·分布式程序。