海水中的泪

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理
转（hadoop2.6.3环境搭建）

下载 解压Hadoop2.6.3 tar文件

下载链接：
http://hadoop.apache.org/releases.html
解压文件,至当前文件夹：
tar -xzvf hadoop-2.6.3.tar.gz

 

这里写图片描述

新建自己的Hadoop目录，移动文件至该目录中

新建hadoop目录

mkdir /usr/local/hadoop

这里写图片描述

移动解压后的文件到自己新建的hadoop目录当中

mv hadoop-2.6.3 /usr/local/hadoop

 

这里写图片描述

查看hadoop目录

 

 

这里写图片描述

熟悉hadoop目录文件

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

配置Hadoop环境

1 配置Hadoop环境变量

首先设置Hadoop运行所需要的环境变量，我们编辑 .bashrc 文件，添加我们的环境变量. 
然后我们重新导入~/.bashrc文件中的内容到shell中: 
命令：source .bashrc

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.3
  • 1
  • 1

修改添加hadoop_home到 PATH 环境变量

export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
  • 1
  • 1

这里写图片描述

使配置生效：source .bashrc

验证Hadoop命令：

hadoop version
  • 1
  • 1

这里写图片描述

2 为Hadoop设置Java环境变量

vim /usr/local/hadoop/hadoop-2.6.3/etc/hadoop/hadoop-env.sh
  • 1
  • 1

这里写图片描述

3 编辑配置Hadoop配置文件 
hadoop-2.6.3的etc/hadoop目录下面有许多配置文件：

-rw-r--r-- 1 hjr hjr  4436 12月 18 09:52 capacity-scheduler.xml
-rw-r--r-- 1 hjr hjr  1335 12月 18 09:52 configuration.xsl
-rw-r--r-- 1 hjr hjr   318 12月 18 09:52 container-executor.cfg
-rw-r--r-- 1 hjr hjr   774 12月 18 09:52 core-site.xml
-rw-r--r-- 1 hjr hjr  3670 12月 18 09:52 hadoop-env.cmd
-rw-r--r-- 1 hjr hjr  4238  1月 10 18:49 hadoop-env.sh
-rw-r--r-- 1 hjr hjr  2598 12月 18 09:52 hadoop-metrics2.properties
-rw-r--r-- 1 hjr hjr  2490 12月 18 09:52 hadoop-metrics.properties
-rw-r--r-- 1 hjr hjr  9683 12月 18 09:52 hadoop-policy.xml
-rw-r--r-- 1 hjr hjr   775 12月 18 09:52 hdfs-site.xml
-rw-r--r-- 1 hjr hjr  1449 12月 18 09:52 httpfs-env.sh
-rw-r--r-- 1 hjr hjr  1657 12月 18 09:52 httpfs-log4j.properties
-rw-r--r-- 1 hjr hjr    21 12月 18 09:52 httpfs-signature.secret
-rw-r--r-- 1 hjr hjr   620 12月 18 09:52 httpfs-site.xml
-rw-r--r-- 1 hjr hjr  3523 12月 18 09:52 kms-acls.xml
-rw-r--r-- 1 hjr hjr  1325 12月 18 09:52 kms-env.sh
-rw-r--r-- 1 hjr hjr  1631 12月 18 09:52 kms-log4j.properties
-rw-r--r-- 1 hjr hjr  5511 12月 18 09:52 kms-site.xml
-rw-r--r-- 1 hjr hjr 11291 12月 18 09:52 log4j.properties
-rw-r--r-- 1 hjr hjr   938 12月 18 09:52 mapred-env.cmd
-rw-r--r-- 1 hjr hjr  1383 12月 18 09:52 mapred-env.sh
-rw-r--r-- 1 hjr hjr  4113 12月 18 09:52 mapred-queues.xml.template
-rw-r--r-- 1 hjr hjr   758 12月 18 09:52 mapred-site.xml.template
-rw-r--r-- 1 hjr hjr    10 12月 18 09:52 slaves
-rw-r--r-- 1 hjr hjr  2316 12月 18 09:52 ssl-client.xml.example
-rw-r--r-- 1 hjr hjr  2268 12月 18 09:52 ssl-server.xml.example
-rw-r--r-- 1 hjr hjr  2237 12月 18 09:52 yarn-env.cmd
-rw-r--r-- 1 hjr hjr  4567 12月 18 09:52 yarn-env.sh
-rw-r--r-- 1 hjr hjr   690 12月 18 09:52 yarn-site.xml
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

我们配置的是伪分布式环境，所以需要配置以下几个文件：

HADOOP的核心配置文件：core-site.xml --- 主要是配置HDFS的地址和端口号
HADOOP的HDFS配置文件：hdfs-site.xml --- 主要是配置replication副本数
HADOOP的MapReduce配置文件：mapred-site.xml ---主要是 
YARN配置文件：yarn-site.xml --- 主要是
  • 1
  • 2
  • 3
  • 4
  • 1
  • 2
  • 3
  • 4

core-site.xml配置:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.6.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

这里写图片描述

hdfs-site.xml配置：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hadoop-2.6.3/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop/hadoop-2.6.3/hdfs/data</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

这里写图片描述

mapred-site.xml配置：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

这里写图片描述

yarn-site.xml配置：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

这里写图片描述

4 配置完成，执行 NameNode 的格式化

hdfs namenode-format
  • 1
  • 1

这里写图片描述

这里写图片描述

这里写图片描述

5 启动Hadoop，运行Hadoop示例

./start-all.sh

（This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh）
  • 1
  • 2
  • 3
  • 1
  • 2
  • 3

这里写图片描述
所有进程： 
这里写图片描述
Hadoop Web界面（hdfs）： 
这里写图片描述

这里写图片描述

YARN资源管理界面 
这里写图片描述

这里写图片描述

在HDFS上面创建用户目录

hdfs dfs -mkdir -p /user/hadoop

hdfs dfs -mkdir -p /hjr

hdfs dfs -mkdir -p /test
  • 1
  • 2
  • 3
  • 4
  • 5
  • 1
  • 2
  • 3
  • 4
  • 5

上传本地文件到HDFS对应用户目录

hdfs dfs -put /usr/local/hadoop/hadoop-2.6.3/etc/hadoop/*.xml /hjr
  • 1
  • 1

查看HDFS文件列表

hdfs dfs -ls /hjr
  • 1
  • 1

这里写图片描述
运行wordcount示例

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.3.jar wordcount /hjr  /output
  • 1
  • 1

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述 
这里写图片描述 
这里写图片描述 
这里写图片描述

posted on 2016-05-17 15:01  海水中的泪  阅读(230)  评论(0)    收藏  举报