[Hadoop 2.2 + Solr 4.5]系列之二：Hadoop2.2的安装与配置

[Hadoop 2.2 + Solr 4.5]系列之二：Hadoop2.2的安装与配置

 

本章节主要讲述Hadoop2.2的配置与运行

---

 

1、下载Hadoop2.2

---

 

官网下载 hadoop2.2

2、解压

---

 

# tar -xvf hadoop-2.2.0.tar.gz
# mv hadoop-2.2.0 /usr/hadoop
# chown -R hadoop:hadoop /usr/hadoop

3、设置HADOOP_HOME环境变量

---

 

# vim /etc/profile

在最后追加：

#HADOOP_HOME
export HADOOP_HOME=/usr/hadoop
export PATH=${PATH}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

最后执行source命令：

# source /etc/profile

注： 因为我们的日常操作都在Namenode上运行，所以我们只需要在Master.Hadoop上进行配置HADOOP_HOME环境变量即可。

 

4、配置Hadoop2.2

1)、切换用户以及进入配置文件目录

# su - hadoop
$ cd /usr/hadoop/etc/hadoop/
$ ll

2)、配置JAVA_HOME到hadoop-env.sh 和yarn-env.sh

分别在以上两个文件中查找："export JAVA_HOME" 字符串，并在其下插入一行设置JAVA_HOME的语句：

export JAVA_HOME=/usr/etc/jdk1.7.0_25

3)、配置core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master.Hadoop:9000</value>
</property>
<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
</property>
<property>
        <name>hadoop.proxyuser.hduser.hosts</name>
        <value>*</value>
</property>
<property>
        <name>hadoop.proxyuser.hduser.groups</name>
        <value>*</value>
</property>

</configuration>

4)、配置hdfs-site.xml

<configuration>
 <property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>Master.Hadoop:9001</value>
 </property>
 <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/home/hadoop/dfs/name</value>
 </property>
 <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/home/hadoop/dfs/data</value>
 </property>
 <property>
         <name>dfs.replication</name>
         <value>3</value>
 </property>
 <property>
         <name>dfs.webhdfs.enabled</name>
         <value>true</value>
 </property>
</configuration>

5)、mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master.Hadoop:10020</value>
</property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master.Hadoop:19888</value>
</property>
</configuration>

6)、yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
        <name>yarn.resourcemanager.address</name>
        <value>Master.Hadoop:8032</value>
</property>
<property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>Master.Hadoop:8030</value>
</property>
<property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>Master.Hadoop:8031</value>
</property>
<property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>Master.Hadoop:8033</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>Master.Hadoop:8088</value>
</property>

</configuration>

7)、slaves

Master.Hadoop
Slave1.Hadoop
Slave2.Hadoop

 

3、启动Hadoop

---

 

 1)、格式化Namenode

$ hdfs namenode -format

或者：

$ hadoop namenode -format

2)、启动start-all.sh

$ start-all.sh 

3)、查看hdfsadmin -report

$ hdfs dfsadmin -report

如下图：

3)、修改本地机器hsots文件，解析IP

修改C:\Windows\System32\drivers\etc\hosts

最后追加：

172.16.9.60  Master.Hadoop
172.16.9.61 Slave1.Hadoop
172.16.9.62 Slave2.Hadoop 

4)、WEB访问HDFS

访问： http://master.hadoop:50070/dfshealth.jsp

界面如下：

 

5)、访问yarn:

刚刚我们配置的端口为：8088

访问： http://master.hadoop:8088

作者之前用的是1.2.1，因为要用solr的HdfsDirectoryFactory，必须要2.0+版本的 所以也算刚开始用2.2的 有配置不当的请点出来。