理想国国民

导航

公告

统计

CentOS 7 Hadoop安装配置

前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题。首先设置两台计算机的主机名 root 权限打开/etc/host文件

再设置hostname,root权限打开/etc/hostname文件设置

从机设为Slaver.Hadoop

1.安装java jdk 并配置环境

  centos 自带安装了一个jdk,如果我们要自己安装jdk并配置环境的话首先卸载掉原本的jdk

  在命令行模式下健入命令:yum remove java (root用户,非root用户请在命令前加sudo).

  接下来安装jdk并配置环境,到网上下载jdk的rpm包,使用命令:rpm -ivh jdk-......;

  配置jdk环境:

  root用户打开/etc/profile文件 在文件末尾添加jdk路径类似下面的配置,只需注意jdk版本即可

  

  上面一部分为java环境变量,后面为hadoop变量,等会用得上。

2.安装hadoop并配置环境。 

  到Apache网站下载hadoop-2.6.0版本.

  解压文件: tar -xvf hadoop-2.6.0.tar.gz (解压到需要安装的路径,或者到时候再设定路径)

  进入解压后的目录,到hadoop-2.6.0/etc/hadoop/路径下找到下面几个配置文件

  

  core.site.xml:

  

  hdfs-site.xml

  

  mapred-site.xml.template

  

  hadoop-env.sh

  

  slaves

   192.168.1.126  从机ip

  到此配置完成,启动参照网上的教程。

  /hadoop-2.6.0/bin/hadoop namenode -format

  /hadoop-2.6.0/sbin/start-all.sh

  完成。

  注意:启动前需要将两台计算机的防火墙关闭:sudo systemctl stop iptables.service

3.安装配置hadoop eclipse 插件

  下载hadoop eclipse 插件,将其放入eclipse 文件夹的plugins文件夹中,启动eclipse.

  eclipse window->open persperctive->other->

  

  分别打开Map/Reduce 和 Resource 。然后到eclipse中新建M/R项目,找到wordcount.java源代码执行,

  eclipse中run as configuertion 设置参数:

  

  eclipse中项目目录:

  

  执行结果:

  

  

  

posted on 2015-03-30 22:21 斐多 阅读(...) 评论(...) 编辑 收藏