Hadoop

安装

  • 官网:http://hadoop.apache.org/

  • 下载地址:http://hadoop.apache.org/releases.html

  • 安装步骤:

    • 下载安装包(废话)

    • 解压(废话)

      tar -zxvf hadoop-2.8.3.tar.gz  -C /usr/local/soft/  #将文件解压到/usr/local/soft下

      解压完的目录为

      bin #hadoop相关文件
      etc #配置文件

      include

      lib
      libexec

      LICENSE.txt

      logs #日志文件

      NOTICE.txt

      README.txt

      sbin #启动脚本

      share #hadoop说明文档

    • 配置hadoop环境变量

      vi /etc/profile
HADOOP_HOME=/usr/loca/soft/hadoop-2.8.3
PATH=.:$PATH:$HADOOP_HOME/bin
#保存
source /etc/profile
#验证
hadoop version
#如果有版本信息2.8.3表示安装成功

      ​

    • 修改hadoop-2.8.3/etc/hadoop/hadoop-env.sh文件

      25  export JAVA_HOME=/usr/local/apps/jdk1.8.0_1

    • 修改节点(node)配置文件

      vi hadoop-2.8.3/etc/hadoop/hdfs-site.xml


      <configuration>
  /*配置namenode节点服务器及端口*/
  <property>
    <name>dfs.namenode.rpc-address</name>
    <value>linux01:9000</value>
  </property>
  /*配置namenode节点数据存储位置*/
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/root/hdpdata/name</value>
  </property>
  /*配置datanode节点数据存储位置*/
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/root/hdpdata/data</value>
  </property>
</configuration>

启动

  • 初始化hadoop(第一次需要)

    hadoop namenode -format

    注:

    执行完会自动生成/root/hdpdata文件夹

    这个命令只需要在namenode服务器执行,如果你的服务器不需要启动namenode,只需要启动datanode,则不需要执行此命令

  • 启动hadoop

        #启动namenode节点
   ./hadoop-2.8.3/sbin/hadoop-daemon.sh start namenode
   #启动datanode节点
   /hadoop-daemon.sh start datanode

批量操作

  1. 配置slaves

     vi hadoop-2.8.3/etc/hadoop/slaves
  ##添加从节点机器名称(IP)
 #如:linux02 linux03 linux04

  2. 启动

      ./hadoop-2.8.3/start-dfs.sh

  3. 停止

    ./hadoop-2.8.3/stop-dfs.sh

配置SecondaryNameNode

  #在hadoop-2.8.3/etc/hadoop/hdfs-site.xml   <configuration>节点下添加

  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>linux13:50090</value>
  </property>

注:配置完成可在linux13这台机器上启动一个副SecondaryNameNode节点