Hbase分布式安装

HBase安装笔记

目标

在两台机器上安装Hadoop和HBase作为实验,两台机器分别作为主从。

背景环境

  • 对Hadoop,HBase有一定了解
  • Fedora14
  • JDK 1.6.0_31
  • Hadoop 0.20.205.0
  • HBase 0.90.5

安装Hadoop

参考:

拓扑结构:两台机器,主机名分别为:summer1,summer2,

                 summer1为NameNode + JobTracker + DataNode + TaskTracker, summer2仅为DataNode + TaskTracker

  1. 一定要下载 0.20.205.0 以后版本,合并了可以和 HBase 兼容的代码分支 0.20-append。 启动的时候会报很多Warning $HADOOP_HOME deprecated blahblah,不需理会。
  2. 如果用 bin/start-all 偷懒方式启动,有可能因为配置错误什么的导致某些服务起不来,但不会有任何错误提示。最好使用 netstat -nlp | grep java 看下端口号50030, 50010, 50070, 还有JobTracker的自定义端口是否已经被监听了,如果没有,可以用对应的启动脚本单独启动,这样会输出具体的错误。

安装HBase

前提:必须已经正确安装了Hadoop,但可以不启动JobTracker,HBase有自己的MapRed

拓扑结构:summer1为master, summer2均为regionserver

主要参考:

安装步骤:

     1.解压hbase-0.90.5.tar.gz到usr/local/hbase。

     2.设置环境变量,如下:   

export JAVA_HOME=/usr/local/java/jdk1.6.0_31
export JRE_HOME=/usr/local/java/jdk1.6.0_31/jre
export CLASS_PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASS_PATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_PID_DIR=$HADOOP_HOME/run/tmp

#hbase环境变量-----------------------
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
export HBASE_PID_DIR=$HBASE_HOME/run/tmp
#-------------------------------

   

3.修改hbase-env.sh   ,只需要改动下面列出的四项,其他保持不变即可。

# The java implementation to use.  Java 1.6 required.
 export JAVA_HOME=/usr/local/java/jdk1.6.0_31

# Extra Java CLASSPATH elements.  Optional.
export HBASE_CLASSPATH=/usr/local/hadoop/conf

# The directory where pid files are stored. /tmp by default.
 export HBASE_PID_DIR=$HBASE_HOME/run/tmp

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
 export HBASE_MANAGES_ZK=true

4.修改conf/hbase-site.xml

<configuration>
  <property>
    <name>hbase.master</name>
    <value>summer1:60000</value>
  </property>
  <property>
    <name>hbase.master.port</name>
    <value>60000</value>
    </property>
    <property>
    <name>hbase.rootdir</name>
    <value>hdfs://summer1:9000/hbase</value>
  </property>  
 <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>   
  </property>
   <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>    
  </property>
   <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>10.0.5.199</value>
  </property> 
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/summer/hadoopTMP/storage/zookeeper</value>
  </property>
  <property>
    <name>zookeeper.session.timeout</name>
    <value>1200000</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.tickTime</name>
    <value>6000</value>
  </property>
</configuration>

hdfs://summer1:9000/hbase这里,必须与你的Hadoop集群的core-site.xml文件配置保持完全一致才行,如果你Hadoop的hdfs使用了其它端口,请在这里也修改。有人说,这里的设置,只能使用机器hostname才可行,不识别机器IP,即若使用summer1的IP(10.0.5.199)是会抛出java错误,其实并不是这样的,用ip地址也可以,只是建议使用hostname,这样,当ip地址改变时,不需要改变hadoop的配置文件,只需要改变 hosts映射关系即可。

5.拷贝 hadoop/lib/commons-configuration-1.6.jar到hbase/lib/commons-configuration-1.6.jar

6.查看hbase/lib下有一项hadoop-core-0.20.append.jar,最好替换成hadoop/lib/hadoop-core-0.20.205.0.jar

7.启动hadoop和hbase---------------------------注意启动顺序,先启动hadoop,再启动hbase

$start-all.sh  -----------------------启动hadoop

$start-hbase.sh -------------------启动hbase

如果配置正确,在hbase启动以后,在namenode和datanode上使用jps命令查看,在namenode上可看到 JobTracker,SecondaryNameNode,NameNode,Jps,HMaster,在datanode上可看到HRegionServer,TaskTracker,Jps,DataNode。并且访问http://10.0.5.199:50070,点击"Browse the filesystem",可以看到出现了一个hbase目录,如下图所示:(如果没有hbase目录,那肯定是hbase没有配置成功)

 8.停止hbase--------------注意停止顺序,先停止hbase,再停止hadoop,否则可能导致hbase停止不了。

 $stop-hbase.sh

 $stop-all.sh

碰到的各种问题:

  1. 官方文档里说明了HBase与Hadoop的适配版本,主要是 0.20-append 分支是否合并进hadoop主干的问题。hadoop 0.20.205.0 已经合并,所以一定要用 0.20.205.0 以后版本的hadoop。
  2. 官方文档里提到的需要替换 lib/hadoop-core-….jar 的问题一定要做。否则启动时会出现 EOFException。由于实际版本号不同,所以直接把原jar移走,新jar放入即可。
  3. 0.20.205.0 需要同时把 hadoop/lib 里的commons-configuration-1.6.jar 也考到 hbase/lib里。否则启动master时会出现master.HMaster exception of “NoClassDefFoundError” 
  4. bin/start-hbase 会自动启动一个zookeeper。当然可以自行配置zookeeper。
  5. bin/stop-hbase 貌似只会停止zookeeper和master, 在 B(master)上会遗留 regionserver,可以kill 进程或者 bin/hbase-daemon.sh stop regionserver
  6. 同样使用 netstat -nlp | grep java 检查端口号,HBase相关服务端口均以 600开头。
  7. 如果因为停止顺序不对导致hbase停止不了,可以通过下列方法强行kill掉hbase守护进程来停止,

        $netstat -nlp | grep java---------------------------------查找守护进程(Hmaster端口号为60000)对应的进程号,如下图所示 查找到进程号1 5562

        $sudo kill -9 15562 -----------------------------------------杀死进程 

  或者直接使用jps,每行中的数字即为进程号,直接使用上面命令kill掉即可。

  8.启动HBase的时候,无法启动RegionServer,查看日志,错误如下: 

  org.apache.hadoop.hbase.ClockOutOfSyncException: Server summer1,60020,1357384944077 has been rejected; Reported time is too far out of sync with master.  Time difference of 3549899ms > max allowed of 30000ms

   原因是RegionServer与Master的时间不一致造成的,由错误内容可以看出两台机器之间最大的误差时间为30000ms,一旦超过这个值便无法启动。

  解决方法:在所有结点上执行:sudo ntpdate time.nist.gov   (time.nist.gov是一个时间服务器)

 

 

posted @ 2012-05-17 20:52  阿洒  阅读(...)  评论(...编辑  收藏