HBASE 1.0.1搭建教程

安装前一定要注意版本兼容!

安装前一定要注意版本兼容!
安装前一定要注意版本兼容!
重要的话说三遍,参考《HADOOP&HBASE&HIVE整合》中的兼容原则。
由于之前Hadoop是2.4,亲测在Hadoop2.4上hbase1.0.1是可以工作的。而0.94版本存在兼容性的问题。
  • 配置
所有的配置文件位于附件中,供后来参考。
Hbase和hadoop一样在master端和slave端都需要配置,操作还是在master端配好后发送到slave并稍作修改。列一下参考信息:
Master:
hadoop-test1    192.168.70.28(内网地址)    10.58.121.175(外网地址)
Slaver:
hadoop-test2    192.168.70.29(内网地址)    10.58.121.176(外网地址)
 
  • 过程
1.系统变量配置
2.HBase配置
3.Hadoop配置修改
4.同步系统时间
5.启动验证
 
  • 系统变量配置
hosts中对于IP和名称,参见Hadoop配置。
在profile中加入解压后的文件位置(master+slave)
  1. export HBASE_HOME=/usr/hbase-1.0.1
  2. export PATH=$PATH:/usr/hbase-1.0.1/bin
  • Hbase配置
hbase-env.sh:
    按需修改,里面有每个配置的说明,这里仅修改两项:
  1. export JAVA_HOME=/usr/java/jdk1.7.0_01
  2. export HBASE_MANAGES_ZK=true
    其中第二句一定要有,表示使用hbase自带的zookeeper。
 
hbase-site.xml:
    加入:
  1.     <property>
  2. <name>hbase.rootdir</name>
  3. <value>hdfs://192.168.70.28:9000/hbase</value>
  4. </property>
  5. <property>
  6. <name>hbase.cluster.distributed</name>
  7. <value>true</value>
  8. </property>
  9. <property>
  10. <name>hbase.zookeeper.property.clientPort</name>
  11. <value>2181</value>
  12. </property>
  13. <property>
  14. <name>dfs.replication</name>
  15. <value>1</value>
  16. </property>
  17. <property>
  18. <name>hbase.zookeeper.quorum</name>
  19. <value>hadoop-test2</value>
  20. </property>
  21. <property>
  22. <name>hbase.zookeeper.property.dataDir</name>
  23. <value>/usr/dataDir</value>
  24. </property>
  25. <property>
  26. <name>hbase.master.port</name>
  27. <value>60000</value>
  28. </property>
  29. <property>
  30. <name>hbase.master.info.port</name>
  31. <value>60010</value>
  32. </property>
    其中rootdir是放在hdfs上的。后面的dataDir位置是在本地。dfs.replication要和hadoop的配置一样。
    zookeeper.quorum是设置集群的地址列表,只需要写slave的地址。
    60010端口是后面我们进行验证的web端口,这里要写上。
regionservers:
    类似Hadoop的slave文件,写入slave的IP地址。(没有则新建)
 
配好后将hbase文件复制到slave节点,并清空slave的regionservers内容。
  • Hadoop配置
在hadoop的hdfs-site.xml中加入:
  1.     <property>
  2.     <name>dfs.datanode.max.xcievers</name>
  3.     <value>4096</value>
  4.     </property>
说明:该参数限制了datanode所允许同时执行的发送和接受任务的数量,缺省为256,hadoop-defaults.xml中通常不设置这个参数。这个限制看来实际有些偏小,高负载下,DFSClient 在put数据的时候会报 could not read from stream 的 Exception。
master 和 slave都需要配置。
  • 同步系统时间
hbase要求集群各个机器之间时间同步,可以用date查看时间。如果不一样也可以用date -s 修改成一样的时间。
 
  • 启动验证
hbase要在hadoop启动后启动,而且要先于hadoop关闭。
输入start-hbase.sh,启动hbase,如果:
master上有HMaster
slave上有HRegionServer和HQuorumPeer
则说明启动成功,还可以在
hadoop-test1:60010页面上查看信息。
停止使用stop-hbase.sh
 
 
参考文件:
 





posted @ 2015-05-21 18:35  Goalish  阅读(482)  评论(0编辑  收藏  举报