专注于中国的商业智能

My Links

Blog Stats

News

使用hbase的Bulk Load

1.首先配置$HADOOP_HOME下的conf/hadoop-env.sh文件,修改其中的HADOOP_CLASSPATH为如下

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/hadoop/hbase-0.90.3.jar:/hadoop/hbase/hbase-0.90.3-

tests.jar:/hadoop/hbase/conf:/hadoop/hbase/lib/guava-r06.jar:/hadoop/hbase/lib/zookeeper-3.3.2.jar

2.配置$HBASE_HOME下的conf/hbase-env.sh文件,修改其中的HBASE_CLASSPATH为如下

export HBASE_CLASSPATH=$HBASE_CLASSPATH:/hadoop/hadoop-config

3.配置$HADOOP_HOME下的conf/core-site.xml,加入如下信息

<property>

   <name>hbase.zookeeper.quorum</name>

   <value>hadoop-namenode,hadoop-datanode1,hadoop-datanode2</value>

   <description></description>

</property>

4.重启hbase和hadoop

5.给hdfs上传待导入hbase的数据文件,示例文件为/user/limj/hbaseload/hbase_test2

1 2 row1 test

2 4 row2 test

3 6 row3 test

4 8 row4 test

5 10 row5 test

6.在hbase中创建表t8

create 't8','f1'

7. 在$HADOOP_HOME下执行bin/hadoop jar /hadoop/hbase/hbase-0.90.3.jar  importtsv   -

Dimporttsv.columns=HBASE_ROW_KEY,f1:a,f1:b,f1:c t8 /user/limj/hbaseload

posted on 2011-08-17 15:57 李梦蛟 阅读(...) 评论(...) 编辑 收藏