hbase - 随笔分类 - zhanggl

摘要：JDBCUtils类：阅读全文

posted @ 2016-07-10 20:45 zhanggl 阅读(5513) 评论(0) 推荐(0)

摘要：环境hadoop cdh5.4.7 hbase1.0.0 测试数据： topsid uid roler_num typ 10 111111 255 0 在Hbase 创建t2数据库： create 't2','info'。创建数据库t2， columnFamily：info 输出目录要有带colum 阅读全文

posted @ 2016-06-06 10:44 zhanggl 阅读(4452) 评论(0) 推荐(0)

数据批量导入HBase

摘要：测试数据： datas 1001 lilei 17 13800001111 1002 lily 16 13800001112 1003 lucy 16 13800001113 1004 meimei 16 13800001114 数据批量导入使用mr,先生成HFile文件然后在用completebu 阅读全文

posted @ 2016-03-02 17:50 zhanggl 阅读(1521) 评论(0) 推荐(0)

HBase参数配置及说明（转）

摘要：hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置 <property> <name>hbase.tmp.dir</name> <value>/mnt/dfs/11/hbase/hbase-t 阅读全文

posted @ 2016-02-29 16:16 zhanggl 阅读(336) 评论(0) 推荐(0)

apach hadoop2.6 集群利用Phoenix 4.6-hbase 批量导入并自动创建索引

摘要：基础环境： 1、安装apach 版本hadoop2.6 2、部署hbase1.0.0 3、下载phoenix-4.6.0-HBase-1.0。下载地址（http://mirror.nus.edu.sg/apache/phoenix/phoenix-4.6.0-HBase-1.0/bin/phoeni 阅读全文

posted @ 2016-02-19 11:18 zhanggl 阅读(2307) 评论(0) 推荐(0)

phoenix 利用CsvBulkLoadTool 批量带入数据并自动创建索引

摘要：需要先创建表： CREATE TABLE IF NOT EXISTS population ( state CHAR(2) NOT NULL, city VARCHAR NOT NULL, population BIGINT CONSTRAINT my_pk PRIMARY KEY (state, 阅读全文

posted @ 2016-02-16 10:13 zhanggl 阅读(5026) 评论(1) 推荐(0)

squirrel sql client 连接phoenix

摘要：1、下载 squirrel sql client 客户端后运行 2、复制必要的jar 包到 squirrel sql client 安装目录下需要jar 包有： phoenix-core-4.6.0-HBase-1.0.jar phoenix-4.6.0-HBase-1.0-client.ja 阅读全文

posted @ 2016-02-14 15:24 zhanggl 阅读(1254) 评论(0) 推荐(0)

JAVA　实现数据导入Phoenix

摘要：需要导入的jar 包有：实现代码： package cn.test; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement 阅读全文

posted @ 2016-02-01 17:42 zhanggl 阅读(2275) 评论(0) 推荐(0)

整合phoenix4.6.0-HBase-1.0到cdh5..4.7 编译phoenix4.6源码 RegionServer 宕机

摘要：Phoenix 集成HBase Phoenix 版本：phoenix-4.6.0-HBase-1.0 源码下载地址： http://apache.cs.uu.nl/phoenix/phoenix-4.6.0-HBase-1.0/src/phoenix-4.6.0-HBase-1.0-src.tar. 阅读全文

posted @ 2016-01-07 16:19 zhanggl 阅读(2993) 评论(6) 推荐(0)

CDH5..4.7+phoenix实现查询HBase异常：java.sql.SQLException: ERROR 1102 (XCL02): Cannot get all table regions

摘要：基础环境是用CM 安装的cdh5.4.7，phoenix使用的版本是phoenix-4.5.2-HBase-1.0-bin。出现异常信息：java.sql.SQLException: ERROR 1102 (XCL02): Cannot get all table regions下载地址：http:... 阅读全文

posted @ 2016-01-07 09:47 zhanggl 阅读(3725) 评论(0) 推荐(0)

HBase1.0.0 实现数据增删查

摘要：HBase1.0.0 即Hadoop 2.6 采用maven 的方式实现HBase数据简单操作 import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Random 阅读全文

posted @ 2015-12-31 15:01 zhanggl 阅读(339) 评论(0) 推荐(0)

重启集群的时候发现HBase的HRegionServer 服务启动失败

摘要：今天在测试环境下的集群重启了下，启动Hbase的时候报错：$ sh start-hbase.sh starting master, logging to /home/hadoop/hbase-0.96.1.1-cdh5.0.2/logs/hbase-hadoop-master-master241.... 阅读全文

posted @ 2015-04-16 10:13 zhanggl 阅读(1600) 评论(0) 推荐(0)

java执行spark查询hbase的jar包出现错误提示：ob aborted due to stage failure: Master removed our application: FAILED

摘要：执行java调用scala 打包后的jar时候出现异常 /14 23:57:08 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that wor... 阅读全文

posted @ 2015-04-15 15:06 zhanggl 阅读(2835) 评论(0) 推荐(0)

java调用scala 查询hbase数据

摘要：问题：将scala打成jar包，提供给java调用，但是java一直提示找不到类实现功能：利用spark查询hbase数据，然后提供给外部接口调用我的方式：spark查询Hbase用scala实现（已经完成），将scala打成jar 包提供给java调用一直提示找不到scala 中的主类问题原因：s... 阅读全文

posted @ 2015-04-15 11:46 zhanggl 阅读(850) 评论(0) 推荐(0)

spark1.0.2读取hbase（CDH0.96.1）上的数据

摘要：基本环境：我是在win7环境下，spark1.0.2，HBase0.9.6.1 使用工具：IDEA14.1， scala 2.11.6， sbt。我现在是测试环境使用的是单节点1、使用IDEA创建一个sbt的工程后，在build.sbt文件加入配置文件libraryDependencies += ... 阅读全文

posted @ 2015-04-08 11:29 zhanggl 阅读(495) 评论(0) 推荐(0)

Hbase启动的时候出现：[RpcServer.handler=28,port=60000] ipc.RpcServer: RpcServer.handler=28,port=60000: exiting,master.HMasterCommandLine: Master exiting

摘要：hadoop 版本：CDH5.02Hbase 版本：hbase-0.96.1.1-cdh5.0.2配置文件：hbase-site.xml hbase.rootdir hdfs://master24:8010/hbase ... 阅读全文

posted @ 2015-03-24 16:34 zhanggl 阅读(1676) 评论(0) 推荐(0)

org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

摘要：电脑换了重新装了下系统，在本机ubuntu 的环境下搭建hadoopCDH4.5 伪分布式。进入Hbase shell，在创建表的时候出现异常如下：ERROR: org.apache.hadoop.hbase.PleaseHoldException: org.apache.hadoop.hbase.... 阅读全文

posted @ 2014-09-21 22:38 zhanggl 阅读(11248) 评论(0) 推荐(0)

用mapreduce实现将mysql数据导出到HDFS上

摘要：因为业务需要，需要将一批mysql数据导入到HBASE，现在先将数据从Mysql导出到HDFS。版本：hadoop CDH4.5，Hbase-0.946 1、实体类 YqBean 是我的实体类，请根据自己需要修改，实体类需要 implements Writable, DBWritable。　... 阅读全文

posted @ 2014-07-28 23:33 zhanggl 阅读(2005) 评论(0) 推荐(0)

hbase 集群搭建（公司内部测试集群）

摘要：我用的是cdh4.5版本：配置文件：$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=$JAVA_HOMEexport JAVA_HOME=/home/hadoop/jdk1.7.0_51export HBASE_CLASSPATH=$HBASE_HOME/... 阅读全文

posted @ 2014-07-22 16:07 zhanggl 阅读(254) 评论(0) 推荐(0)

org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting java.lang.RuntimeException: HMaster Aborted

摘要：前一篇的问题解决了，是 hbase 下面lib 包的jar问题，之前写MR的时候加错了包，替换掉了原来的包后出现另一问题：@ubuntu:/home/hadoop/hbase-0.94.6-cdh4.5.0/bin$ ./start-hbase.sh starting master, logging... 阅读全文

posted @ 2014-06-25 14:03 zhanggl 阅读(4823) 评论(0) 推荐(0)

随笔分类 - hbase

公告