随笔分类 -  hbase

毕设三: spark与phoenix集成插入数据/解析json数组
摘要：需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 阅读全文
posted @ 2019-05-04 19:52 tele 阅读(922) 评论(0) 推荐(0)
hbase 判断列族是否存在
摘要：1 public static boolean isExistColumnFamily(String tableName,String cf) throws IOException { 2 if(isExistTable(tableName)) { 3 Table table = conn.getTable(TableName.valueOf(tab... 阅读全文
posted @ 2018-11-23 16:43 tele 阅读(2489) 评论(0) 推荐(0)
hbase 2.0.2 put和delete的一些坑
摘要：测试的inbox表为多版本表,封装的scanTable已设置查询全部版本,以下的测试基于hbase2.0.2 一.put(针对相同的rowkey) 测试1.使用方法链的形式对同一个put添加数据到不同的列 控制台结果: 可以看到put中的数据是正确的但是真正插入的数据只有最后一个版本 测试2.put 阅读全文
posted @ 2018-11-23 15:20 tele 阅读(2309) 评论(0) 推荐(0)
hbase 从hbase上读取数据写入到hdfs
摘要：Mapper Reducer Runner 阅读全文
posted @ 2018-11-20 15:47 tele 阅读(2261) 评论(0) 推荐(1)
hbase 配置高可用hmaster
摘要：1.先停掉hbase bin/stop-hbase.sh 2.在hbase的conf目录下创建 backup-masters 添加hadoop003 3.分发 4.重新启动hbase并查看 bin/start-hbase.sh 阅读全文
posted @ 2018-11-19 19:50 tele 阅读(695) 评论(0) 推荐(0)
hive与hbase集成
摘要：环境: hadoop2.7.7 hive3.1.0 hbase2.0.2 1.jar包拷贝(之所以用这种方式,是因为这种方式最为稳妥,最开始用的软连接的方式,总是却少jar包)到hive的lib目录下删除所有hbase相关的jar rm -rf hbase-*.jar 接着从hbase的lib目录下 阅读全文
posted @ 2018-11-19 19:30 tele 阅读(1112) 评论(0) 推荐(0)
hbase 从hdfs上读取数据到hbase中
摘要：Mappper Reducer Runner ps:需要预先创建表 阅读全文
posted @ 2018-11-18 21:23 tele 阅读(2505) 评论(0) 推荐(0)
hbase 2.0.2 增删改查
摘要：1 package cn.hbase.demo; 2 3 import java.io.IOException; 4 import java.util.Iterator; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apache.hadoop.hbase.Cell; 8 impor... 阅读全文
posted @ 2018-11-15 09:33 tele 阅读(1413) 评论(0) 推荐(0)
hbase 2.0.2 分布式安装配置/jar包替换
摘要：环境 zk: 3.4.10 hadoop 2.7.7 jdk8 hbase 2.0.2 三台已安装配置好的hadoop002,hadoop003,hadoop004 1.上传并解压hbase-2.1.1-bin.tar.gz到hadoop002上,解压到/opt/module/hbase-2.1.1 阅读全文
posted @ 2018-11-06 15:36 tele 阅读(1568) 评论(0) 推荐(0)