☆☆☆★☆☆☆

唯有努力才能活成自己想要活成的样子

导航

随笔分类 -  hbase

this is hbase des
使用 Hbase Shell 命令创建预分区表
摘要:对表进行预分区,可以防止单分区一次写入数据过大,hbase 集群本身还没来得及自动分裂,导致 region 宕掉的问题。 1、创建表时指定一个拆分点数组 split point 将定义n+1个区域,其中n是分割点的数量, point 为'10'时实际上是在指定字节分割'\x31\30' hbase> 阅读全文

posted @ 2022-08-05 10:08 Yr-Zhang 阅读(1325) 评论(0) 推荐(0)

shell脚本操作hbase
摘要:func ${datatype} ${date} & function func(){ #自动建表hbase t_gather_logdate exec $HBASE_HOME/bin/hbase shell <<! flush 't_$1_$2' exit ! } exec $HBASE_HOME 阅读全文

posted @ 2022-02-10 10:59 Yr-Zhang 阅读(254) 评论(0) 推荐(0)

hbase检查修复坏块问题
摘要:hbase检查hbase hbck 阅读全文

posted @ 2020-07-14 14:55 Yr-Zhang 阅读(528) 评论(0) 推荐(0)

读取HBases的数据的三种常见用法
摘要:感谢提供者https://blog.csdn.net/javastart/article/details/80889190?utm_source=blogxgwz0 HBase中Scan从大的层面来看主要有三种常见用法:ScanAPI、TableScanMR以及SnapshotScanMR。 Sca 阅读全文

posted @ 2020-05-12 17:38 Yr-Zhang 阅读(771) 评论(0) 推荐(0)

hbase命令使用记录
摘要:使用自带MR将一个集群上hbase的表导入另一个集群上hbase表中: 1、使用 hbase org.apache.hadoop.hbase.mapreduce.Driver export t_can_20190205 hdfs:///tmp/t_can_20190205 命令将hbase表导入到h 阅读全文

posted @ 2019-05-30 19:04 Yr-Zhang 阅读(573) 评论(0) 推荐(0)

hbase的API并且使用多个rowkey分段直接读取数据
摘要:import com.hopechart.dataquery.Decoder; import com.hopechart.dataquery.RowKeyRuler; import com.hopechart.type.TGPSV2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell;... 阅读全文

posted @ 2019-05-25 22:23 Yr-Zhang 阅读(1092) 评论(0) 推荐(0)

hbase数据迁移到另一集群上
摘要:通常我们都会有将hbase表数据迁到另一个hbase表中业务需要,这种不要着急,我选择一种最适合的方式,因为每种方式处理的数据量、对集群的压力都是有差异的 总的划分可以分为命令行和API两种方式,本人记录以下几种命令方式,有错误之处请指正,本篇也仅是自己一些行为记录 hbase数据 导出 导入; 使 阅读全文

posted @ 2019-05-10 18:23 Yr-Zhang 阅读(1795) 评论(0) 推荐(0)

hbase使用中错误记录
摘要:hbase 查询大量数据异常并解决方法 java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 66216ms passed since the last invocation, time 阅读全文

posted @ 2019-05-10 17:40 Yr-Zhang 阅读(221) 评论(0) 推荐(0)

hbase的api操作之过滤器
摘要:// LESS 小于//LESS_OR_EQUAL 小于等于//EQUAL 等于//NOT_EQUAL 不等于//GREATER_OR_EQUAL 大于等于//GREATER 大于//NO_OP 排除所有 //BinaryComparator 使用Bytes.compareTo()比较//Binar 阅读全文

posted @ 2019-04-22 23:24 Yr-Zhang 阅读(797) 评论(0) 推荐(0)

hbase的api操作之scan
摘要:扫描器缓存 面向行级别的。 @Test public void getScanCache() throws IOException { Configuration conf = HBaseConfiguration.create(); Connection conn = ConnectionFact 阅读全文

posted @ 2019-04-22 23:19 Yr-Zhang 阅读(1458) 评论(0) 推荐(0)

HBase表数据的转移之使用自定义MapReduce
摘要:目标:将fruit表中的一部分数据,通过MR迁入到fruit_mr表中 Step1、构建ReadFruitMapper类,用于读取fruit表中的数据 package com.z.hbase_mr; import java.io.IOException; import org.apache.hado 阅读全文

posted @ 2019-04-22 23:06 Yr-Zhang 阅读(387) 评论(0) 推荐(0)

hbase之认识
摘要:进入HBase客户端命令操作界面 $ bin/hbase shell查看帮助命令 hbase(main):001:0> help查看当前数据库中有哪些表 hbase(main):002:0> list创建一张表 hbase(main):003:0> create 'student','info'向表 阅读全文

posted @ 2019-04-22 22:59 Yr-Zhang 阅读(304) 评论(0) 推荐(0)