摘要:对表进行预分区,可以防止单分区一次写入数据过大,hbase 集群本身还没来得及自动分裂,导致 region 宕掉的问题。 1、创建表时指定一个拆分点数组 split point 将定义n+1个区域,其中n是分割点的数量, point 为'10'时实际上是在指定字节分割'\x31\30' hbase>
阅读全文
摘要:func ${datatype} ${date} & function func(){ #自动建表hbase t_gather_logdate exec $HBASE_HOME/bin/hbase shell <<! flush 't_$1_$2' exit ! } exec $HBASE_HOME
阅读全文
摘要:感谢提供者https://blog.csdn.net/javastart/article/details/80889190?utm_source=blogxgwz0 HBase中Scan从大的层面来看主要有三种常见用法:ScanAPI、TableScanMR以及SnapshotScanMR。 Sca
阅读全文
摘要:使用自带MR将一个集群上hbase的表导入另一个集群上hbase表中: 1、使用 hbase org.apache.hadoop.hbase.mapreduce.Driver export t_can_20190205 hdfs:///tmp/t_can_20190205 命令将hbase表导入到h
阅读全文
摘要:import com.hopechart.dataquery.Decoder; import com.hopechart.dataquery.RowKeyRuler; import com.hopechart.type.TGPSV2; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell;...
阅读全文
摘要:通常我们都会有将hbase表数据迁到另一个hbase表中业务需要,这种不要着急,我选择一种最适合的方式,因为每种方式处理的数据量、对集群的压力都是有差异的 总的划分可以分为命令行和API两种方式,本人记录以下几种命令方式,有错误之处请指正,本篇也仅是自己一些行为记录 hbase数据 导出 导入; 使
阅读全文
摘要:hbase 查询大量数据异常并解决方法 java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 66216ms passed since the last invocation, time
阅读全文
摘要:// LESS 小于//LESS_OR_EQUAL 小于等于//EQUAL 等于//NOT_EQUAL 不等于//GREATER_OR_EQUAL 大于等于//GREATER 大于//NO_OP 排除所有 //BinaryComparator 使用Bytes.compareTo()比较//Binar
阅读全文
摘要:扫描器缓存 面向行级别的。 @Test public void getScanCache() throws IOException { Configuration conf = HBaseConfiguration.create(); Connection conn = ConnectionFact
阅读全文
摘要:目标:将fruit表中的一部分数据,通过MR迁入到fruit_mr表中 Step1、构建ReadFruitMapper类,用于读取fruit表中的数据 package com.z.hbase_mr; import java.io.IOException; import org.apache.hado
阅读全文
摘要:进入HBase客户端命令操作界面 $ bin/hbase shell查看帮助命令 hbase(main):001:0> help查看当前数据库中有哪些表 hbase(main):002:0> list创建一张表 hbase(main):003:0> create 'student','info'向表
阅读全文