随笔分类 -  大数据 / hbase

2023032901 - hbase异常
摘要：异常1 23/03/29 09:51:17 INFO client.AsyncProcess: #8, table=bbb:sigimsi, attempt=10/35 failed=163ops, last exception: org.apache.hadoop.hbase.NotServing 阅读全文
posted @ 2025-03-20 20:08 钱塘江畔 阅读(23) 评论(0) 推荐(0)
202108300721 - hbase问题
摘要：hbase集群和hdfs需要共享机器吗？ 不需要，但是本地的话会提高效率。hdfs如何把（节点上的）本地文件上传到HDFS region不能跨服务器？ hbase根据rowkey来确定region位置 当列族多的时候，会怎样？region中的列族仍然在同一机器吗？ 客户端建表的时候是直接从zk获取m 阅读全文
posted @ 2025-03-20 19:07 钱塘江畔 阅读(16) 评论(0) 推荐(0)
202108211045 - HBase中region的定位
摘要：Client查询zk，找到hbase:meta表所在的regionserver Client请求hbase:meta表，查询Row所在的Region以及所在的regionserver 直连region，进行操作 缓存hbase:meta 阅读全文
posted @ 2025-03-20 19:01 钱塘江畔 阅读(23) 评论(0) 推荐(0)
202108011923 - HBase使用BulkLoad批量写入数据
摘要：https://www.cnblogs.com/smartloli/p/9501887.html 阅读全文
posted @ 2025-03-19 22:10 钱塘江畔 阅读(9) 评论(0) 推荐(0)
HBase之phoenix部署及使用
摘要：1. 背景 经常会使用HBase进行查询等操作，hbase shell不太方便，装一个phoenix试试。 phoenix语法 2. 部署 # 下载地址，找到对应HBase版本的 http://archive.apache.org/dist/phoenix/ # 将phoenix目录下的phoeni 阅读全文
posted @ 2022-01-27 13:40 钱塘江畔 阅读(544) 评论(0) 推荐(0)
HIVE表count(*)统计异常
摘要：1. 问题 在对hive表统计行数时发现如下异常 # count(*) select count(*) from userimages; 6302 # count(*) + count(result) select count(*), count(result) from userimages; 3 阅读全文
posted @ 2022-01-10 16:34 钱塘江畔 阅读(523) 评论(0) 推荐(0)
hbase架构及读写流程
摘要：1. 整体架构 各角色之间的关系 集群部署架构 flowchart TB A[Master] & B[zookeeper] --> C[RegionServer] & D[RegionServer] & E[RegionServer] zookeeper 用于和客户端连接，存储hbase:meta表 阅读全文
posted @ 2021-09-05 12:07 钱塘江畔 阅读(62) 评论(0) 推荐(0)