摘要： HBase + Flink 实时增量同步 CDC 方案选型 采用 Flink-HBase-Connector 2.2（基于 AsyncTableOperator），源库 MySQL 8.0，Binlog Row 模式。 作业拓扑 MySQL → Debezium JSON → Kafka → Fli 阅读全文

摘要： HBase 集群滚动升级（2.4.17 → 2.5.6） 前期检查 hbase hbck 0 不一致 所有 Region 处于 OPENED 状态 备份元数据： bash hbase org.apache.hadoop.hbase.mapreduce.ExportSnapshot snapshot_ 阅读全文

摘要： HBase 高级操作 预分区（Pre-splitting） 避免初始数据热点，用 HexStringSplit 或自定义算法： bash hbase org.apache.hadoop.hbase.util.RegionSplitter test_table HexStringSplit -c 10 阅读全文

摘要： HBase 数据库 架构理解： HMaster：管理 RegionServer 的负载均衡、Region 分配等。 RegionServer：负责数据的读写操作，管理多个 Region。 ZooKeeper：协调集群状态，监控 RegionServer 存活。 HDFS：底层存储，HBase 数据以 阅读全文

摘要： 今日速览 环境拓扑（安全开启后） 表格 节点 新增角色 Principal 样例 node1 KDC (kerberos) kadmin/admin@HADOOP.COM node2 YARN RM + Queue Mgmt yarn/node2@HADOOP.COM node3 Phoenix R 阅读全文

摘要： 环境拓扑（安全开启后） 表格 节点 新增角色 Principal 样例 node1 KDC (kerberos) kadmin/admin@HADOOP.COM node2 YARN RM + Queue Mgmt yarn/node2@HADOOP.COM node3 Phoenix RS hba 阅读全文

摘要： 环境速览（ 节点 新装组件 端口 备注 node1 Hive3.1.3 + MySQL 8.0 + Spark3.5.0 3306/10000/8080 HiveServer2 WebUI node2 Spark HistoryServer 18080 日志持久化到 HDFS node3 Kafka 阅读全文

摘要： 完全分布式 HDFS slaves（或 workers）文件决定 DataNode 列表；本次写入： node2 node3 副本放置策略： 第 1 副本→客户端本地机架，第 2 副本→不同机架，第 3 副本→与第 2 同机架另一节点。 扩容命令： bash hdfs dfsadmin -repor 阅读全文

摘要： 虚拟机网络 NAT：宿主机做 NAT，客户机可出外网，宿主机→客户机需端口转发。 桥接：客户机直接拿到局域网独立 IP，方便同网段其他物理机访问。 Host-Only：与宿主机私网通信，无外网，最安全。 Hadoop 伪分布式核心配置 core-site.xml xml fs.defaultFS h 阅读全文

摘要： Hadoop 生态：实时 + 离线一体化 Flink on YARN 初体验 使用 Flink 1.17.1 提交 yarn-session 模式，队列 queue.stream 独享 4G 堆、2 vcore；编写 Kafka → Hive 的流式入湖作业，消费 user_behavior Top 阅读全文