摘要： HBase 数据库 架构理解： HMaster：管理 RegionServer 的负载均衡、Region 分配等。 RegionServer：负责数据的读写操作，管理多个 Region。 ZooKeeper：协调集群状态，监控 RegionServer 存活。 HDFS：底层存储，HBase 数据以 阅读全文

摘要： 今日速览 环境拓扑（安全开启后） 表格 节点 新增角色 Principal 样例 node1 KDC (kerberos) kadmin/admin@HADOOP.COM node2 YARN RM + Queue Mgmt yarn/node2@HADOOP.COM node3 Phoenix R 阅读全文

摘要： 环境拓扑（安全开启后） 表格 节点 新增角色 Principal 样例 node1 KDC (kerberos) kadmin/admin@HADOOP.COM node2 YARN RM + Queue Mgmt yarn/node2@HADOOP.COM node3 Phoenix RS hba 阅读全文

摘要： 环境速览（ 节点 新装组件 端口 备注 node1 Hive3.1.3 + MySQL 8.0 + Spark3.5.0 3306/10000/8080 HiveServer2 WebUI node2 Spark HistoryServer 18080 日志持久化到 HDFS node3 Kafka 阅读全文

摘要： 完全分布式 HDFS slaves（或 workers）文件决定 DataNode 列表；本次写入： node2 node3 副本放置策略： 第 1 副本→客户端本地机架，第 2 副本→不同机架，第 3 副本→与第 2 同机架另一节点。 扩容命令： bash hdfs dfsadmin -repor 阅读全文

摘要： 虚拟机网络 NAT：宿主机做 NAT，客户机可出外网，宿主机→客户机需端口转发。 桥接：客户机直接拿到局域网独立 IP，方便同网段其他物理机访问。 Host-Only：与宿主机私网通信，无外网，最安全。 Hadoop 伪分布式核心配置 core-site.xml xml fs.defaultFS h 阅读全文

摘要： Hadoop 生态：实时 + 离线一体化 Flink on YARN 初体验 使用 Flink 1.17.1 提交 yarn-session 模式，队列 queue.stream 独享 4G 堆、2 vcore；编写 Kafka → Hive 的流式入湖作业，消费 user_behavior Top 阅读全文

摘要： 一、本周学习内容：打通“数据→模型→服务→展示”完整闭环 Hadoop 生态闭环 Hive 数仓上线 完成 Hive 3.1.3 与 Tez 引擎集成，建外部表 ods_log 映射 HDFS 原始日志，分区字段 dt string；写 ETL 脚本每日凌晨 01:30 把昨日目录 behavior 阅读全文

摘要： 一、本周学习内容 （一）Hadoop 集群监控与深度调优 Ambari 部署与监控视图 本周重点完成了 Ambari 2.7.6 的离线安装与集群纳管。通过自定义本地源，解决了公司内网无法访问外网仓库的问题。 在 Ambari Web 控制台中创建了 Hadoop、YARN、Hive 服务组，并启用 阅读全文

摘要： 一、本周学习内容 （一）Hadoop 集群优化与实践 完全分布式模式配置 将 Hadoop 伪分布式模式升级为完全分布式模式，配置了多个 DataNode 节点，实现了数据的分布式存储和计算。 修改了 core-site.xml、hdfs-site.xml 和 mapred-site.xml 配置文 阅读全文