摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本文基于 EMR 7.12.0 集群实际反编译分析。集群配置如下 EMR 通过 AWS Glue Data Catalog 替代传统 Hive Metastore（MySQL/D 阅读全文
posted @ 2026-03-25 12:47
zhaojie10
阅读(18)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 EMR Security Configuration（安全配置）是 Amazon EMR 提供的可复用安全策略模板，用于集中定义集群的加密、认证和授权设置。 创建后存储在 EMR 阅读全文
posted @ 2026-03-24 17:57
zhaojie10
阅读(59)
评论(0)
推荐(0)
摘要：
在 EMR 集群中创建时通过 hive-site classification 配置了 external metastore（外部 MySQL），但发现 Spark 配置目录下也存在 hive-site.xml，且内容与 Hive 侧不完全一致。本文分析两者的配置差异及 Spark 访问 Hive 阅读全文
posted @ 2026-03-24 16:34
zhaojie10
阅读(51)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本次测试基于 EMR 7.12.0 HA 集群实际配置，在创建集群时配置如下external metastore并开启HA [ { "Classification": "hive 阅读全文
posted @ 2026-03-24 16:26
zhaojie10
阅读(41)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 EMR 集群的配置系统负责将用户通过 Configurations API 定义的参数（如 hdfs-site、yarn-site 等 classification）应用到每个节 阅读全文
posted @ 2026-03-24 13:32
zhaojie10
阅读(15)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 EMR 集群中每个节点（Master / Core / Task）从 EC2 实例启动到集群服务就绪，会经历一系列有序的启动阶段。这些阶段由 systemd 服务依赖链编排，确保 阅读全文
posted @ 2026-03-24 00:45
zhaojie10
阅读(27)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本文主要讲述 EMR 集群中的 CloudWatch Agent组件。CWAgent 是负责采集操作系统级别指标（CPU、内存、磁盘、网络等）并发送到 CloudWatch Me 阅读全文
posted @ 2026-03-23 21:12
zhaojie10
阅读(17)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本文主要讲述 EMR 集群中的 MetricsCollector（简称 MC）组件。MC 是 Managed Scaling（托管扩缩容）的核心数据采集器，负责从 YARN 和 阅读全文
posted @ 2026-03-23 20:57
zhaojie10
阅读(19)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本文主要分析 EMR 集群中的 AppPusher 组件。AppPusher 和 LogPusher 名字很像，但职责完全不同。LogPusher 负责收集本地文件系统上的日志文 阅读全文
posted @ 2026-03-23 20:48
zhaojie10
阅读(20)
评论(0)
推荐(0)
摘要：
请注意本文部分内容经过AI辅助生成，虽然经过笔者检查但是并不保证内容的正确性，请自行判断准确性，本文对相关后果不承担责任 本文主要研究 EMR 集群中的 LogPusher 组件。这个组件虽然看起来只是推日志，但它的内部机制其实相当复杂，涉及三层配置系统、HSQLDB 数据库、磁盘空间管理、多线程并 阅读全文
posted @ 2026-03-23 20:35
zhaojie10
阅读(17)
评论(0)
推荐(0)
浙公网安备 33010602011771号