摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 EMR Security Configuration(安全配置)是 Amazon EMR 提供的可复用安全策略模板,用于集中定义集群的加密、认证和授权设置。 创建后存储在 EMR 阅读全文
posted @ 2026-03-24 17:57 zhaojie10 阅读(1) 评论(0) 推荐(0)
摘要: 在 EMR 集群中创建时通过 hive-site classification 配置了 external metastore(外部 MySQL),但发现 Spark 配置目录下也存在 hive-site.xml,且内容与 Hive 侧不完全一致。本文分析两者的配置差异及 Spark 访问 Hive 阅读全文
posted @ 2026-03-24 16:34 zhaojie10 阅读(1) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 本次测试基于 EMR 7.12.0 HA 集群实际配置,在创建集群时配置如下external metastore并开启HA [ { "Classification": "hive 阅读全文
posted @ 2026-03-24 16:26 zhaojie10 阅读(2) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 EMR 集群的配置系统负责将用户通过 Configurations API 定义的参数(如 hdfs-site、yarn-site 等 classification)应用到每个节 阅读全文
posted @ 2026-03-24 13:32 zhaojie10 阅读(2) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 EMR 集群中每个节点(Master / Core / Task)从 EC2 实例启动到集群服务就绪,会经历一系列有序的启动阶段。这些阶段由 systemd 服务依赖链编排,确保 阅读全文
posted @ 2026-03-24 00:45 zhaojie10 阅读(2) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 本文主要讲述 EMR 集群中的 CloudWatch Agent组件。CWAgent 是负责采集操作系统级别指标(CPU、内存、磁盘、网络等)并发送到 CloudWatch Me 阅读全文
posted @ 2026-03-23 21:12 zhaojie10 阅读(2) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 本文主要讲述 EMR 集群中的 MetricsCollector(简称 MC)组件。MC 是 Managed Scaling(托管扩缩容)的核心数据采集器,负责从 YARN 和 阅读全文
posted @ 2026-03-23 20:57 zhaojie10 阅读(2) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 本文主要分析 EMR 集群中的 AppPusher 组件。AppPusher 和 LogPusher 名字很像,但职责完全不同。LogPusher 负责收集本地文件系统上的日志文 阅读全文
posted @ 2026-03-23 20:48 zhaojie10 阅读(1) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 本文主要研究 EMR 集群中的 LogPusher 组件。这个组件虽然看起来只是推日志,但它的内部机制其实相当复杂,涉及三层配置系统、HSQLDB 数据库、磁盘空间管理、多线程并 阅读全文
posted @ 2026-03-23 20:35 zhaojie10 阅读(3) 评论(0) 推荐(0)
摘要: 请注意本文部分内容经过AI辅助生成,虽然经过笔者检查但是并不保证内容的正确性,请自行判断准确性,本文对相关后果不承担责任 参考资料 https://aws.github.io/aws-emr-best-practices/docs/bestpractices/Features/Managed Sca 阅读全文
posted @ 2026-03-23 20:12 zhaojie10 阅读(1) 评论(0) 推荐(0)