摘要: ‌一、Spark核心概念与机制‌ ‌1. Spark架构与执行流程‌ ‌问题1:解释Spark Driver、Executor、Cluster Manager的职责与协作流程,如何动态调整Executor资源?‌ ‌答案‌: ‌职责‌: ‌Driver‌:负责解析用户程序,生成DAG执行计划,调度任 阅读全文
posted @ 2025-03-27 11:56 业余砖家 阅读(444) 评论(0) 推荐(0)
摘要: 一、字节跳动 & 抖音‌ ‌技术组合‌ ‌核心组件‌:Flink + Kafka + HBase‌ ‌辅助工具‌:Redis(实时缓存)、ClickHouse(实时分析)‌ ‌经典案例‌ ‌抖音实时推荐系统‌: 使用 Flink 处理用户行为数据流,结合 Kafka 实现高吞吐数据传输,实时计算用户 阅读全文
posted @ 2025-03-27 10:36 业余砖家 阅读(449) 评论(0) 推荐(0)