2025年3月25日
Spark AQE（自适应查询执行）核心使用场景与示例
摘要： 一. AQE是什么？ 1、 产生背景 Spark 2.x 在遇到有数据倾斜的任务时，需要人为地去优化任务，比较费时费力；如果任务在Reduce阶段，Reduce Task 数据分布参差不齐，会造成各个excutor节点资源利用率不均衡，影响任务的执行效率；Spark 3新特性AQE极大地优化了以上任 阅读全文
posted @ 2025-03-25 11:18 业余砖家 阅读(651) 评论(0) 推荐(0)
Spark OOM问题避免策略与示例说明
摘要： ‌一、资源调优‌ ‌增加Executor内存‌通过调整Executor内存参数，确保任务有足够资源处理数据： spark-submit --executor-memory 8G --driver-memory 2G ... # 示例命令‌ ‌场景示例‌：处理10TB级日志时，将executor-me 阅读全文
posted @ 2025-03-25 10:38 业余砖家 阅读(117) 评论(0) 推荐(0)
滴滴数据仓库工程师面试题
摘要： ‌一、数据仓库基础与建模‌ ‌数仓分层设计‌ 请描述滴滴数仓分层架构及各层核心作用（如ODS、DWD、DWS、ADS）‌。 ‌1. ODS（Operational Data Store）层：原始数据层‌‌数据内容‌：直接从业务系统抽取的原始数据，包括订单流水、用户行为日志、司机接单记录、GPS轨迹等 阅读全文
posted @ 2025-03-25 00:57 业余砖家 阅读(542) 评论(0) 推荐(0)