摘要: Spark SQL(8)-Spark sql聚合操作(Aggregation) 之前简单总结了spark从sql到物理计划的整个流程,接下来就总结下Spark SQL中关于聚合的操作。 聚合操作的物理计划生成 首先从一条sql开始吧 SELECT NAME,COUNT(*) FRON PEOPLE 阅读全文
posted @ 2020-07-29 20:58 刘姥爷观园子 阅读(2470) 评论(0) 推荐(0) 编辑
摘要: Spark SQL(7)- physicalPlan 物理计划 spark的物理计划是将得到的逻辑算子树进一步的处理,得到针对RDD的一系列操作的集合,之后提交作业到spark集群。 spark物理计划的生成主要经历了一下的步骤: 应用sparkPlanner中定义的各种策略(strategy), 阅读全文
posted @ 2020-07-29 16:37 刘姥爷观园子 阅读(1034) 评论(0) 推荐(0) 编辑