完整教程：Spark专题-第二部分：Spark SQL 入门（6）-算子介绍-Generate

Spark专题-第二部分：Spark SQL 入门（6）-算子介绍-Generate

Generate其实是一个很危险的算子，会导致数据量急速膨胀，用的时候一定要做好评估

Generate物理算子概述

Generate是Spark执行explode操作的物理算子，负责将输入行转换为多行输出。根据不同的explode函数，Spark会使用不同类型的生成器（Generator）。

Generate算子类型及对应实现

1. ExplodeGenerator

• 对应SQL函数: EXPLODE, EXPLODE_OUTER
• 物理实现: 将数组或Map的每个元素生成一行
• 执行特性: 对于空数组或null值，EXPLODE不生成行，EXPLODE_OUTER生成包含null的行

2. PosExplodeGenerator

• 对应SQL函数: POSEXPLODE, POSEXPLODE_OUTER
• 物理实现: 将数组的每个元素及其位置索引生成一行
• 执行特性: 输出包含元素值和位置索引两列

3. InlineGenerator

• 对应SQL函数: INLINE, INLINE_OUTER
• 物理实现: 将结构体数组的每个元素展开为多列
• 执行特性: 每个结构体字段成为输出表的一列

物理执行计划对比

EXPLODE物理执行流程

EXPLODE_OUTER物理执行流程

实际案例与执行计划分析

案例: 用户兴趣标签展开

-- 创建包含数组的表
CREATE TABLE user_interests (
user_id INT,
interests ARRAY<STRUCT<category: STRING, score: DOUBLE>>
  );
  -- 插入示例数据
  INSERT INTO user_interests VALUES
  (1, array(named_struct('category', 'sports', 'score', 0.8),
  named_struct('category', 'music', 'score', 0.6))),
  (2, array(named_struct('category', 'tech', 'score', 0.9))),
  (3, array());

使用EXPLODE的执行计划

EXPLAIN EXTENDED
SELECT user_id, explode(interests) AS interest
FROM user_interests;

物理执行计划:

== Physical Plan ==
*(1) Generate explode(interests#3), [user_id#0], false, [interest#8]
+- *(1) Scan ExistingRDD[user_id#0,interests#3]

使用INLINE的执行计划

EXPLAIN EXTENDED
SELECT user_id, inline(interests)
FROM user_interests;

物理执行计划:

== Physical Plan ==
*(1) Generate inline(interests#3), [user_id#0], false, [category#12, score#13]
+- *(1) Scan ExistingRDD[user_id#0,interests#3]

Generate算子的关键参数

在物理执行计划中，Generate算子包含几个重要参数：

1. generator: 使用的生成器类型（explode、posexplode、inline等）
2. join: 是否与外部行进行join（false表示不join）
3. outer: 是否保留空值（true表示outer模式）
4. output: 输出列名

性能优化考虑

1. 数据倾斜处理

2. 内存管理

Generate操作可能在单个分区内产生大量数据，需要合理设置：

-- 设置执行器内存
SET spark.executor.memory=8g;
SET spark.sql.execution.arrow.maxRecordsPerBatch=10000;

最佳实践

1. 选择合适的生成器

-- 需要位置信息时使用posexplode
SELECT user_id, pos, col
FROM table LATERAL VIEW posexplode(array_col) t AS pos, col;
-- 需要展开结构体时使用inline
SELECT user_id, inline(struct_array)
FROM table_with_structs;

2. 结合其他算子优化

-- 先过滤再explode，减少数据量
SELECT user_id, explode(interests) AS interest
FROM user_interests
WHERE size(interests) >
0;

执行计划解析技巧

使用EXPLAIN CODEGEN可以查看Generate算子的代码生成情况：

EXPLAIN CODEGEN
SELECT user_id, explode(interests) AS interest
FROM user_interests;