collect_list 和 collect_set 有什么区别？

collect_list 和 collect_set 是 Hive 中用于聚合数据的两个常用函数，它们的主要区别在于是否去除重复值以及结果的顺序性。以下是它们的详细对比：

1. 功能区别

• collect_list：
  • 功能：将指定列的所有值（包括重复值）收集到一个数组中。
  • 特点：保留所有值，不进行去重，结果数组中的值按照原始数据的顺序排列。
• collect_set：
  • 功能：将指定列的值收集到一个数组中，并自动去除重复值。
  • 特点：返回唯一值的集合，结果数组中的值顺序是不确定的。

2. 使用场景

• collect_list：
  • 适用于需要保留所有值（包括重复值）的场景。
  • 例如，统计每个用户的所有订单详情，保留重复的订单记录。
• collect_set：
  • 适用于需要去除重复值的场景。
  • 例如，统计每个用户购买过的不同产品。

3. 性能和注意事项

• collect_list：
  • 由于保留所有值，可能导致生成的数组较大，尤其在数据量大的情况下需要注意内存限制。
• collect_set：
  • 去除重复值后，生成的数组通常更小，但结果顺序不确定。
  • 如果需要对结果排序，可以结合 sort_array 函数。

4. 示例

假设有一个表 orders，包含以下列：

• customer_id：客户ID
• product：产品名称

数据如下：

customer_id	product
101	iPhone
101	iPhone
101	MacBook Pro
102	iPad
102	iPad

使用 collect_list：

sql复制

SELECT customer_id, collect_list(product) AS products
FROM orders
GROUP BY customer_id;

结果：

customer_id	products
101	["iPhone", "iPhone", "MacBook Pro"]
102	["iPad", "iPad"]

使用 collect_set：

sql复制

SELECT customer_id, collect_set(product) AS products
FROM orders
GROUP BY customer_id;

结果：

customer_id	products
101	["iPhone", "MacBook Pro"]
102	["iPad"]

总结

• 如果需要保留所有值（包括重复值），使用 collect_list。
• 如果需要去除重复值，使用 collect_set。
• 两者都返回数组类型，但 collect_set 的结果无序。