Hive SQL 优化技术

Hive SQL 优化主要围绕减少数据扫描量、降低计算复杂度和合理利用资源展开。以下是关键优化技术及示例：

1. 分区与分桶优化
  • 分区（Partitioning）：按业务字段（如日期）分割数据目录，避免全表扫描 
    -- 创建分区表
CREATE TABLE sales (
    product_id STRING,
    amount DOUBLE
) PARTITIONED BY (dt STRING);
-- 查询时指定分区
SELECT * FROM sales WHERE dt = '2023-10-01';

  • 分桶（Bucketing）：按哈希值分散数据，优化 JOIN 和聚合 
    -- 创建分桶表（按 user_id 分 32 桶）
CREATE TABLE users (
    user_id STRING,
    name STRING
) CLUSTERED BY (user_id) INTO 32 BUCKETS;

2. 数据存储优化
  • 列式存储格式：使用 ORC/Parquet 减少 I/O 
    CREATE TABLE logs STORED AS ORC
TBLPROPERTIES ("orc.compress"="SNAPPY");

  • 压缩中间数据：减少网络传输 
    SET hive.exec.compress.intermediate=true;
SET mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

3. 查询逻辑优化
  • 谓词下推：提前过滤数据（需 ORC/Parquet 支持） 
    SELECT * FROM orders
WHERE order_date > '2023-01-01'   -- 下推到存储层执行
  AND total_price > 1000;

  • 避免全局排序：用 DISTRIBUTE BY + SORT BY 替代 ORDER BY 
    SELECT user_id, SUM(amount)
FROM transactions
DISTRIBUTE BY user_id SORT BY user_id;  -- 分布式排序

  • MapJoin 优化：小表加载到内存加速 JOIN 
    SET hive.auto.convert.join=true;        -- 自动启用 MapJoin
SET hive.mapjoin.smalltable.filesize=25000000;  -- 小表阈值 25MB

4.