摘要：#!/bin/sh # for i in '020W0700' '010WE0440' '020R0100' '020WE0300' do batch_code=$i inc_day=$a before=$b sep_incday=$c echo "tt $sep_incday" hive -e " 阅读全文

摘要：一、hive小文件 Hive的数据存储在HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。HDFS主要分为NameNode，DataNode，ZKFC。 简单来说，HDFS数据的文件元信息，包括位置、大小、分块信息等，都是保存在NameNod 阅读全文

摘要：一、建立分区表（parquet存储格式） --数据倾斜优化set tez.queue.name=队列;set hive.execution.engine=tez; set hive.exec.dynamic.partition.mode=nonstrict;set hive.optimize.sor 阅读全文