摇光在望

摘要： 一、sql文件名和sh配置文件一样，一起压缩成zip文件上传。.sh配置文件如下： 1 #!/bin/bash 2 v_proc_name='freight_waybill_prom_time_day1'; 3 v_filename="${v_proc_name}.sql"; 4 5 ######日 阅读全文

摘要： 一、hive小文件 Hive的数据存储在HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。HDFS主要分为NameNode，DataNode，ZKFC。 简单来说，HDFS数据的文件元信息，包括位置、大小、分块信息等，都是保存在NameNod 阅读全文

摘要： 一、建立分区表（parquet存储格式） --数据倾斜优化set tez.queue.name=队列;set hive.execution.engine=tez; set hive.exec.dynamic.partition.mode=nonstrict;set hive.optimize.sor 阅读全文