动态分区

  使用动态分区表必须配置的参数 :

    set hive.exec.dynamic.partition =true(默认false),表示开启动态分区功能
    set hive.exec.dynamic.partition.mode = nonstrict(默认strict),表示允许所有分区都是动态的,否则必须有静态分区字段

 动态分区相关的调优参数:

    set  hive.exec.max.dynamic.partitions.pernode=100 (默认100,一般可以设置大一点,比如1000)

       表示每个maper或reducer可以允许创建的最大动态分区个数,默认是100,超出则会报错。

   set hive.exec.max.dynamic.partitions =1000(默认值) 

       表示一个动态分区语句可以创建的最大动态分区个数,超出报错

   set hive.exec.max.created.files =10000(默认) 全局可以创建的最大文件个数,超出报错。
#数据插入动态分区例子
------------------------------------------------------------
insert into table test.test_ll_1 partition(dt) select 1,'a',2020 as dt union all select 2,'b',2021 as dt union all select 3,'c',2020 as dt;

 

posted @ 2020-07-13 17:02  muyue123  阅读(833)  评论(0编辑  收藏  举报