HIVE表分区字段是多个的表,导入StarRocks报错问题

 

使用Python脚本把hive库表数据导入到StarRocks

问题:

原因分析:

因为原表的分区字段是多个,所以hdfs路径和单dt的不一样,文件如下图所示:

所以执行下边的信息可以看到数据是空的,导致任务报错。
query load state cmd: show load from bigdata where label = 'bigdata_table_detail_da_1688973705';

解决:

       快速解决办法:修改脚本拼接cmd时,对于hive表分区字段是多个的,要多加一层 /*。 更优雅的是修改脚本,查询hive表分区字段个数,以适配DATA INFILE()中的路径。

 

posted @ 2023-07-11 18:38  LUDAGOGO  阅读(188)  评论(0)    收藏  举报