2024年12月10日
记一次spark聚合清洗数据分区裁剪失效的问题
摘要： 背景 公司有一套大数据的清洗流程，模式是：spark with hive。在执行聚合原始表的操作当中，有一个spark sql过滤条件，如下： yyyy = '${yyyy}' and mm = '${mm}' and dd = '${dd}' and hh = '${hh}' and (dimen 阅读全文
posted @ 2024-12-10 20:48 半生瓜丶 阅读(67) 评论(2) 推荐(0)