2021年4月28日
sparksql parquet执行filter的时候没有用谓词下推--------坑
摘要： 生产sparksql。对于时序性数据，执行速度很慢，定位思路： sparksql配置 》各个执行时间段消耗明细 》差异 spark.read.parquet(hdfsPath: _*).createOrReplaceTempView(modelCode)下楼.filter(_.length > 0) 阅读全文
posted @ 2021-04-28 09:08 清明雨下 阅读(363) 评论(0) 推荐(0)