随笔分类 -  Spark

Spark常用Sql
摘要：一、日期处理 1、查询当前日期 SELECT current_date() 2023-12-22 2、查询当前时间戳 select current_timestamp() 2023-12-22 14:50:19.213 3、查询当前时间戳-1小时 select current_timestamp() 阅读全文
posted @ 2023-12-22 14:51 Robots2 阅读(209) 评论(0) 推荐(0)
Spark异常总结
摘要：1、Spark读写同一张表报错问题Cannot overwrite a path that is also being read from 问题描述：Spark SQL在执行ORC和Parquet格式的文件解析时，默认使用Spark内置的解析器（Spark内置解析器效率更高），这些内置解析器不支持递 阅读全文
posted @ 2023-08-16 09:21 Robots2 阅读(1438) 评论(0) 推荐(0)
Spark Sql调优
摘要：一、任务调参 1.1 spark.executor.memory executor执行分配的内存大小 1.2 spark.executor.cores executor执行分配的核数 1.3 spark.executor.instances 需要的executor个数，等同num-executors 阅读全文
posted @ 2021-12-22 13:51 Robots2 阅读(1222) 评论(0) 推荐(0)