java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991

java.lang.IllegalArgumentException: Buffer size too small. size = 262144 needed = 2205991

 

报了这个错以后,具体的原因尚不清楚 有清楚的大老可以在评论区交流,我是把资源都调小了一些就可以了

 

最终的解决方案

 这个问题有点偶发性,幼师能跑成功,有时会失败 

最终的解决方案

是加了一个参数

--conf spark.sql.hive.convertMetastoreOrc=false

 

如果是parque的文件数据报错就用这个

spark.sql.hive.convertMetastoreParquet 参数
 
 
 
 
 
 
 
posted @ 2022-06-22 20:14  任重而道远的小蜗牛  阅读(1223)  评论(0编辑  收藏  举报