会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
JasonCeng's Blog
博客园
首页
联系
订阅
管理
2020年1月8日
Spark设置Kryo序列化缓冲区大小
摘要: 今天在开发SparkRDD的过程中出现Buffer Overflow错误,查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了,日志建议调大spark.kryoserializer.buffer.max的value,搜索了一下设置keyo序列化缓冲区的方法,特此整理记录下来。
阅读全文
posted @ 2020-01-08 23:39 JasonCeng
阅读(10498)
评论(0)
推荐(0)
编辑
公告