2020年1月8日
Spark设置Kryo序列化缓冲区大小
摘要： 今天在开发SparkRDD的过程中出现Buffer Overflow错误，查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了，日志建议调大spark.kryoserializer.buffer.max的value，搜索了一下设置keyo序列化缓冲区的方法，特此整理记录下来。 阅读全文
posted @ 2020-01-08 23:39 JasonCeng 阅读(10010) 评论(0) 推荐(0) 编辑