2019年9月5日
spark not serializable异常分析及解决方案
摘要： 转载自: http://bigdataer.net/?p=569 1.背景 在使用spark开发分布式数据计算作业过程中或多或少会遇到如下的错误： 或者如下的错误： 表面意思都是无法序列化导致的。spark运行过程中为什么要序列化？下面来分析一下。 2.分析 spark处理的数据单元为RDD（即弹性 阅读全文
posted @ 2019-09-05 14:10 batch-norm 阅读(2126) 评论(0) 推荐(0) 编辑