会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
蓝鲸王子
机器学习、深度学习、分布式计算研究者
博客园
首页
联系
订阅
管理
2017年2月8日
For循环中不可以嵌套RDD操作
摘要: 今天犯了一个致命理解错误,Spark中的RDD Map操作只是一个计算式的传递,并不是Action,也就是在for循环中不会产生真正的计算。 因此,如果for循环中出现了RDD的Map类似操作,都会引起异常,例如栈溢出等等,属于相互引用错误。 把我的错误代码贴在下面,加深理解。
阅读全文
posted @ 2017-02-08 19:56 蓝鲸王子
阅读(4096)
评论(1)
推荐(1)
公告