正在测试的程序需要多次迭代(400+次),每次迭代有复杂的运算

迭代到100多次的时候报java.lang.stackoverflowerror的错误

解决方法:先checkpoint()再count(),切断rdd的lineage,防止因为DAG过深出现栈溢出

 

posted on 2014-06-26 09:20  图样图森破  阅读(2098)  评论(0编辑  收藏  举报