spark transform操作卡死,请先对rdd进行action操作

  这两天一直在写spark程序,遇到了一个奇怪的问题。

  问题简单描述如下,有两个RDD,设为rdd_a,rdd_b,当将这两个rdd合并的时候,spark会在运行中卡死。

  解决方式也是奇葩。

  只要在合并这两个rdd之前,分别执行rdd_a.count(),rdd_b.count(),程序就又能够愉快的走下去了。

  也就是说如果在转换操作的时候程序运行卡死,请尝试在转换操作之前,先对RDD进行行动操作。

  参考:

  stackOverFlow

 

posted @ 2016-03-10 23:15  ZHOU YANG  阅读(948)  评论(0)    收藏  举报