将DataFrame赋值为可变变量在spark中多次赋值后运行速度减慢的问题

该问题先标记上,之后有空了研究原因。

在var dataframe后将dataframe作为参数输入某方法,将结果重新赋予该dataframe,会导致spark运行显著减慢速度。暂时不知道原因,之后研究(可以去stackoverflow提问)将数据来源改为val之后运行速度显著提高。超过100倍速度

posted @ 2019-12-14 19:14  梦里繁花  阅读(405)  评论(0编辑  收藏  举报