spark aggregateByKey 时 java.lang.OutOfMemoryError: GC overhead limit exceeded

最后发现有一个用户单日访问我们网站次数为 4千万,直接导致 aggregate 时内存不够。过滤掉该用户即可。

posted @ 2019-03-03 19:37  徐软件  阅读(291)  评论(0编辑  收藏  举报