2018年2月2日

spark-遇到问题小结

摘要: 经常会遇到 类似 org.apache.spark.shuffle.FetchFailedException: java.io.FileNotFoundException 。主要是shuffle 导致内存不足引起的。shuffle 分为 shuffle read 和write 。 1. shuffl 阅读全文

posted @ 2018-02-02 16:01 parkin 阅读(293) 评论(0) 推荐(0) 编辑

导航