2016年2月23日
spark分片个数的确定及Spark内存错误(GC error)的迂回解决方式
摘要： 我们知道，spark中每个分片都代表着一部分数据，那么分片数量如何被确认的呢？ 首先我们使用最常见的HDFS+Spark，sparkDeploy的方式来讨论，spark读取HDFS数据使用的是sparkcontext.textfile(Path, minPartitions)： 1 def text 阅读全文
posted @ 2016-02-23 10:04 月影舞华 阅读(3310) 评论(0) 推荐(0)