Spark技术内幕: Shuffle详解(三)
摘要:
前两篇文章写了Shuffle Read的一些实现细节。但是要想彻底理清楚这里边的实现逻辑,还是需要更多篇幅的;本篇开始,将按照Job的执行顺序,来讲解Shuffle。即,结果数据(ShuffleMapTask的结果和ResultTask的结果)是如何产生的;结果是如何处理的;结果是如何读取的。在W... 阅读全文
posted @ 2014-12-07 20:46 wu2198 阅读(151) 评论(0) 推荐(0)
浙公网安备 33010602011771号