08 2015 档案

Spark的TorrentBroadcast：实现
摘要：依据Spark 1.4版序列化和反序列化前边提到，TorrentBroadcast的关键就在于特殊的序列化和反序列化设置。1.1版的TorrentBroadcast实现了自己的readObject和writeObject方法，但是1.4.1版的TorrentBroadcast没有实现自己的readO... 阅读全文
posted @ 2015-08-19 09:07 devos 阅读(1062) 评论(0) 推荐(0)
Spark的TorrentBroadcast：概念和原理
摘要：依据Spark 1.4.1源码SparkContext的broadcast方法注释可以用SparkContext将一个变量广播到所有的executor上，使得所有executor都能获取这个变量代表的数据。SparkContext对于broadcast方法的注释为：/** * Broadcast a... 阅读全文
posted @ 2015-08-16 11:33 devos 阅读(2110) 评论(0) 推荐(0)