2016年7月18日
Spark大师之路：广播变量（Broadcast）源码分析
摘要： 概述 最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。 本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。 类关系 BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFacto 阅读全文
posted @ 2016-07-18 17:26 XGogo 阅读(695) 评论(0) 推荐(0)
Redis on Spark:Task not serializable
摘要： We use Redis on Spark to cache our key-value pairs.This is the code: import com.redis.RedisClient val r = new RedisClient("192.168.1.101", 6379) val p 阅读全文
posted @ 2016-07-18 15:22 XGogo 阅读(852) 评论(0) 推荐(0)